Diffusion Policy with Bayesian Expert Selection for Active Multi-Target Tracking

1. Problema e Contexto

O Rastreamento Ativo de Múltiplos Alvos (Active Multi-Target Tracking) exige que um robô móvel navegue autonomamente para manter estimativas de estado precisas de vários alvos em movimento, operando sob restrições de campo de visão (FoV) limitado.

O desafio central é o dilema exploração-exploração:

• Exploração: O robô deve investigar regiões não observadas para descobrir novos alvos ou recuperar alvos perdidos.
• Exploração (Explotação): O robô deve seguir alvos já detectados para reduzir a incerteza na estimativa de estado.

Limitações das abordagens atuais:

• Métodos tradicionais (aprendizado por reforço, planejamento baseado em informação) tendem a produzir políticas unimodais, que ou mediam diferentes comportamentos ou colapsam para uma única estratégia dominante, falhando em capturar a natureza multimodal necessária para situações distintas.
• As Políticas de Difusão (Diffusion Policies) emergiram como uma solução poderosa para representar distribuições de ação multimodais. No entanto, métodos existentes (como o MATT-Diff) dependem de ruído estocástico no processo de "denoising" para selecionar implicitamente qual comportamento executar. Isso carece de quantificação de incerteza sobre qual estratégia é a mais adequada para o estado de crença atual, levando a escolhas subótimas quando o robô está em regiões não cobertas pelos dados de treinamento.

2. Metodologia Proposta

Os autores propõem um framework que desacopla a seleção da estratégia da geração da ação, introduzindo um seletor de especialistas consciente da incerteza.

A. Formulação como Problema de Bandito Contextual Offline

A seleção de especialistas é formulada como um problema de bandito contextual offline.

• Contexto: O estado de crença atual do robô (histórico de observações e estimativas de alvos).
• Braços (Ações): Um conjunto de especialistas pré-treinados com comportamentos distintos (ex: exploração baseada em fronteiras, rastreamento híbrido, etc.).
• Recompensa: O desempenho de rastreamento previsto (negativo do NLL - Negative Log-Likelihood).
• Princípio de Pessimismo: Como o modelo é treinado offline e não pode coletar novos dados durante a execução, o agente deve ser conservador. Ele deve evitar especialistas cujas previsões de recompensa são incertas (alta variância), preferindo aqueles com previsões altas e confiáveis.

B. Arquitetura do Modelo

1. Codificador de Observação: Um encoder compartilhado (CNN + Transformer Performer) processa mapas de ocupação e crenças de alvos para gerar um vetor de características.
2. Política de Difusão Condicionada: Um modelo DDPM (Denoising Diffusion Probabilistic Model) gera sequências de ações. A política é condicionada não apenas às observações, mas também a um embedding do especialista selecionado.
3. Seletor de Especialistas (VBLL + LCB):
   • VBLL (Variational Bayesian Last Layer): Utiliza uma abordagem de "camada final bayesiana variacional". Em vez de treinar redes inteiras Bayesianas (custoso), apenas a última camada de regressão de cada especialista é tratada probabilisticamente. Isso permite obter uma distribuição preditiva (média e variância) em uma única passagem forward.
   • Critério LCB (Lower Confidence Bound): Para selecionar o especialista, o sistema calcula o limite inferior de confiança para a recompensa prevista de cada um:
     $$LCB_k = \hat{r}_k - \lambda \cdot \sigma_k$$
     Onde $\hat{r}_k$ é a recompensa prevista e $\sigma_k$ é a incerteza preditiva. O especialista com o maior LCB é escolhido. O parâmetro $\lambda$ controla o nível de pessimismo.

3. Contribuições Principais

1. Identificação de Limitação: Apontam que a seleção de modos em políticas de difusão atuais depende de amostragem estocástica sem mecanismos de adaptação consciente da incerteza.
2. Novo Formulário: Enquadram a seleção de especialistas para políticas de difusão como um problema de bandito contextual offline, conectando a literatura de banditos offline com políticas de difusão.
3. Algoritmo Prático: Desenvolvem um algoritmo que combina VBLL para previsão de desempenho com LCB para seleção pessimista. Isso evita o "overcommitment" (comprometimento excessivo) com especialistas em regiões de estado onde eles têm pouca cobertura nos dados de treinamento.
4. Validação Experimental: Demonstram que a abordagem supera tanto a política de difusão base (MATT-Diff) quanto métodos de gating determinísticos (como Mistura de Especialistas com Softmax).

4. Resultados Experimentais

Os experimentos foram realizados em cenários de rastreamento indoor simulados (planta do tipo HouseExpo) com 3 a 6 alvos em movimento.

Métricas de Desempenho:

• RMSE: Erro quadrático médio na posição.
• NLL: Negativo da verossimilhança (mede precisão e calibração).
• Entropia: Incerteza da distribuição de crença.

Principais Achados:

• Superioridade sobre Seleção Implícita: A abordagem proposta (VBLL) superou consistentemente o MATT-Diff (seleção implícita) e a seleção aleatória em todas as métricas. Isso confirma que a seleção explícita baseada no estado de crença é superior à aleatoriedade do processo de difusão.
• Incerteza é Crucial: Métodos determinísticos (MLP Regression e MoE com Softmax) mostraram melhorias marginais ou nulas em relação à base. A inclusão da quantificação de incerteza via VBLL e o critério LCB foram essenciais para o ganho de desempenho.
• Eficiência Computacional: O método VBLL requer apenas uma passagem forward por especialista, sendo significativamente mais rápido que métodos como MC Dropout (que exigem múltiplas passagens) e com latência comparável à política de difusão base.
• Ablação: A ablação mostrou que a seleção "Greed" (apenas média) não funciona bem, confirmando que a penalização da incerteza (pessimismo) é o fator chave para o sucesso no cenário offline.

5. Significado e Conclusão

Este trabalho oferece uma solução robusta para o problema de seleção de estratégia em ambientes incertos e offline. Ao integrar a inferência bayesiana leve (VBLL) com políticas de difusão, os autores criam um sistema que:

1. Evita a média de modos: Seleciona ativamente a estratégia correta em vez de tentar aprender uma média de todas elas.
2. É seguro: O princípio de pessimismo protege o robô de executar ações baseadas em previsões não confiáveis (fora da distribuição de treinamento).
3. É eficiente: Permite tempo de inferência em tempo real, viabilizando o uso em robótica prática.

O estudo conclui que, para tarefas multimodais complexas como o rastreamento ativo, a qualidade da seleção da estratégia é frequentemente um fator limitante maior do que a qualidade da geração de ações em si, e que a quantificação de incerteza é fundamental para superar essa limitação.