Integrating Deep RL and Bayesian Inference for ObjectNav in Mobile Robotics

1. Problema Abordado

O artigo foca no desafio da busca autônoma de objetos por robôs móveis em ambientes internos complexos e não estruturados. O problema é caracterizado por:

• Observabilidade Parcial: O robô não tem acesso a todo o ambiente simultaneamente.
• Incerteza Perceptiva: Deteções de objetos são ruidosas, podem ter oclusões e variam em confiança.
• Compromisso Exploração-Explotação: O robô precisa equilibrar a exploração de novas áreas com a exploração de regiões onde o objeto é mais provável de estar.

Abordagens clássicas probabilísticas lidam bem com a incerteza, mas dependem de heurísticas manuais para seleção de ações, limitando a adaptabilidade. Por outro lado, o Aprendizado por Reforço Profundo (DRL) aprende políticas adaptativas, mas frequentemente sofre de convergência lenta, falta de interpretabilidade e ausência de raciocínio explícito sobre incerteza.

2. Metodologia Proposta

Os autores propõem um framework híbrido que integra Inferência Bayesiana com Aprendizado por Reforço Profundo (DRL) para busca ativa de objetos. O sistema opera em quatro blocos principais:

A. Percepção e Modelo de Observação

• O robô utiliza um sensor RGB-D e um detector de objetos (YOLO v11).
• Para garantir que as probabilidades de saída sejam interpretáveis probabilisticamente, a camada de ativação é ajustada (softmax em vez de sigmoid) e calibrada usando temperatura no conjunto de dados MS COCO. Isso reduz a superconfiança do detector.
• As deteções são projetadas no mapa de ocupação 2D do ambiente, gerando evidências espaciais.

B. Representação de Crença e Atualização Bayesiana

• O sistema mantém um mapa de crença espacial sobre as possíveis localizações do objeto.
• Cada célula ocupada do mapa é associada a uma distribuição Dirichlet sobre as classes de objetos (incluindo "fundo").
• Atualização Online: A crença é atualizada iterativamente combinando o prior com novas evidências.
  • Deteções Positivas: Atualizam a probabilidade da classe detectada.
  • Evidência Negativa (Ausência): Células visíveis sem deteção fornecem evidência fraca a favor da classe "fundo", com decaimento baseado na distância.
• Utiliza-se uma regra de fusão conservadora (Kaplan et al.) para evitar posteriors excessivamente confiantes na presença de ruído.

C. Abstração de Navegação por Agrupamento (Clustering)

• Para lidar com grandes espaços de estado, o espaço livre do mapa é particionado em agrupamentos espaciais (clusters).
• Cada cluster é representado por um centróide, que serve como um ponto de vista candidato para exploração.
• O sistema utiliza uma estratégia de refinamento progressivo: começa com clusters grandes e, se necessário, duplica o número de clusters para uma busca mais fina.

D. Política Baseada em DRL (BBDPS)

• Um Deep Q-Network (DQN) é treinado para selecionar o próximo objetivo (centróide do cluster) diretamente a partir do estado de crença.
• Entrada do DQN: Um tensor contendo:
  1. A distribuição de probabilidade média do objeto-alvo.
  2. Um mapa de entropia (medida de incerteza local).
  3. O mapa de ocupação (estrutura do ambiente).
  4. A posição atual do robô.
• A política aprende a maximizar a recompensa (sucesso na busca) minimizando o custo de movimento, adaptando-se dinamicamente à evolução da crença Bayesiana.

3. Principais Contribuições

1. Framework Híbrido: Unificação da modelagem explícita de incerteza (Bayesiana) com a seleção de ações adaptativa (DRL), superando as limitações de ambas as abordagens isoladas.
2. Calibração de Deteção: Implementação de técnicas de calibração para transformar saídas de detectores de objetos em evidências probabilísticas confiáveis para o filtro Bayesiano.
3. Abstração Hierárquica: Uso de agrupamento espacial e refinamento progressivo para tornar a busca escalável em ambientes grandes, reduzindo o espaço de ação do agente.
4. Avaliação Comparativa Rigorosa: Desenvolvimento de linhas de base (baselines) para isolar o impacto de cada componente (busca aleatória, varredura determinística, e otimização de utilidade manual).

4. Resultados Experimentais

O método foi avaliado no simulador Habitat 3.0 em dois ambientes internos (um escritório pequeno e um apartamento maior), comparando a abordagem proposta (BBDPS) contra:

• RWS: Caminhada aleatória.
• PCSS: Varredura progressiva determinística (sem aprendizado).
• BBUMS: Busca Bayesiana pura com maximização de utilidade manual (heurística).

Principais achados:

• Taxa de Sucesso (SR): O método BBDPS alcançou a maior taxa de sucesso, atingindo 100% no ambiente pequeno e 99% no grande, superando significativamente a busca aleatória e a varredura determinística.
• Eficiência no Ambiente Grande: No ambiente maior, o BBDPS foi o mais eficiente em termos de ações executadas e distância percorrida entre os episódios de sucesso (redução de ~23% em ações e ~18% em distância comparado ao BBUMS). Isso demonstra que a política aprendida otimiza melhor a ordem de exploração em horizontes longos.
• Ambientes Pequenos: Em ambientes compactos, a vantagem da política aprendida sobre a heurística manual foi menor, sugerindo que a cobertura determinística já é eficaz em espaços reduzidos.
• Conclusão: A modelagem explícita de incerteza combinada com a seleção de ações aprendida melhora a robustez e a eficiência da busca, especialmente em cenários complexos onde a ordem de exploração é crítica.

5. Significado e Trabalhos Futuros

O trabalho demonstra que combinar a interpretabilidade e o raciocínio probabilístico da inferência Bayesiana com a capacidade de generalização e adaptação do DRL resulta em um comportamento de busca superior sob observabilidade parcial.

Limitações e Futuro:

• O método assume um mapa de ocupação conhecido (não resolve mapeamento e localização simultâneos - SLAM).
• O desempenho depende da qualidade do detector de objetos (falsos positivos/negativos afetam a convergência).
• A representação baseada em grade exige treinamento de uma política separada para cada ambiente, limitando a generalização cruzada.
• Trabalhos futuros focarão em representações de estado mais expressivas para transferência entre ambientes, incorporação de priores semânticos e avaliação em cenários reais (sim-to-real).