Resumo Técnico: PSG-Nav: Navegação em Grafos de Cena Probabilísticos via Tomada de Decisão de Multiverso

Definição do Problema

A navegação de vocabulário aberto em ambientes complexos e desconhecidos exige que agentes incorporados naveguem utilizando objetivos de texto livre (ex: "encontrar um sofá azul"). Um desafio crítico neste domínio é a incerteza de percepção, decorrente da ambiguidade semântica de objetos físicos e de erros em modelos de percepção. As abordagens existentes frequentemente dependem de representações determinísticas, onde saídas ruidosas são tratadas como fatos absolutos e mapeadas para rótulos fixos únicos (ex: rotular um objeto estritamente como "cama" ou "sofá"). Esta abordagem descarta a distribuição semântica completa, levando a:

1. Layouts Ilógicos: Mapas imprecisos onde objetos são colocados em contextos semanticamente inconsistentes (ex: uma cama em uma sala de estar).
2. Decisões Superconfiantes: Agentes tomam decisões irreversíveis baseadas em dados ruidosos, causando falsos positivos onde o agente encerra um episódio prematuramente perto de um objetivo incorreto.
3. Falhas de Mudança de Domínio (Domain Shift): Identificações errôneas frequentes devido ao hiato entre o pré-treinamento no mundo real e os ambientes simulados.

O artigo argumenta que gerenciar essa incerteza é crítico para o sucesso da tarefa, pois tratar saídas ruidosas como fatos leva à perda de informação e a caminhos não confiáveis.

Metodologia

Os autores propõem o PSG-Nav, um framework unificado projetado para navegar robustamente sob ambiguidade semântica. O sistema consiste em três componentes principais:

1. Grafo de Cena 3D Probabilístico (3D-PSG)

Ao contrário dos grafos de cena tradicionais que atribuem rótulos rígidos, o 3D-PSG mantém uma distribuição categórica completa para cada nó de objeto.

• Estrutura Hierárquica: O grafo é organizado em três níveis: nós de Objeto, nós de Grupo (clusters de objetos espacialmente próximos) e nós de Ambiente/Cômodo (Room).
• Representação Probabilística: Cada nó de objeto $o_i$ mantém uma distribuição de crença $P(o_i = c_k)$ atualizada via uma estratégia de acumulação de "votos" (contagem de votos de detecção ao longo do tempo) em vez de atualizações Bayesianas instáveis com priors de Dirichlet.
• Fatoração Hierárquica: Para evitar a explosão combinatória de uma distribuição conjunta global, a incerteza é fatorada hierarquicamente. Os nós de Grupo computam probabilidades conjuntas de seus objetos constituintes, e os nós de Ambiente agregam as distribuições dos grupos.
• Poda Lógica: Durante a construção, o sistema enumera combinações semânticas potenciais e utiliza um Grande Modelo de Linguagem (LLM) como um filtro lógico para podar configurações com conflitos semânticos (ex: um vaso sanitário em uma sala de estar), garantindo coerência semântica global.

2. Framework de Decisão de Multiverso

Para operacionalizar o grafo probabilístico para planejamento, o framework amostra um conjunto de "mundos" discretos e determinísticos a partir da distribuição conjunta do 3D-PSG.

• Amostragem de Mundo: O sistema gera $K$ instanciações de mundos distintas ($G^{(1)} \dots G^{(K)}$), cada uma representando uma interpretação logicamente consistente do ambiente.
• Exploração Intrínseca Consciente da Incerteza: O agente avalia marcos candidatos (derivados de Grafos de Voronoi Generalizados e fronteiras) com base em duas métricas:
  • Ganho de Informação Espacial ($I_{spa}$): A cobertura esperada do espaço desconhecido.
  • Potencial de Desambiguação Semântica ($I_{sem}$): A redução esperada na entropia semântica (entropia de Shannon) de objetos próximos.
• Comparação Pareada Estocástica: Em vez de classificar marcos em um único mapa ruidoso, o agente realiza $M$ rodadas de avaliação. Em cada rodada, um mundo é amostrado, e o LLM atua como um oráculo de preferência para comparar pares de marcos com base em sua probabilidade de levar ao objetivo dentro daquele mundo específico.
• Agregação de Decisão: A pontuação de preferência final é derivada pela marginalização das vitórias pareadas através de todo o multiverso, garantindo que o caminho selecionado seja robusto ao ruído perceptual.

3. Calibrador de Experiência Evidencial (EEC)

Para mitigar falsos positivos causados pela incerteza epistêmica, o EEC atua como um módulo de verificação baseado em Geração Aumentada por Recuperação (RAG).

• Memória de Contexto Probabilístico: O sistema mantém dois bancos de memória: um Banco Positivo ($B^+$) de detecções de objetivos bem-sucedidas e um Banco Negativo ($B^-$) de falsos positivos históricos. As entradas incluem embeddings visuais e contexto estrutural (distribuições semânticas de ambiente e grupo).
• Calibração de Confiança: Quando um objeto candidato é detectado, o EEC recupera contextos similares de ambos os bancos. Ele computa uma margem de calibração baseada na similaridade com casos de sucesso versus falha.
• Ajuste Dinâmico: A pontuação de detecção bruta é ajustada por esta margem. O agente só encerra o episódio se a pontuação calibrada exceder um limiar de validação, efetivamente suprimindo detecções que se assemelham a modos de erro conhecidos.

Principais Contribuições

1. Grafo de Cena 3D Probabilístico: Uma representação hierárquica que preserva distribuições semânticas completas nos níveis de objeto, grupo e ambiente, evitando a perda irreversível de informação associada à rotulagem determinística.
2. Tomada de Decisão de Multiverso: Uma estratégia de planejamento inovadora que amostra múltiplos cenários de mundos plausíveis para avaliar marcos de navegação, permitindo que o agente marginalize o ruído perceptual e tome decisões estáveis.
3. Calibrador de Experiência Evidencial: Um módulo de aprendizado contínuo e online que valida detecções contra uma memória de sucessos e falhas passados para calibrar dinamicamente a confiança e evitar a terminação prematura.
4. Desempenho de Estado da Arte: O framework estabelece novos benchmarks em datasets padrão enquanto demonstra aplicabilidade prática em robôs físicos.

Resultados Experimentais

Os autores avaliaram o PSG-Nav em três benchmarks amplamente utilizados: MP3D, HM3D e HSSD.

• Taxas de Sucesso (SR):
  • HM3D: 66,1% (PSG-Nav) vs. 65,4% (ASCENT, o SOTA anterior).
  • MP3D: 44,8% (PSG-Nav) vs. 44,5% (ASCENT).
  • HSSD: 67,9% (PSG-Nav).
• Desempenho Zero-Shot: A variante sem o EEC (zero-shot estrito) ainda alcançou 63,5% de SR no HM3D, superando métodos como BeliefMapNav (61,4%) e ApexNav (59,6%).
• Estudos de Ablação:
  • Remover o 3D-PSG (revertendo para rótulos determinísticos) causou uma queda significativa no desempenho (ex: -9,4% de SR no HSSD).
  • Remover a hierarquia de nível de Grupo tornou a probabilidade conjunta de configurações globais negligenciável, tornando a amostragem de mundo intratável.
  • O EEC mostrou-se capaz de interceptar 76,9% das paradas de falso positivo em um subconjunto específico de modo de falha, recuperando 30,3% dos episódios que falharam anteriormente.
• Implantação no Mundo Real: O sistema foi implantado com sucesso em um robô físico (Agilex SCOUT MINI) em ambientes internos, onde rejeitou corretamente um sofá visualmente semelhante como alvo de uma cadeira e continuou a exploração para encontrar o verdadeiro objetivo.

Significância e Alegações

O artigo afirma que o PSG-Nav aborda o "colapso determinístico" na navegação de vocabulário aberto ao modelar explicitamente os ambientes como estruturas probabilísticas. Ao preservar distribuições semânticas completas e utilizar a experiência histórica para calibração, o framework permite uma tomada de decisão mais confiável em ambientes complexos.

Os autores posicionam seu trabalho como um passo em direção a agentes autônomos confiáveis e capazes que podem lidar com a incerteza inerente ao mundo físico. Eles observam que, embora sua abordagem melhore significativamente a robustez, ela atualmente depende de mapas de ocupação 2D, limitando sua capacidade de lidar explicitamente com a navegação vertical (escadas, topologias de múltiplos andares). O trabalho futuro é proposto para estender o framework para planejamento volumétrico e grafos de cena hierárquicos de nível de andar.