TrajRAG: Retrieving Geometric-Semantic Experience for Zero-Shot Object Navigation

Resumo Técnico: TrajRAG – Recuperação de Experiência Geométrico-Semântica para Navegação de Objetos Zero-Shot

Declaração do Problema
Os métodos existentes de Navegação de Objetivo de Objeto Zero-Shot (ObjectNav) frequentemente dependem de conhecimento de senso comum derivado de modelos de linguagem de grande escala (LLMs) ou modelos visão-linguagem (VLMs). No entanto, esse conhecimento é tipicamente fundamentado em texto em escala de internet, e não em experiência espacial 3D incorporada. Além disso, embora alguns métodos utilizem observações episódicas coletadas durante a navegação, essas são frequentemente descartadas após cada episódio, impedindo a acumulação de experiência vitalícia. Consequentemente, os agentes lutam contra exploração redundante e carecem da capacidade de recuperar priores geométrico-semânticos específicos da cena para orientar a tomada de decisão em ambientes não vistos.

Metodologia
Os autores propõem o TrajRAG (Trajectory RAG), um framework de geração aumentada por recuperação projetado para construir uma memória de "longo prazo" de experiências de navegação. O sistema opera através de três mecanismos principais:

1. Representação de Trajetória Topológico-Polar (Topo-Polar):
   Para abordar a redundância nas trajetórias brutas de observação RGB-D (causada por re-visitas, loops e sobreposições espaciais), o TrajRAG converte observações contínuas em uma representação compacta e estruturada.

   • Esqueletização: Um mapa semântico é construído a partir de dados RGB-D, e a região navegável é esqueletizada para extrair nós topológicos.
   • Codificação Polar: Para cada nó topológico, o espaço circundante é discretizado em 12 setores polares (30° cada). Cada setor registra os rótulos semânticos observados (objeto, obstáculo, desconhecido ou livre). Isso cria uma "impressão digital" do layout geométrico-semântico local que é robusta a diferenças de orientação do agente.
   • Poda: O sistema funde nós consecutivos idênticos e poda loops temporais para garantir que as trajetórias armazenadas sejam eficientes e livres de loops.

2. Arquitetura de Chunking Hierárquico e Recuperação:
   O TrajRAG organiza essas trajetórias topo-polares em uma estrutura hierárquica para permitir uma recuperação eficiente do grosseiro ao fino:

   • Chunks: Cada chunk corresponde a uma única trajetória topo-polar, incluindo sua estrutura topológica, uma descrição em linguagem natural e um embedding aprendido.
   • Índice Grosseiro (Resumos): Trajetórias com estruturas topológicas semelhantes são agrupadas e fundidas em "resumos topo-polares" unificados. Esses resumos atuam como descritores do layout geral do grupo.
   • Índice Fino (Codificador de Trajetória): Um codificador de trajetória especializado (combinando um transformer apenas codificador para embeddings de nós e um transformer apenas decodificador para dependências sequenciais) incorpora trajetórias individuais. Este codificador é treinado via aprendizado contrastivo para garantir que trajetórias com o mesmo objetivo de navegação fiquem próximas no espaço de embeddings.
   • Processo de Recuperação: Durante a navegação, caminhos de exploração candidatos geram hipóteses de trajetória. O sistema primeiro realiza correspondência grosseira contra resumos topo-polares para identificar grupos relevantes, seguido por correspondência granular dentro desses grupos para recuperar chunks de trajetória específicos.

3. Navegação e Aprendizado Incremental:

   • Inferência: Em cada passo de tempo, o agente constrói um mapa semântico e identifica fronteiras. Caminhos candidatos são gerados, e o TrajRAG recupera experiências passadas relevantes (layouts geométrico-semânticos) para auxiliar o planejador (por exemplo, um LLM) na seleção do próximo ponto de passagem ideal.
   • Acumulação: Após o término de um episódio, a nova trajetória é incrementalmente integrada ao TrajRAG. Ela passa por correspondência semântica e geométrica contra resumos existentes. Se corresponder a um grupo existente, atualiza o resumo; caso contrário, um novo grupo é criado. Isso permite que o sistema acumule experiência de navegação vitalícia.

Principais Contribuições

• Representação Topo-Polar: Um método inovador para codificar compactamente layouts espaciais e contextos semânticos, removendo efetivamente redundâncias em observações episódicas brutas enquanto preserva impressões digitais geométrico-semânticas distintivas.
• Framework de Recuperação Hierárquico: Uma estratégia de recuperação do grosseiro ao fino que equilibra eficiência e precisão filtrando primeiro pelo layout da cena (resumos) e depois por detalhes específicos da trajetória (embeddings).
• Acumulação de Experiência Vitalícia: Um mecanismo para consolidar continuamente memórias episódicas em uma base de conhecimento de longo prazo, permitindo que o agente aprenda com interações passadas através de múltiplos episódios e cenas.
• Ponte entre Senso Comum e Experiência: O framework integra o raciocínio agnóstico à cena de grandes modelos com experiência geométrica-semântica específica da cena recuperada da própria história do agente.

Resultados Experimentais
Os autores avaliaram o TrajRAG em benchmarks de ObjectNav zero-shot utilizando os conjuntos de dados MP3D, HM3D-v1 e HM3D-v2 dentro do simulador Habitat.

• Desempenho: O TrajRAG alcançou desempenho de ponta em todos os benchmarks, superando métodos existentes baseados em LLM/VLM e outras formulações de RAG (como GraphRAG e RAG baseado em texto).
  • No HM3D-v2, alcançou uma Taxa de Sucesso (SR) de 78,1% e Sucesso ponderado pelo Comprimento do Caminho (SPL) de 40,2%.
  • No HM3D-v1, alcançou uma SR de 62,5% e SPL de 33,9%.
  • No MP3D, alcançou uma SR de 42,6% e SPL de 18,0%.
• Estudos de Ablação: Experimentos confirmaram que a combinação de pistas geométricas e semânticas na representação topo-polar é superior ao uso de recursos apenas de texto ou apenas de geometria. Além disso, a estratégia de recuperação hierárquica (do grosseiro ao fino) mostrou-se crítica, pois a remoção da etapa grosseira ou o uso de embeddings de texto genéricos degradou significativamente o desempenho.
• Generalização entre Conjuntos de Dados: O corpus de recuperação construído a partir de um conjunto de dados (por exemplo, HM3D-v1) guiou efetivamente a navegação em outro (por exemplo, MP3D), demonstrando a transferibilidade das representações topológico-semânticas aprendidas.

Significado
O artigo afirma que o TrajRAG aborda uma limitação fundamental no ObjectNav zero-shot atual: a falta de experiência acumulada e específica da cena. Ao recuperar experiências geométrico-semânticas em vez de depender exclusivamente de senso comum pré-treinado, o TrajRAG permite que os agentes tomem decisões mais informadas em ambientes complexos e não vistos. O trabalho demonstra que fechar a lacuna entre o raciocínio de grandes modelos e a experiência 3D incorporada através de um sistema de memória estruturado e vitalício melhora significativamente a precisão e a eficiência da navegação. Os autores posicionam isso como um passo em direção à aprendizagem contínua em agentes incorporados, onde memórias de curto prazo são gradualmente consolidadas em conhecimento de longo prazo para apoiar a tomada de decisão futura.