OmniVLN: Omnidirectional 3D Perception and Token-Efficient LLM Reasoning for Visual-Language Navigation across Air and Ground Platforms

Resumo Técnico: OmniVLN

1. O Problema

A navegação guiada por linguagem (Visual-Language Navigation - VLN) em ambientes internos complexos enfrenta dois desafios principais que limitam a eficácia dos sistemas existentes:

• Limitações de Percepção (Campo de Visão Restrito): Sistemas tradicionais dependem de sensores com campo de visão (FoV) estreito. Isso força o agente a realizar rotações repetidas para mapear o ambiente, atrasando a descoberta de alvos e resultando em uma compreensão espacial fragmentada, especialmente em ambientes desordenados ou com oclusões. Além disso, a falta de um front-end de percepção omnidirecional agnóstico ao hardware dificulta a transferência de pipelines entre robôs aéreos e terrestres.
• Ineficiência de Tokens em LLMs: À medida que a percepção se expande para mapeamento 3D omnidirecional, a quantidade de dados semânticos (listas exaustivas de objetos, mapas densos) aumenta drasticamente. Promptar Grandes Modelos de Linguagem (LLMs) diretamente com esses dados densos excede rapidamente o orçamento de tokens, levando a instabilidade no raciocínio, latência de inferência elevada e custos computacionais proibitivos para navegação de longo horizonte.

2. Metodologia: A Arquitetura OmniVLN

O OmniVLN é um framework de navegação zero-shot que integra percepção 3D omnidirecional com raciocínio hierárquico eficiente em tokens. A metodologia divide-se em três componentes principais:

A. Percepção Multimodal Omnidirecional

• Fusão de Sensores: Combina um LiDAR rotativo (para geometria de alta frequência) e câmeras panorâmicas (para semântica densa).
• Consistência Espaço-Temporal: Utiliza um backend de odometria LiDAR-Inercial para compensação de movimento, gerando uma nuvem de pontos semântica globalmente registrada.
• Rotulação Semântica: Aplica máscaras de "Open-Vocabulary" (via Grounded SAM e SAM2) aos pontos 3D através de projeção equiretangular, atribuindo rótulos consistentes a objetos e estruturas.

B. Construção e Refinamento de Grafo de Cena Dinâmico (DSG)
O ambiente é abstraído em um Grafo de Cena Dinâmico (DSG) de cinco camadas:

1. Malha (Mesh): Geometria baseada em TSDF.
2. Objetos: Entidades instanciadas com semântica.
3. Lugares (Places): Nós topológicos baseados em distância livre.
4. Salas (Rooms): Aglomerados macro-espaciais.
5. Edifício: Nó raiz.

• Particionamento Adaptativo: Utiliza Homologia Persistente para determinar o número ótimo de salas sem depender de limiares manuais, garantindo uma divisão topológica robusta.
• Refinamento Híbrido: As arestas do grafo são validadas geometricamente (para evitar oclusões) e semanticamente (usando um VLM para verificar relações de curto alcance), criando um modelo de mundo fisicamente fiel.

C. Raciocínio Ego-Cêntrico Hierárquico com LLMs
Para evitar a explosão de tokens, o sistema transforma o conhecimento global do grafo em uma representação compacta e centrada no agente:

• Modelo de Octante 3D: O espaço ao redor do agente é dividido em 8 octantes volumétricos (como um cubo Rubik 2x2x2). Isso permite que o LLM infera alinhamentos verticais e visibilidade imediata sem precisar de imagens de FoV estreito.
• Atenção Espacial Multi-Resolução:
  • Zona Focal (Próximo): Objetos próximos mantêm detalhes de instância completos.
  • Zona Periférica/Distante: Objetos distantes são comprimidos em descritores topológicos (ex: "Sala de Reunião", "Grupo Funcional").
• Cadeia de Pensamento (CoT) Guiada pelo DSG: O LLM segue uma lógica descendente:
  1. Filtragem de Salas: Identifica salas topologicamente alcançáveis e semanticamente relevantes.
  2. Orientação: Determina a direção no octante 3D.
  3. Inferência de Grupos Funcionais: Prioriza regiões (ex: mesas, prateleiras) onde o alvo é provável.
  4. Localização de Objeto: Grounding final para um nó específico.
• Ciclo Actor-Critic: Um módulo "Actor" gera primitivas de navegação, enquanto um "Critic" verifica a consistência lógica com o DSG e as restrições de tratabilidade, rejeitando ações inválidas antes da execução.

3. Principais Contribuições

1. Front-end de Percepção Agnóstico: Um pipeline unificado que fornece mapeamento semântico 3D consistente de 360° para robôs aéreos e terrestres, eliminando pontos cegos.
2. Abstração Hierárquica Eficiente: Um pipeline que integra DSG, abstração de topologia de salas e observações em octantes 3D, criando um modelo de mundo compacto para navegação entre salas.
3. Estratégia de Prompting Eficiente em Tokens: Permite raciocínio de longo horizonte sem verbalizar mapas densos, reduzindo drasticamente o consumo de tokens enquanto mantém a precisão.
4. Recurso Aberto: Liberação de um conjunto de dados multimodal omnidirecional e do framework de sistema para pesquisa reprodutível.

4. Resultados Experimentais

Os experimentos foram realizados em laboratórios reais e ambientes sintéticos, comparando o OmniVLN com baselines de listas planas (flat-list):

• Precisão em Referências Espaciais: A precisão na geração de expressões de referência (Referring Expression Generation) aumentou de 77,27% para 93,18%. A melhoria foi particularmente notável no raciocínio dependente da visão (View-Dependent), que subiu 22,73%, eliminando "alucinações espaciais" comuns em listas planas.
• Eficiência de Tokens: Em ambientes desordenados com alta densidade de objetos, o método reduziu o consumo cumulativo de tokens em até 61,7% (chegando a ~70% em memórias globais distantes).
• Desempenho de Navegação: A taxa de sucesso na navegação melhorou em até 11,68% em comparação com a baseline.
• Latência: O tempo de resposta por decisão foi reduzido de 12,4s para 3,8s (aceleração de 3x) em cenários de alta densidade, permitindo operação em tempo real.
• Validação em Plataformas Reais: O sistema foi testado com sucesso em robôs aéreos (drones com PX4) e terrestres (robôs quadrúpedes Unitree), demonstrando robustez na sincronização entre execução real e o grafo de cena 3D.

5. Significado e Impacto

O OmniVLN representa um avanço significativo na robótica de navegação autônoma ao resolver o dilema entre percepção rica e raciocínio escalável.

• Escalabilidade: Ao comprimir o mundo em representações topológicas e hierárquicas, o sistema permite que LLMs operem em ambientes de grande escala (edifícios inteiros) sem esgotar a janela de contexto.
• Generalização: A abordagem zero-shot e agnóstica ao hardware permite que a mesma lógica de alto nível seja aplicada a diferentes tipos de robôs, facilitando a implantação em sistemas heterogêneos.
• Robustez: A integração de percepção omnidirecional elimina a necessidade de rotações exploratórias lentas, tornando a navegação mais rápida e segura em ambientes complexos e ocluídos.

Em suma, o OmniVLN estabelece um novo paradigma onde a percepção 3D completa e o raciocínio semântico eficiente coexistem, permitindo que agentes robóticos compreendam e naveguem em ambientes complexos de forma mais humana e eficiente.