Resumo Técnico: EAGOR – Raciocínio Incorporado em Direção Omnidirecional

1. Definição do Problema

Agentes incorporados equipados com câmeras omnidirecionais (360°) possuem uma visão holística de seus arredores, o que é vantajoso para tarefas como navegação sem mapa e busca visual ativa. No entanto, os atuais Modelos de Visão-Linguagem (VLMs) tipicamente processam dados de 360° projetando-os em imagens planas 2D usando Projeção Equirretangular (ERP). Esta abordagem introduz falhas geométricas fundamentais:

• Distorção e Descontinuidade: A ERP causa distorções dependentes da latitude e descontinuidades de costura (onde as bordas esquerda e direita da imagem se encontram), violando as suposições euclidianas inerentes às arquiteturas padrão de VLM.
• Raciocínio Direcional Inconsistente: Como os dados de 360° representam direções de visão em uma esfera e não posições em um plano plano, projetá-los em 2D leva a estimativas de direção inconsistentes quando o agente se move ou rotaciona. A direção alvo prevista tende a derivar ao longo do tempo devido a erros de interpolação acumulados, particularmente durante travessias de costura.
• Falta de Consistência de Movimento: Métodos existentes frequentemente tratam o raciocínio direcional como um problema de reconhecimento por quadro, falhando em manter uma crença contínua e consistente com o movimento sobre a localização do alvo em relação ao ego-movimento do agente.

O desafio central é permitir que os VLMs realizem um raciocínio omnidirecional geometricamente consciente que permaneça consistente sob o movimento do agente sem exigir o treinamento de modelos de backbone específicos para a tarefa.

2. Metodologia: Estrutura EAGOR

Os autores propõem o EAGOR (Embodied reAsoninG in Omni-diRection), uma estrutura livre de treinamento e geometricamente consciente que desacopla a percepção semântica da estimativa de estado geométrico. Em vez de prever coordenadas do alvo diretamente no espaço da imagem ERP, o EAGOR reformula o problema como uma estimativa Bayesiana recursiva na esfera.

Componentes Principais:

1. Extração de Evidência Semântica:

   • Um VLM congelado (ex: Qwen-2.5-VL, Gemma-3) processa a observação panorâmica atual $I_t$ e uma consulta de alvo.
   • O VLM gera um mapa de resposta condicionado ao alvo $\ell_t(u, v)$ sobre a imagem ERP, representando a probabilidade do alvo aparecer em localizações de pixels específicos.
   • Esta resposta 2D é "elevada" para o domínio esférico. As coordenadas de pixel são mapeadas para azimute ($\theta$) e elevação ($\phi$) para formar um campo de verossimilhança direcional $\ell_t(\omega)$ na esfera $S^2$.
   • Para facilitar a acumulação aditiva, este campo é convertido em um campo de log-verossimilhança $r_t(\omega) = \log(\ell_t(\omega) + \epsilon)$.

2. Campo de Crença de Harmônicos Esféricos (SH-BF):

   • O EAGOR mantém um estado de crença persistente $f_t(\omega)$ que representa a log-posterioridade acumulada de que o alvo está na direção $\omega$.
   • Esta crença é representada usando Harmônicos Esféricos (SH), fornecendo uma base contínua e equivariante à rotação em $S^2$. A crença é expressa como:
     $$f_t(\omega) = \sum_{\ell=0}^{L} \sum_{m=-\ell}^{\ell} c_{\ell m}^{(t)} Y_{\ell}^{m}(\omega)$$
     onde $c_{\ell m}^{(t)}$ são os coeficientes de SH e $L=7$ é o limite de banda.

3. Atualização Bayesiana Recursiva:
   A estrutura opera em um ciclo de observação, propagação e fusão:

   • Observação: A log-verossimilhança atual $r_t(\omega)$ é projetada na base SH para obter os coeficientes de observação $b_{\ell m}^{(t)}$.
   • Propagação: Os coeficientes de crença posterior anteriores $c_{\ell m}^{(t-1)}$ são rotacionados para o frame atual do agente usando matrizes Wigner-D ($D_{mm'}^{\ell}(R_t)$), onde $R_t$ é a rotação do agente (ex: mudança de guinada $\Delta\psi_t$). Isso gera a prior propagada $\tilde{c}_{\ell m}^{(t)}$.
   • Fusão: A nova posterior é computada combinando aditivamente a prior propagada e a observação atual no espaço log:
     $$c_{\ell m}^{(t)} = \tilde{c}_{\ell m}^{(t)} + b_{\ell m}^{(t)}$$
   • Decodificação: A direção do alvo egocêntrica final $\hat{\omega}^*_t$ é recuperada computando a média esférica (média de Fréchet) do campo de crença, que pode ser derivada analiticamente a partir dos coeficientes de SH de grau 1.

3. Principais Contribuições

O artigo identifica quatro contribuições primárias:

1. Identificação de uma Lacuna de Representação: Os autores destacam que a ação robótica requer uma crença direcional consistente com o movimento na esfera, um requisito não atendido pelas representações atuais baseadas em ERP, que sofrem de deriva e distorção.
2. Estrutura EAGOR: Uma estrutura livre de treinamento e geometricamente consciente que trata as saídas do VLM como verossimilhanças probabilísticas na esfera, permitindo o raciocínio omnidirecional preciso sem o ajuste fino (fine-tuning) do backbone VLM.
3. Campo de Crença de Harmônicos Esféricos (SH-BF): Uma representação inovadora para propagação de crença direcional contínua e consistente com a rotação que evita artefatos de ERP e suporta a estimativa Bayesiana recursiva diretamente no manifold esférico.
4. Validação Abrangente: Avaliação extensa através de simulação (Habitat) e implantações de robôs perna (legged robots) no mundo real, demonstrando desempenho superior em tarefas de navegação e busca visual em comparação com baselines existentes.

4. Resultados Experimentais

O EAGOR foi avaliado em dois conjuntos de dados de benchmark (HOS, OSR-Bench), tarefas de navegação simulada (Seguimento de Waypoint, Navegação sem Mapa) e experimentos no mundo real com um robô perna Unitree-Go2.

• Busca Visual Ativa (HOS & OSR-Bench):

  • O EAGOR superou consistentemente os baselines em vários backbones de VLM (de 3B a 12B parâmetros).
  • No conjunto de dados HOS, alcançou ganhos relativos médios de +34,4%.
  • No OSR-Bench, alcançou um ganho relativo de +45,6%.
  • Notavelmente, o EAGOR com um modelo de 7 bilhões de parâmetros (Qwen2.5-VL) superou o desempenho de um modelo standalone de 72B e de um modelo de 12B, demonstrando que o raciocínio geométrico pode compensar o tamanho do modelo.
  • Reduziu o número de visões necessárias para a convergência em 1,4×.

• Navegação sem Mapa (Habitat-Sim):

  • O EAGOR melhorou as taxas de sucesso de navegação em +14,6% (94% vs. 82% para os baselines).
  • Reduziu os passos do caminho em 17,7% e o erro angular médio (MAE) em 24,5%.
  • Crucialmente, reduziu a inconsistência temporal (deriva direcional) em 6,5× em comparação com o melhor baseline, mantendo a precisão mesmo durante travessias de costura e curvas acentuadas.

• Validação no Mundo Real:

  • Implantado em um robô perna, o EAGOR manteve crenças de direção de alvo coerentes sob ruído de sensor, ego-movimento e oclusão temporária do alvo, superando os baselines baseados em ERP que sofreram com deriva.

• Ablação:

  • Um limite de banda de $L=7$ foi considerado ideal para oferecer um equilíbrio entre resolução angular (~25°) e evitar artefatos de Gibbs ringing.
  • A estrutura adiciona apenas cerca de ~0,6× de overhead de tempo de inferência em comparação ao baseline, com um aumento negligível de memória GPU.

5. Significância e Alegações

O artigo afirma que o EAGOR aborda uma limitação crítica na IA incorporada: a incapacidade dos atuais VLMs de manter um raciocínio espacial geometricamente consistente em ambientes de 360°. Ao mudar da predição de coordenadas de pixel para a estimativa de crença esférica, a estrutura garante que as estimativas direcionais permaneçam estáveis sob o movimento do agente, um pré-requisito para navegação sem mapa e busca ativa confiáveis.

Os autores enfatizam que sua abordagem é livre de treinamento, o que significa que ela melhora os VLMs existentes sem exigir o retreinamento ou ajuste fino em conjuntos de dados específicos. Eles argumentam que isso demonstra o potencial do raciocções "geometricamente conscientes" para desbloquear as capacidades totais dos grandes modelos de visão-linguagem em configurações incorporadas, permitindo que modelos menores superem modelos maiores e não modificados.

Limitações Reconhecidas:
Os autores observam que o EAGOR depende dos VLMs para verossimilhanças semânticas, tornando-o sensível a erros de percepção, como falsas detecções, alvos raros e confusão de múltiplas instâncias. Embora a acumulação recursiva da crença ajude a mitigar parte dessa ambiguidade, o desempenho do sistema é, em última análise, limitado pela capacidade do VLM de identificar corretamente o alvo. Sugere-se que trabalhos futuros incorporem detecção fundamentada (grounded detection) e formulações de múltiplos sensores.