Resumen Técnico: EAGOR – Razonamiento Corpóreo en Omni-dirección

1. Planteamiento del Problema

Los agentes corpóreos equipados con cámaras omnidireccionales (360°) poseen una visión holística de su entorno, lo cual es ventajoso para tareas como la navegación sin mapas y la búsqueda visual activa. Sin embargo, los modelos de visión y lenguaje (VLM) actuales suelen procesar datos de 360° proyectándolos sobre imágenes planas 2D mediante la Proyección Equirectangular (ERP). Este enfoque introduce fallos geométricos fundamentales:

• Distorsión y Discontinuidad: La ERP causa distorsiones dependientes de la latitud y discontinuidades de costura (donde los bordes izquierdo y derecho de la imagen se encuentran), violando las suposiciones euclidianas inherentes a las arquitecturas estándar de los VLM.
• Razonamiento Direccional Inconsistente: Debido a que los datos de 360° representan direcciones de visión en una esfera en lugar de posiciones en un plano plano, proyectarlos a 2D conduce a estimaciones de dirección inconsistentes cuando el agente se mueve o rota. La dirección del objetivo predicha tiende a derivar con el tiempo debido a la acumulación de errores de interpolación, particularmente durante los cruces de costura.
• Falta de Consistencia de Movimiento: Los métodos existentes a menudo tratan el razonamiento direccional como un problema de reconocimiento por fotograma, fallando en mantener una creencia continua y consistente con el movimiento sobre la ubicación del objetivo en relación con el movimiento propio del agente.

El desafío central es permitir que los VLM realicen un razonamiento omnidireccional consciente de la geometría que permanezca consistente bajo el movimiento del agente sin requerir el entrenamiento de los modelos de base para tareas específicas.

2. Metodología: Marco de Trabajo EAGOR

Los autores proponen EAGOR (Embodied reAsoning in Omni-diRection), un marco de trabajo libre de entrenamiento y consciente de la geometría que desacopla la percepción semántica de la estimación del estado geométrico. En lugar de predecir coordenadas de objetivos directamente en el espacio de la imagen ERP, EAGOR replantea el problema como una estimación bayesiana recursiva en la esfera.

Componentes Principales:

1. Extracción de Evidencia Semántica:

   • Un VLM congelado (p. ej., Qwen-2.5-VL, Gemma-3) procesa la observación panorámica actual $I_t$ y una consulta de objetivo.
   • El VLM genera un mapa de respuesta condicionado al objetivo $\ell_t(u, v)$ sobre la imagen ERP, que representa la verosimilitud de que el objetivo aparezca en ubicaciones de píxeles específicas.
   • Esta respuesta 2D se "eleva" al dominio esférico. Las coordenadas de los píxeles se mapean a azimut ($\theta$) y elevación ($\phi$) para formar un campo de verosimilitud direccional $\ell_t(\omega)$ en la esfera $S^2$.
   • Para facilitar la acumulación aditiva, este campo se convierte en un campo de log-verosimilitud $r_t(\omega) = \log(\ell_t(\omega) + \epsilon)$.

2. Campo de Creencia de Armónicos Esféricos (SH-BF):

   • EAGOR mantiene un estado de creencia persistente $f_t(\omega)$ que representa la log-posterior acumulada de que el objetivo se encuentre en la dirección $\omega$.
   • Esta creencia se representa utilizando Armónicos Esféricos (SH), proporcionando una base continua y equivariante a la rotación en $S^2$. La creencia se expresa como:
     $$f_t(\omega) = \sum_{\ell=0}^{L} \sum_{m=-\ell}^{\ell} c_{\ell m}^{(t)} Y_{\ell}^{m}(\omega)$$
     donde $c_{\ell m}^{(t)}$ son los coeficientes SH y $L=7$ es el límite de banda.

3. Actualización Bayesiana Recursiva:
   El marco opera en un bucle de observación, propagación y fusión:

   • Observación: La log-verosimilitud actual $r_t(\omega)$ se proyecta sobre la base SH para obtener los coeficientes de observación $b_{\ell m}^{(t)}$.
   • Propagación: Los coeficientes de la creencia posterior previa $c_{\ell m}^{(t-1)}$ se rotan al marco actual del agente utilizando matrices de Wigner-D ($D_{mm'}^{\ell}(R_t)$), donde $R_t$ es la rotación del agente (p. ej., cambio de yaw $\Delta\psi_t$). Esto produce la previa propagada $\tilde{c}_{\ell m}^{(t)}$.
   • Fusión: La nueva posterior se calcula combinando de forma aditiva la previa propagada y la observación actual en el espacio logarítmico:
     $$c_{\ell m}^{(t)} = \tilde{c}_{\ell m}^{(t)} + b_{\ell m}^{(t)}$$
   • Decodificación: La dirección del objetivo egocéntrica final $\hat{\omega}^*_t$ se recupera calculando la media esférica (media de Fréchet) del campo de creencia, que puede derivarse analíticamente a partir de los coeficientes SH de grado 1.

3. Contribuciones Clave

El artículo identifica cuatro contribuciones primarias:

1. Identificación de una Brecha de Representación: Los autores destacan que la acción robótica requiere una creencia direccional consistente con el movimiento en la esfera, un requisito no satisfecho por las representaciones actuales basadas en ERP que sufren de deriva y distorsión.
2. Marco de Trabajo EAGOR: Un marco de trabajo libre de entrenamiento y consciente de la geometría que trata las salidas de los VLM como verosimilitudes probabilísticas en la esfera, permitiendo un razonamiento omnidireccional preciso sin realizar el ajuste fino (fine-tuning) del modelo de base.
3. Campo de Creencia de Armónicos Esféricos (SH-BF): Una representación novedosa para la propagación de la creencia direccional continua y consistente con la rotación que evita los artefactos de la ERP y soporta la estimación bayesiana recursiva directamente en la variedad esférica.
4. Validación Exhaustiva: Evaluación extensa en simulaciones (Habitat) y despliegues de robots terrestres en el mundo real, demostrando un rendimiento superior en tareas de navegación y búsqueda visual en comparación con las líneas base existentes.

4. Resultados Experimentales

EAGOR fue evaluado en dos conjuntos de datos de referencia (HOS, OSR-Bench), tareas de navegación simulada (Seguimiento de Waypoint, Navegación sin Mapa) y experimentos en el mundo real con un robot de patas Unitree-Go2.

• Búsqueda Visual Activa (HOS y OSR-Bench):

  • EAGOR superó consistentemente a las líneas base en varios backbones de VLM (de 3B a 12B parámetros).
  • En el conjunto de datos HOS, logró ganancias relativas promedio de +34.4%.
  • En OSR-Bench, logró una ganancia relativa de +45.6%.
  • Notablemente, EAGOR con un modelo de 7B parámetros (Qwen2.5-VL) superó el rendimiento de un modelo independiente de 72B y uno de 12B, demostrando que el razonamiento geométrico puede compensar el tamaño del modelo.
  • Redujo el número de vistas requeridas para la convergencia en 1.4×.

• Navegación sin Mapa (Habitat-Sim):

  • EAGOR mejoró las tasas de éxito de navegación en un +14.6% (94% frente a 82% para las líneas base).
  • Redujo los pasos del camino en un 17.7% y el error angular medio (MAE) en un 24.5%.
  • Crucialmente, redujo la inconsistencia temporal (deriva direccional) en 6.5× en comparación con la mejor línea base, manteniendo la precisión incluso durante cruces de costura y giros bruscos.

• Validación en el Mundo Real:

  • Desplegado en un robot de patas, EAGOR mantuvo creencias de dirección de objetivo coherentes bajo ruido de sensores, movimiento propio y oclusión temporal del objetivo, superando a las líneas base basadas en ERP que sufrían de deriva.

• Ablación:

  • Se encontró que un límite de banda de $L=7$ ofrece un equilibrio óptimo entre resolución angular (~25°) y la evitación de artefactos de oscilación de Gibbs.
  • El marco añade solo un exceso de tiempo de inferencia de aproximadamente ~0.6× en comparación con la línea base, con un aumento insignificante de la memoria GPU.

5. Significado y Reivindicaciones

El artículo afirma que EAGOR aborda una limitación crítica en la IA corpórea: la incapacidad de los VLM actuales para mantener un razonamiento espacial geométricamente consistente en entornos de 360°. Al cambiar de la predicción de coordenadas de píxeles a la estimación de creencia esférica, el marco asegura que las estimaciones direccionales permanezcan estables bajo el movimiento del agente, un prerrequisito para la navegación sin mapa y la búsqueda activa fiables.

Los autores enfatizan que su enfoque está libre de entrenamiento, lo que significa que mejora los VLM existentes sin requerir reentrenamiento o ajuste fino en conjuntos de datos específicos. Argumentan que esto demuestra el potencial del razonamiento "consciente de la geometría" para desbloquear las capacidades completas de los grandes modelos de visión y lenguaje en entornos corpóreos, permitiendo que modelos más pequeños superen a otros más grandes y no modificados.

Limitaciones Reconocidas:
Los autores señalan que EAGOR depende de los VLM para las verosimilitudes semánticas, lo que lo hace sensible a errores de percepción como falsas detecciones, objetivos raros y confusión de múltiples instancias. Si bien la acumulación recursiva de la creencia ayuda a mitigar cierta ambigüedad, el rendimiento del sistema está finalmente limitado por la capacidad del VLM para identificar correctamente el objetivo. Se sugiere como trabajo futuro la incorporación de detección con anclaje (grounded detection) y formulaciones de multisensores.