Résumé Technique : EAGOR – Embodied reAsoning in Omni-diRection

1. Énoncé du Problème

Les agents incarnés équipés de caméras omnidirectionnelles (360°) possèdent une vue holistique de leur environnement, ce qui est avantageux pour des tâches telles que la navigation sans carte et la recherche visuelle active. Cependant, les modèles de vision-langage (VLM) actuels traitent généralement les données à 360° en les projetant sur des images planes 2D via une projection équirectangulaire (ERP). Cette approche introduit des défauts géométriques fondamentaux :

• Distorsion et discontinuité : L'ERP provoque des distorsions dépendantes de la latitude et des discontinuités de couture (là où les bords gauche et droit de l'image se rejoignent), violant les hypothèses euclidiennes inhérentes aux architectures VLM standard.
• Raisonnement directionnel incohérent : Parce que les données à 360° représentent des directions de vue sur une sphère plutôt que des positions sur un plan plat, la projection en 2D conduit à des estimations de direction incohérentes lorsque l'agent se déplace ou pivote. La direction cible prédite a tendance à dériver au fil du temps en raison de l'accumulation d'erreurs d'interpolation, particulièrement lors du franchissement des coutures.
• Manque de cohérence de mouvement : Les méthodes existantes traitent souvent le raisonnement directionnel comme un problème de reconnaissance par image, échouant à maintenir une croyance continue et cohérente avec le mouvement concernant l'emplacement de la cible par rapport au mouvement propre de l'agent.

Le défi central est de permettre aux VLM d'effectuer un raisonnement omnidirectionnel conscient de la géométrie qui reste cohérent sous le mouvement de l'agent, sans nécessiter d'entraînement spécifique du modèle de base (backbone).

2. Méthodologie : Le cadre EAGOR

Les auteurs proposent EAGOR (Embodied reAsoning in Omni-diRection), un cadre sans entraînement et conscient de la géométrie, qui découple la perception sémantique de l'estimation de l'état géométrique. Au lieu de prédire directement les coordonnées de la cible dans l'espace d'image ERP, EAGOR reformule le problème comme une estimation bayésienne récursive sur la sphère.

Composants principaux :

1. Extraction de l'évidence sémantique :

   • Un VLM gelé (ex. Qwen-2.5-VL, Gemma-3) traite l'observation panoramique actuelle $I_t$ et une requête de cible.
   • Le VLM génère une carte de réponse conditionnée par la cible $\ell_t(u, v)$ sur l'image ERP, représentant la probabilité que la cible apparaisse à des emplacements de pixels spécifiques.
   • Cette réponse 2D est « élevée » vers le domaine sphérique. Les coordonnées de pixels sont mappées vers l'azimut ($\theta$) et l'élévation ($\phi$) pour former un champ de vraisemblance directionnelle $\ell_t(\omega)$ sur la sphère $S^2$.
   • Pour faciliter l'accumulation additive, ce champ est converti en un champ de log-vraisemblance $r_t(\omega) = \log(\ell_t(\omega) + \epsilon)$.

2. Champ de Croyance par Harmoniques Sphériques (SH-BF) :

   • EAGOR maintient un état de croyance persistant $f_t(\omega)$ représentant la log-probabilité a posteriori accumulée que la cible se trouve dans la direction $\omega$.
   • Cette croyance est représentée à l'aide d'harmoniques sphériques (SH), fournissant une base continue et équivariante par rotation sur $S^2$. La croyance est exprimée par :
     $$f_t(\omega) = \sum_{\ell=0}^{L} \sum_{m=-\ell}^{\ell} c_{\ell m}^{(t)} Y_{\ell}^{m}(\omega)$$
     où $c_{\ell m}^{(t)}$ sont les coefficients SH et $L=7$ est la limite de bande.

3. Mise à jour Bayésienne Récursive :
   Le cadre opère selon une boucle d'observation, de propagation et de fusion :

   • Observation : La log-vraisemblance actuelle $r_t(\omega)$ est projetée sur la base SH pour obtenir les coefficients d'observation $b_{\ell m}^{(t)}$.
   • Propagation : Les coefficients de la croyance a posteriori précédente $c_{\ell m}^{(t-1)}$ sont rotés vers le référentiel actuel de l'agent à l'aide de matrices de Wigner-D ($D_{mm'}^{\ell}(R_t)$), où $R_t$ est la rotation de l'agent (ex. changement de lacet $\Delta\psi_t$). Cela produit le prior propagé $\tilde{c}_{\ell m}^{(t)}$.
   • Fusion : La nouvelle a posteriori est calculée en combinant additivement le prior propagé et l'observation actuelle dans l'espace logarithmique :
     $$c_{\ell m}^{(t)} = \tilde{c}_{\ell m}^{(t)} + b_{\ell m}^{(t)}$$
   • Décodage : La direction cible égocentrée finale $\hat{\omega}^*_t$ est récupérée en calculant la moyenne sphérique (moyenne de Fréchet) du champ de croyance, qui peut être dérivée analytiquement à partir des coefficients SH de degré 1.

3. Principales Contributions

Le document identifie quatre contributions majeures :

1. Identification d'un écart de représentation : Les auteurs soulignent que l'action robotique nécessite une croyance directionnelle cohérente avec le mouvement sur la sphère, une exigence non satisfaite par les représentations ERP actuelles qui souffrent de dérive et de distorsion.
2. Cadre EAGOR : Un cadre sans entraînement et conscient de la géométrie qui traite les sorties des VLM comme des vraisemblances probabilistes sur la sphère, permettant un raisonnement omnidirectionnel précis sans ajustement (fine-tuning) du VLM de base.
3. Champ de Croyance par Harmoniques Sphériques (SH-BF) : Une nouvelle représentation pour la propagation de la croyance directionnelle continue et cohérente par rotation, qui évite les artefacts ERP et supporte l'estimation bayésienne récursive directement sur la variété sphérique.
4. Validation Complète : Une évaluation étendue à travers la simulation (Habitat) et des déploiements de robots quadrupèdes dans le monde réel, démontrant une performance supérieure dans les tâches de navigation et de recherche visuelle par rapport aux lignes de base existantes.

4. Résultats Expérimentaux

EAGOR a été évalué sur deux ensembles de données de référence (HOS, OSR-Bench), des tâches de navigation simulées (Suivi de Waypoint, Navigation sans carte) et des expériences réelles avec un robot Unitree-Go2.

• Recherche Visuelle Active (HOS & OSR-Bench) :

  • EAGOR a systématiquement surpassé les lignes de base à travers divers backbones VLM (de 3B à 12B paramètres).
  • Sur le jeu de données HOS, il a obtenu des gains relatifs moyens de +34,4 %.
  • Sur OSR-Bench, il a obtenu un gain relatif de +45,6 %.
  • Notamment, EAGOR avec un modèle de 7 milliards de paramètres (Qwen2.5-VL) a surpassé la performance d'un modèle autonome de 72 milliards et d'un modèle de 12 milliards, démontrant que le raisonnement géométrique peut compenser la taille du modèle.
  • Il a réduit le nombre de vues nécessaires pour la convergence de 1,4×.

• Navigation sans Carte (Habitat-Sim) :

  • EAGOR a amélioré les taux de succès de navigation de +14,6 % (94 % contre 82 % pour les lignes de base).
  • Il a réduit les étapes de parcours de 17,7 % et l'erreur angulaire moyenne (MAE) de 24,5 %.
  • Crucialement, il a réduit l'incohérence temporelle (dérive directionnelle) de 6,5× par rapport à la meilleure ligne de base, maintenant la précision même lors des passages de coutures et des virages serrés.

• Validation dans le Monde Réel :

  • Déployé sur un robot quadrupède, EAGOR a maintenu des croyances de direction cible cohérentes malgré le bruit des capteurs, le mouvement propre et l'occlusion temporaire de la cible, surpassant les lignes de base basées sur l'ERP qui souffraient de dérive.

• Ablation :

  • Une limite de bande de $L=7$ a été jugée offrir un équilibre optimal entre résolution angulaire (~25°) et l'évitement des artefacts de Gibbs (ringing).
  • Le cadre n'ajoute qu'environ 0,6× de surcharge de temps d'inférence par rapport à la ligne de base, avec une augmentation négligeable de la mémoire GPU.

5. Signification et Revendications

Le papier affirme qu'EAGOR répond à une limitation critique de l'IA incarnée : l'incapacité des VLM actuels à maintenir un raisonnement spatialement cohérent dans des environnements à 360°. En passant de la prédiction de coordonnées de pixels à l'estimation de croyance sphérique, le cadre garantit que les estimations directionnelles restent stables sous le mouvement de l'agent, une condition préalable pour une navigation sans carte et une recherche active fiables.

Les auteurs soulignent que leur approche est sans entraînement, ce qui signifie qu'elle améliore les VLM existants sans nécesspr de réentraînement ou de fine-tuning sur des jeux de données spécifiques. Ils soutiennent que cela démontre le potentiel du raisonnement « conscient de la géométrie » pour débloquer toutes les capacités des grands modèles de vision-langage dans des contextes incarnés, permettant à de plus petits modèles de surpasser de plus grands modèles non modifiés.

Limites Reconnues :
Les auteurs notent qu'EAGOR repose sur les VLM pour les vraisemblances sémantiques, ce qui le rend sensible aux erreurs de perception telles que les fausses détections, les cibles rares et la confusion multi-instances. Bien que l'accumulation récursive de la croyance aide à atténuer une partie de l'ambiguïté, la performance du système est ultimement limitée par la capacité du VLM à identifier correctement la cible. Des travaux futurs sont suggérés pour incorporer la détection ancrée (grounded detection) et des formulations multi-capteurs.