Technische Samenvatting: EAGOR – Embodied reAsoninG in Omni-diRection

1. Probleemstelling

Embodied agents uitgerust met omnidirectionele (360°) camera's beschikken over een holistisch beeld van hun omgeving, wat voordelig is voor taken zoals kaartvrije navigatie en actieve visuele zoekopdrachten. De huidige Vision-Language Models (VLM's) verwerken 360°-data echter doorgaans door deze te projecteren op 2D-vlakke beelden met behulp van Equirectangular Projection (ERP). Deze aanpak introduceert fundamentele geometrische gebreken:

• Distortie en Discontinuïteit: ERP veroorzaakt breedtegraad-afhankelijke distorties en naad-discontinuïteiten (waar de linker- en rechterrand van de afbeelding samenkomen), wat de Euclidische aannames die inherent zijn aan standaard VLM-architecturen schendt.
• Inconsistente Richtingsredenering: Omdat 360°-data kijkrichtingen op een sfeer vertegenwoordigt in plaats van posities op een plat vlak, leidt het projecteren ervan naar 2D tot inconsistente richtingramingen wanneer de agent beweegt of roteert. De voorspelde doelrichting heeft de neiging om over tijd te driften door geaccumuleerde interpolatiefouten, met name tijdens het passeren van de naad.
• Gebrek aan Bewegingsconsistentie: Bestaande methoden behandelen directionele redenering vaak als een per-frame herkenningsprobleem, waardoor ze er niet in slagen een continue, bewegingsconsistente overtuiging over de locatie van het doel te behouden ten opzichte van de ego-beweging van de agent.

De kernuitdaging is om VLM's in staat te stellen om geometrie-bewuste omnidirectionele redenering uit te voeren die consistent blijft onder agent-beweging, zonder dat hiervoor taakspecifieke training van de backbone-modellen vereist is.

2. Methodologie: EAGOR-framework

De auteurs stellen EAGOR (Embodied reAsoning in Omni-diRection) voor, een training-vrij, geometrie-bewust framework dat semantische perceptie ontkoppelt van geometrische toestandschatting. In plaats van doelcoördinaten direct in de ERP-afbeeldingsruimte te voorspellen, herformuleert EAGOR het probleem als recursieve Bayesiaanse schatting op de sfeer.

Kerncomponenten:

1. Extractie van Semantisch Bewijs:

   • Een bevroren VLM (bijv. Qwen-2.5-VL, Gemma-3) verwerkt de huidige panoramische observatie $I_t$ en een doel-query.
   • De VLM genereert een doel-geconditioneerde responskaart $\ell_t(u, v)$ over de ERP-afbeelding, die de waarschijnlijkheid weergeeft dat het doel zich op specifieke pixellocaties bevindt.
   • Deze 2D-respons wordt "gelift" naar de sferische domein. Pixelcoördinaten worden gemapt naar azimuth ($\theta$) en elevatie ($\phi$) om een directioneel waarschijnlijkheidsveld $\ell_t(\omega)$ op de sfeer $S^2$ te vormen.
   • Om additieve accumulatie te faciliteren, wordt dit veld omgezet in een log-waarschijnlijkheidsveld $r_t(\omega) = \log(\ell_t(\omega) + \epsilon)$.

2. Spherical Harmonic Belief Field (SH-BF):

   • EAGOR onderhoudt een persistente belief-toestand $f_t(\omega)$ die de geaccumuleerde log-posterior waarschijnlijkheid vertegenwoordigt dat het doel zich in richting $\omega$ bevindt.
   • Deze belief wordt gerepresenteerd met behulp van Spherical Harmonics (SH), wat een continue, rotatie-equivariante basis biedt op $S^2$. De belief wordt uitgedrukt als:
     $$f_t(\omega) = \sum_{\ell=0}^{L} \sum_{m=-\ell}^{\ell} c_{\ell m}^{(t)} Y_{\ell}^{m}(\omega)$$
     waarbij $c_{\ell m}^{(t)}$ de SH-coëfficiënten zijn en $L=7$ de bandlimiet is.

3. Recursieve Bayesiaanse Update:
   Het framework werkt in een lus van observatie, propagatie en fusie:

   • Observatie: De huidige log-waarschijnlijkheid $r_t(\omega)$ wordt geprojecteerd op de SH-basis om observatie-coëfficiënten $b_{\ell m}^{(t)}$ te verkrijgen.
   • Propagatie: De vorige posterior belief-coëfficiënten $c_{\ell m}^{(t-1)}$ worden geroteerd naar het huidige agent-frame met behulp van Wigner-D matrices ($D_{mm'}^{\ell}(R_t)$), waarbij $R_t$ de rotatie van de agent is (bijv. verandering in yaw $\Delta\psi_t$). Dit levert de gepropageerde prior $\tilde{c}_{\ell m}^{(t)}$ op.
   • Fusie: De nieuwe posterior wordt berekend door de gepropageerde prior en de huidige observatie additief te combineren in de log-ruimte:
     $$c_{\ell m}^{(t)} = \tilde{c}_{\ell m}^{(t)} + b_{\ell m}^{(t)}$$
   • Decoding: De uiteindelijke egocentrische doelrichting $\hat{\omega}^*_t$ wordt teruggewonnen door de sferische gemiddelde (Fréchet-gemiddelde) van het belief-veld te berekenen, wat afgeleid kan worden van de degree-1 SH-coëfficiënten.

3. Belangrijkste Bijdragen

Het artikel identificeert vier primaire bijdragen:

1. Identificatie van een Representatiekloof: De auteurs benadrukken dat robotactie een bewegingsconsistente directionele belief op de sfeer vereist, een vereiste die niet wordt voldaan door huidige ERP-gebaseerde representaties die lijden aan drift en distortie.
2. EAGOR-framework: Een training-vrij, geometrie-bewust framework dat VLM-outputs behandelt als probabilistische waarschijnlijkheden op de sfeer, wat nauwkeurige omnidirectionele redenering mogelijk maakt zonder de backbone VLM te finetunen.
3. Spherical Harmonic Belief Field (SH-BF): Een nieuwe representatie voor continue, rotatie-consistente directionele belief-propagatie die ERP-artefacten vermijdt en directe recursieve Bayesiaanse schatting op het sferische manifold ondersteunt.
4. Uitgebreide Validatie: Uitgebreide evaluatie in simulatie (Habitat) en real-world legged robot-deployments, die superieure prestaties aantoont bij navigatie- en visuele zoektaken vergeleken met bestaande baselines.

4. Experimentele Resultaten

EAGOR werd geëvalueerd op twee benchmark-datasets (HOS, OSR-Bench), gesimuleerde navigatietaken (Waypoint Following, Map-Free Navigation) en real-world experimenten met een Unitree-Go2 robot.

• Actieve Visuele Zoekopdracht (HOS & OSR-Bench):

  • EAGOR presteerde consequent beter dan baselines over diverse VLM backbones (3B tot 12B parameters).
  • Op de HOS-dataset behaalde het gemiddelde relatieve winsten van +34,4%.
  • Op OSR-Bench behaalde het een relatieve winst van +45,6%.
  • Opvallend genoeg overtrof EAGOR met een 7B-parameter model (Qwen2.5-VL) de prestaties van een standalone 72B model en een 12B model, wat aantoont dat geometrische redenering de modelgrootte kan compenseren.
  • Het verminderde het aantal benodigde views voor convergentie met 1,4×.

• Kaartvrije Navigatie (Habitat-Sim):

  • EAGOR verbeterde de succesratio's van navigatie met +14,6% (94% vs. 82% voor baselines).
  • Het verminderde het aantal stappen in het pad met 17,7% en de gemiddelde hoekfout (MAE) met 24,5%.
  • Cruciaal is dat het de temporele inconsistentie (richtingsdrift) met 6,5× verminderde vergeleken met de beste baseline, waarbij de nauwkeurigheid behouden bleef tijdens naad-doorbraken en scherpe bochten.

• Real-World Validatie:

  • Geïmplementeerd op een legged robot, behield EAGOR coherente doelrichting-beliefs onder sensorruis, ego-beweging en tijdelijke doel-occlusie, waarbij het ERP-gebaseerde baselines overtrof die leden aan drift.

• Ablatie:

  • Een bandlimiet van $L=7$ bleek een optimale balans te bieden tussen hoekresolutie (~25°) en het vermijden van Gibbs-ringing artefacten.
  • Het framework voegt slechts ~0,6× inferentietijd-overhead toe vergeleken met de baseline, met een verwaarloosbare toename in GPU-geheugen.

5. Betekenis en Claims

Het artikel claimt dat EAGOR een kritieke beperking in Embodied AI aanpakt: het onvermogen van huidige VLM's om geometrisch consistente ruimtelijke redenering te behouden in 360°-omgevingen. Door de verschuiving van pixelcoördinaat-voorspelling naar sferische belief-schatting, zorgt het framework ervoor dat directionele schattingen stabiel blijven onder agent-beweging, een vereiste voor betrouwbare kaartvrije navigatie en actieve zoekopdrachten.

De auteurs benadrukken dat hun aanpak training-vrij is, wat betekent dat het bestaande VLM's verbetert zonder dat hertraining of finetuning op specifieke datasets nodig is. Zij argumenteren dat dit het potentieel aantoont van "geometrie-bewuste" redenering om de volledige capaciteiten van grote vision-language modellen in embodied settings te ontsluiten, waardoor kleinere modellen grotere, ongewijzigde modellen kunnen overtreffen.

Erkende Beperkingen:
De auteurs merken op dat EAGOR afhankelijk is van VLM's voor semantische waarschijnlijkheden, wat het gevoelig maakt voor perceptiefouten zoals valse detecties, zeldzame doelwitten en multi-instance verwarring. Hoewel de recursieve belief-accumulatie helpt bij het verzachten van dergelijke ambiguïteit, wordt de prestatie van het systeem uiteindelijk begrensd door het vermogen van de VLM om het doel correct te identificeren. Toekomstig werk suggereert het integreren van grounded detectie en multi-sensor formuleringen.