Riepilogo Tecnico: EAGOR – Embodied reAsoninG in Omni-diRection

1. Definizione del Problema

Gli agenti incarnati (embodied agents) dotati di telecamere omnidirezionali (360°) possiedono una visione olistica del proprio ambiente, il che è vantaggioso per compiti come la navigazione senza mappa e la ricerca visiva attiva. Tuttavia, i modelli vision-language (VLM) attuali elaborano tipicamente i dati a 360° proiettandoli su immagini piane 2D tramite la proiezione equirettangolare (ERP). Questo approccio introduce difetti geometrici fondamentali:

• Distorsione e Discontinuità: La ERP causa distorsioni dipendenti dalla latitudine e discontinuità nelle cuciture (dove i bordi sinistro e destro dell'immagine si incontrano), violando le assunzioni euclidee intrinseche nelle architetture VLM standard.
• Ragionamento Direzionale Inconsistente: Poiché i dati a 360° rappresentano direzioni di visione su una sfera piuttosto che posizioni su un piano piatto, la proiezione in 2D porta a stime direzionali incoerenti quando l'agente si muove o ruota. La direzione del target predetta tende a derivare nel tempo a causa dell'accumulo di errori di interpolazione, particolarmente durante l'attraversamento delle cuciture.
• Mancanza di Consistenza del Movimento: I metodi esistenti spesso trattano il ragionamento direzionale come un problema di riconoscimento per singolo frame, fallendo nel mantenere una credenza (belief) continua e consistente rispetto al moto dell'agente rispetto al proprio moto ego-centrico.

La sfida principale è consentire ai VLM di eseguire un ragionamento omnidirezionale consapevole della geometria che rimanga consistente sotto il moto dell'agente senza richiedere l'addestramento specifico del backbone dei modelli.

2. Metodologia: Framework EAGOR

Gli autori propongono EAGOR (Embodied reAsoninG in Omni-diRection), un framework training-free e consapevole della geometria che disaccoppia la percezione semantica dalla stima dello stato geometrico. Invece di predire direttamente le coordinate del target nello spazio dell'immagine ERP, EAGOR riformula il problema come stima bayesiana ricorsiva sulla sfera.

Componenti Core:

1. Estrazione dell'Evidenza Semantica:

   • Un VLM congelato (es. Qwen-2.5-VL, Gemma-3) elabora l'osservazione panoramica corrente $I_t$ e una query sul target.
   • Il VLM genera una mappa di risposta condizionata al target $\ell_t(u, v)$ sull'immagine ERP, che rappresenta la verosimiglianza che il target appaia in specifiche posizioni di pixel.
   • Questa risposta 2D viene "elevata" al dominio sferico. Le coordinate dei pixel sono mappate in azimut ($\theta$) ed elevazione ($\phi$) per formare un campo di verosimiglianza direzionale $\ell_t(\omega)$ sulla sfera $S^2$.
   • Per facilitare l'accumulazione additiva, questo campo viene convertito in un campo di log-verosimiglianza $r_t(\omega) = \log(\ell_t(\omega) + \epsilon)$.

2. Campo di Credenza Armonica Sferica (SH-BF):

   • EAGOR mantiene uno stato di credenza persistente $f_t(\omega)$ che rappresenta la log-posterior probability accumulata che il target si trovi nella direzione $\omega$.
   • Questa credenza è rappresentata utilizzando gli Armonici Sferici (SH), fornendo una base continua e rotazione-equivariante su $S^2$. La credenza è espressa come:
     $$f_t(\omega) = \sum_{\ell=0}^{L} \sum_{m=-\ell}^{\ell} c_{\ell m}^{(t)} Y_{\ell}^{m}(\omega)$$
     dove $c_{\ell m}^{(t)}$ sono i coefficienti SH e $L=7$ è il limite di banda.

3. Aggiornamento Bayesiano Ricorsivo:
   Il framework opera in un ciclo di osservazione, propagazione e fusione:

   • Osservazione: L'attuale log-verosimiglianza $r_t(\omega)$ viene proiettata sulla base SH per ottenere i coefficienti di osservazione $b_{\ell m}^{(t)}$.
   • Propagazione: I coefficienti della precedente credenza a posteriori $c_{\ell m}^{(t-1)}$ vengono ruotati nel frame dell'agente tramite matrici di Wigner-D ($D_{mm'}^{\ell}(R_t)$), dove $R_t$ è la rotazione dell'agente (es. variazione di yaw $\Delta\psi_t$). Ciò produce la prior propagata $\tilde{c}_{\ell m}^{(t)}$.
   • Fusione: La nuova posterior viene calcolata combinando additivamente la prior propagata e l'osservazione corrente nello spazio logaritmico:
     $$c_{\ell m}^{(t)} = \tilde{c}_{\ell m}^{(t)} + b_{\ell m}^{(t)}$$
   • Decodifica: La direzione finale del target egocentrica $\hat{\omega}^*_t$ viene recuperata calcolando la media sferica (media di Fréchet) del campo di credenza, che può essere derivata analiticamente dai coefficienti SH di grado 1.

3. Contributi Chiave

Il paper identifica quattro contributi primari:

1. Identificazione di un Gap di Rappresentazione: Gli autori evidenziano che l'azione robotica richiede una credenza direzionale consistente con il moto sulla sfera, un requisito non soddisfatto dalle attuali rappresentazioni basate su ERP che soffrono di drift e distorsione.
2. Framework EAGOR: Un framework training-free e consapevole della geometria che tratta gli output dei VLM come verosimiglianze probabilistiche sulla sfera, permettendo un ragionamento omnidirezionale accurato senza il fine-tuning del backbone VLM.
3. Campo di Credenza Armonica Sferica (SH-BF): Una nuova rappresentazione per la propagazione della credenza direzionale continua e rotazione-consistente che evita gli artefatti ERP e supporta la stima bayesiana ricorsiva direttamente sul manifold sferico.
4. Validazione Completa: Valutazione estesa attraverso simulazione (Habitat) e deployment su robot legged reali, dimostrando prestazioni superiori nei compiti di navigazione e ricerca visiva rispetto alle baseline esistenti.

4. Risultati Sperimentali

EAGOR è stato valutato su due dataset benchmark (HOS, OSR-Bench), compiti di navigazione simulata (Waypoint Following, Map-Free Navigation) ed esperimenti nel mondo reale con un robot Unitree-Go2.

• Ricerca Visiva Attiva (HOS & OSR-Bench):

  • EAGOR ha superato costantemente le baseline attraverso vari backbone VLM (da 3B a 12B di parametri).
  • Su HOS, ha ottenuto guadagni relativi medi del +34.4%.
  • Su OSR-Bench, ha ottenuto un guadagno relativo del +45.6%.
  • Notevolmente, EAGOR con un modello da 7B parametri (Qwen2.5-VL) ha superato le prestazioni di un modello standalone da 72B e di uno da 12B, dimostrando che il ragionamento geometrico può compensare la dimensione del modello.
  • Ha ridotto il numero di viste necessarie per la convergenza di 1.4×.

• Navigazione Senza Mappa (Habitat-Sim):

  • EAGOR ha migliorato i tassi di successo della navigazione del +14.6% (94% contro 82% delle baseline).
  • Ha ridotto i passi del percorso del 17.7% e l'errore angolare medio (MAE) del 24.5%.
  • Crucialmente, ha ridotto l'inconsistenza temporale (drift direzionale) di 6.5× rispetto alla migliore baseline, mantenendo l'accuratezza anche durante i passaggi di cucitura e le svolte brusche.

• Validazione nel Mondo Reale:

  • Distribuito su un robot legged, EAGOR ha mantenuto credenze coerenti sulla direzione del target sotto rumore dei sensori, moto dell'agente e occlusione temporanea del target, superando le baseline basate su ERP che soffrivano di drift.

• Ablation:

  • Un limite di banda $L=7$ è risultato offrire un equilibrio ottimale tra risoluzione angolare (~25°) ed evitare artefatti di Gibbs ringing.
  • Il framework aggiunge solo circa 0.6× di overhead nel tempo di inferenza rispetto alla baseline, con un aumento trascurabile della memoria GPU.

5. Significato e Claim

Il paper sostiene che EAGOR affronti un limite critico nell'IA incarnata: l'incapacità degli attuali VLM di mantenere un ragionamento spaziale geometricamente consistente in ambienti a 360°. Spostandosi dalla predizione delle coordinate dei pixel alla stima della credenza sferica, il framework assicura che le stime direzionali rimangano stabili sotto il moto dell'agente, un prerequisito per la navigazione senza mappa e la ricerca attiva affidabili.

Gli autori sottolineano che il loro approccio è training-free, il che significa che potenzia i VLM esistenti senza richiedere il retraining o il fine-tuning su dataset specifici. Sostengono che ciò dimostri il potenziale del "ragionamento consapevole della geometria" per sbloccare le piene capacità dei grandi modelli vision-language in contesti incarnati, permettendo a modelli più piccoli di superare modelli più grandi e non modificati.

Limitazioni Riconosciute:
Gli autori notano che EAGOR si affida ai VLM per le verosimiglianze semantiche, rendendolo sensibile agli errori di percezione come falsi rilevamenti, target rari o confusione tra più istanze. Sebbene l'accumulazione ricorsiva della credenza aiuti a mitigare parte dell'ambiguità, le prestazioni del sistema sono in ultima analisi limitate dalla capacità del VLM di identificare correttamente il target. Il lavoro futuro suggerisce di incorporare il rilevamento grounded e formulazioni multi-sensore.