💻 computer science

EAGOR: Embodied Reasoning in Omni-direction

EAGOR ist ein trainingsfreies, geometriebewusstes Framework, das das verkörperte 360-Grad-Richtungsverständnis verbessert, indem es dieses als rekursive Bayes-Schätzung auf einer sphärischen Mannigfaltigkeit unter Verwendung eines Spherical Harmonic Belief Fields formuliert und dadurch die Einschränkungen von 2D-Projektionen überwindet sowie signifikante Leistungssteigerungen bei der Navigation und der Schätzung der Zielrichtung erzielt.

Ursprüngliche Autoren: Shriram Damodaran, Soumyaratna Debnath, Yan Wu, Wei-Yun Yau, Addison Lin Wang

Veröffentlicht 2026-07-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Shriram Damodaran, Soumyaratna Debnath, Yan Wu, Wei-Yun Yau, Addison Lin Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie gehen durch einen riesigen, kreisförmigen Raum und tragen eine 360-Grad-Brille. Sie können alles um sich herum auf einmal sehen: die Tür hinter Ihnen, das Fenster zu Ihrer Linken und den Tisch vor Ihnen. Stellen Sie sich nun vor, jemand sagt zu Ihnen: „Finde den roten Stuhl.“

Wenn Sie ein Standardroboter wären, der mit heutiger Technologie arbeitet, wäre es so, als würde man ein Foto dieses kreisförmigen Raums machen und es auf ein Blatt Papier flachdrücken (so wie man einen Globus auf eine flache Karte projiziert). Dieser Prozess des Abflachens erzeugt seltsame Verzerrungen. Der obere und untere Teil der Karte werden gestaucht, und die linken und rechten Ränder werden auseinandergerissen. Wenn Sie den Kopf drehen, wird die „flache Karte“ durcheinandergebracht, und der Roboter wird verwirrt darüber, wo sich der Stuhl im Verhältnis zu seinem eigenen Körper befindet. Er könnte denken, dass sich der Stuhl bewegt, obwohl er eigentlich stillsteht, oder er könnte die Spur zu ihm ganz verlieren, wenn er die „Nahtstelle“ der Karte überquert.

Hier kommt EAGOR ins Spiel.

Das Paper stellt EAGOR (Embodied reAsoning in Omni-diRection) vor, eine neue Art für Roboter, über Richtungen nachzudenken, die nicht auf dem Abflachen der Welt basiert. Anstatt zu versuchen, eine 360-Grad-Sicht in ein flaches, verzerrtes Bild zu pressen, behandelt EAGOR die Sicht des Roboters als eine perfekte Kugel, genau wie die Erde.

So funktioniert es, unter Verwendung einer einfachen Analogie:

1. Der „Mentale Kompass“ vs. die „Flache Karte“

Die meisten Roboter versuchen, den Ort eines Objekts zu erraten, indem sie auf einen bestimmten Punkt in einem flachen Bild zeigen (wie zum Beispiel zu sagen: „Der Stuhl ist bei Pixel 400, Zeile 200“). Wenn der Roboter sich dreht, bewegt sich dieser Pixel, und die Mathematik wird kompliziert.

EAGOR ist anders. Anstatt nach einem Pixel zu suchen, baut es einen kontinuierlichen „Mentalen Kompass“ im Gehirn des Roboters auf.

Die Analogie: Stellen Sie sich vor, Sie halten einen leuchtenden Ball in Ihren Händen. Der Roboter fragt nicht: „Wo ist der Stuhl auf dem Papier?“ Er fragt stat stattdessen: „In welcher Richtung auf diesem leuchtenden Ball befindet sich der Stuhl?“
Selbst wenn der Roboter sich um die eigene Achse dreht, rotiert der leuchtende Ball mit ihm. Die Richtung zum Stuhl bleibt auf dem Ball konsistent, auch wenn sich die Sicht des Roboters auf den Raum ändert.

2. Das „Belief Field“ (Der Akkumulator)

Das Paper erklärt, dass die Augen (Kameras) eines Roboters verrauscht sein können. Manchmal glaubt der Roboter, einen Stuhl zu sehen, aber es ist eigentlich ein Kleiderständer.

Der alte Weg: Der Roboter stellt eine Vermutung basierend auf der aktuellen Momentaufnahme an. Wenn die Momentaufnahme verschwommen ist oder der Roboter sich dreht, ist die Vermutung falsch.
EAGORs Weg: EAGOR fungt wie ein vertrauenswürdiges Gedächtnis. Jedes Mal, wenn der Roboter die Welt betrachtet, gibt er eine kleine „Stimme“ zu seinem Mentalen Kompass ab.
- Wenn der Roboter eine stuhlähnliche Form sieht, fügt er eine Stimme zu dieser Richtung hinzu.
- Wenn der Roboter sich dreht, rotiert er seinen gesamten Mentalen Kompass so, dass die Stimmen im Verhältnis zum Roboter an der richtigen Stelle bleiben.
- Im Laufe der Zeit häufen sich die „Stimmen an“, wodurch ein starkes, klares Signal entsteht, das angibt, wo sich das Ziel tatsächlich befindet; dies filtert das Rauschen und die Verwirrung heraus.

3. Warum das wichtig ist (Die Ergebnisse)

Die Forscher haben dies an Robotern in Computersimulationen und an einem echten, vierbeinigen Roboter (einem Unitree Go2) in einem echten Raum getestet.

Das „Nahtstellen-Problem“: Wenn ein Roboter sich dreht und die „Nahtstelle“ überquert (die Kante, an der sich die 360-Grad-Sicht umschließt), werden alte Roboter oft schwindelig und verlieren das Ziel aus den Augen. EAGOR bewältigt dies reibungslos, da sein „Mentaler Kompass“ keine Kanten oder Risse hat.
Die Ergebnisse:
- Visuelle Suche: Als sie nach Objekten suchen sollten, war EAGOR signifikant genauer (bis zu 45 % besser) als bisherige Methoden, selbst wenn kleinere, weniger leistungsfähige KI-Gehirne verwendet wurden.
- Navigation: Bei der Navigation ohne Karte legte EAGOR weniger Schritte zurück und machte weniger Fehler. Es war viel besser darin, seine Richtung stabil zu halten, während es sich bewegte.
- Reale Welt: Der echte Roboter konnte Ziele erfolgreich verfolgen, während er sich bewegte und drehte, was beweist, dass dies nicht nur ein Trick aus einer Computersimulation ist.

Das Fazit

Das Paper argumentiert, dass man, um in einer 360-Grad-Welt zu navigieren, die Welt nicht wie ein flaches Stück Papier behandeln darf. Man muss sie wie eine Kugel behandeln.

EAGOR ist ein „training-free“ Werkzeug (das heißt, es muss nicht neu trainiert werden, wie man geht oder sieht; es verbessert lediglich, wie die bestehende KI über Richtung nachdenkt). Es nimmt den „Flache-Karte“-Ansatz aktueller Roboter und ersetzt ihn durch ein sphärisches, rotierendes Glaubenssystem, das den Orientierungssinn des Roboters stabil, präzise und konsistent hält, egal wie sehr er sich dreht oder bewegt.

Kurz gesagt: Es ist der Unterschied zwischen dem Versuch, eine Stadt mit einer zerknitterten, zerrissenen Papierkarte zu navigieren, und dem Besitz eines perfekten, rotierenden GPS-Kompasses, der immer genau weiß, wo man sich befindet und wohin man geht.

Technisches Resümee: EAGOR – Embodied reAsoninG in Omni-diRection

1. Problemstellung

Embodied Agents, die mit omnidirektionalen (360°-) Kameras ausgestattet sind, besitzen eine ganzheitliche Sicht auf ihre Umgebung, was für Aufgaben wie die kartenlose Navigation oder die aktive visuelle Suche vorteilhaft ist. Derzeitige Vision-Language-Modelle (VLMs) verarbeiten 360°-Daten jedoch typischerweise, indem sie diese mittels Äquidistanzprojektion (Equirectangular Projection, ERP) auf 2D-Planarbilder projizieren. Dieser Ansatz führt zu grundlegenden geometrischen Mängeln:

Verzerrung und Diskontinuität: ERP verursacht latitudenabhängige Verzerrungen und Nahtstellen-Diskontinuitäten (dort, wo die linken und rechten Kanten des Bildes aufeinandertreffen), was die euklidischen Annahmen, die Standard-VLM-Architekturen zugrunde liegen, verletzt.
Inkonsistente Richtungsberechnung: Da 360°-Daten Blickrichtungen auf einer Kugel statt Positionen auf einer flachen Ebene repräsentieren, führt die Projektion auf 2D zu inkonsistenten Richtungsabschätzungen, wenn sich der Agent bewegt oder dreht. Die vorhergesagte Zielrichtung neigt dazu, im Laufe der Zeit zu driften, was auf kumulierte Interpolationsfehler zurückzuführen ist, insbesondere beim Überqueren von Nahtstellen.
Mangel an Bewegungskonsistenz: Bestehende Methoden behandeln die Richtungsberechnung oft als ein Problem der Objekterkennung pro Einzelbild und versäumen es, eine kontinuierliche, bewegungskonsistente Vorstellung über den Ort des Ziels relativ zur Eigenbewegung des Agenten aufrechtzuerhalten.

Die zentrale Herausforderung besteht darin, VLMs zu einer geometrie-bewussten omnidirektionalen Argumentation zu befähigen, die unter der Bewegung des Agenten konsistent bleibt, ohne dass eine aufgabenspezifische Feinabstimmung der Backbone-Modelle erforderlich ist.

2. Methodik: EAGOR-Framework

Die Autoren schlagen EAGOR (Embodied reAsoning in Omni-direction) vor, ein trainingsfreies, geometrie-bewusstes Framework, das die semantische Wahrnehmung von der geometrischen Zustandschätzung entkoppelt. Anstatt die Zielkoordinaten direkt im ERP-Bildraum vorherzusagen, definiert EAGOR das Problem als rekursive Bayes'sche Schätzung auf der Kugel.

Kernkomponenten:

Extraktion semantischer Evidenz:
- Ein eingefrorenes VLM (z. B. Qwen-2.5-VL, Gemma-3) verarbeitet die aktuelle Panorama-Beobachtung $I_t$ und eine Zielabfrage.
- Das VLM generiert eine zielbedingte Response-Map $\ell_t(u, v)$ über das ERP-Bild, welche die Wahrscheinlichkeit darstellt, mit der das Ziel an spezifischen Pixelpositionen erscheint.
- Diese 2D-Response wird in den sphärischen Bereich „gehoben“. Pixelkoordinaten werden auf Azimut ( $\theta$ ) und Elevation ( $\phi$ ) abgebildet, um ein direktionales Likelihood-Feld $\ell_t(\omega)$ auf der Kugel $S^2$ zu bilden.
- Um eine additive Akkumulation zu ermöglichen, wird dieses Feld in ein Log-Likelihood-Feld $r_t(\omega) = \log(\ell_t(\omega) + \epsilon)$ umgewandelt.
Spherical Harmonic Belief Field (SH-BF):
- EAGOR pflegt einen persistenten Belief-Zustand $f_t(\omega)$ , der die akkumulierte Log-Posterior-Wahrscheinlichkeit repräsentiert, dass sich das Ziel in der Richtung $\omega$ befindet.
- Dieser Belief wird mittels Spherical Harmonics (SH) dargestellt, was eine kontinuierliche, rotationsäquivariante Basis auf $S^2$ bietet. Der Belief wird ausgedrückt als:
  $f_t(\omega) = \sum_{\ell=0}^{L} \sum_{m=-\ell}^{\ell} c_{\ell m}^{(t)} Y_{\ell}^{m}(\omega)$
  wobei $c_{\ell m}^{(t)}$ die SH-Koeffizienten und $L=7$ die Bandbegrenzung sind.
Rekursive Bayes'sche Aktualisierung:
Das Framework operiert in einer Schleife aus Beobachtung, Propagation und Fusion:
- Beobachtung: Die aktuelle Log-Likelihood $r_t(\omega)$ wird auf die SH-Basis projiziert, um Beobachtungskoeffizienten $b_{\ell m}^{(t)}$ zu erhalten.
- Propagation: Die vorherigen Posterior-Belief-Koeffizienten $c_{\ell m}^{(t-1)}$ werden in das aktuelle Agenten-Koordinatensystem rotiert, unter Verwendung von Wigner-D-Matrizen ( $D_{mm'}^{\ell}(R_t)$ ), wobei $R_t$ die Rotation des Agenten (z. B. die Änderung des Gierwinkels $\Delta\psi_t$ ) darstellt. Dies ergibt den propagierten Prior $\tilde{c}_{\ell m}^{(t)}$ .
- Fusion: Der neue Posterior wird berechnet, indem der propagierte Prior und die aktuelle Beobachtung im Log-Raum additiv kombiniert werden:
  $c_{\ell m}^{(t)} = \tilde{c}_{\ell m}^{(t)} + b_{\ell m}^{(t)}$
- Dekodierung: Die endgültige egozentrische Zielrichtung $\hat{\omega}^*_t$ wird durch Berechnung des sphärischen Mittelwerts (Fréchet-Mittelwert) des Belief-Feldes gewonnen, der analytisch aus den Koeffizienten des Grades 1 der SH abgeleitet werden kann.

3. Zentrale Beiträge

Das Paper identifiziert vier primäre Beiträge:

Identifizierung einer Repräsentationslücke: Die Autoren zeigen auf, dass robotergestützte Aktionen einen bewegungskonsistenten direktionalen Belief auf der Kugel erfordern – eine Anforderung, die durch aktuelle ERP-basierte Repräsentationen, die unter Drift und Verzerrung leiden, nicht erfüllt wird.
EAGOR-Framework: Ein trainingsfreies, geometrie-bewusstes Framework, das VLM-Outputs als probabilistische Likelihoods auf der Kugel behandelt und so eine präzise omnidirektionale Argumentation ermöglicht, ohne das Backbone-VLM feinabzustimmen.
Spherical Harmonic Belief Field (SH-BF): Eine neuartige Repräsentation für die kontinuierliche, rotationskonsistente Propagation des direktionalen Beliefs, die ERP-Artefakte vermeidet und die rekursive Bayes'sche Schätzung direkt auf der sphärischen Mannigfaltigkeit unterstützt.
Umfassende Validierung: Umfangreiche Evaluierung über Simulationsumgebungen (Habitat) und reale Einsätze bei geländegängigen Robotern, die eine überlegene Leistung bei Navigations- und visuellen Suchaufgaben im Vergleich zu bestehenden Baselines demonstriert.

4. Experimentelle Ergebnisse

EAGOR wurde auf zwei Benchmark-Datensätzen (HOS, OSR-Bench), simulierten Navigationsaufgaben (Waypoint Following, Map-Free Navigation) und realen Experimenten mit einem Unitree-Go2-Roboter evaluiert.

Aktive visuelle Suche (HOS & OSR-Bench):
- EAGOR übertraf die Baselines konsistent über verschiedene VLM-Backbones hinweg (3B bis 12B Parameter).
- Auf dem HOS-Datensatz erreichte es durchschnittliche relative Gewinne von +34,4 %.
- Auf OSR-Bench wurde ein relativer Gewinn von +45,6 % erzielt.
- Bemerkenswerterweise übertraf EAGOR mit einem 7B-Parameter-Modell (Qwen2.5-VL) die Leistung eines Standalone-72B-Modells sowie eines 12B-Modells, was zeigt, dass geometrische Argumentation die Modellgröße kompensieren kann.
- Es reduzierte die Anzahl der benötigten Ansichten bis zur Konvergenz um den Faktor 1,4.
Kartenlose Navigation (Habitat-Sim):
- EAGOR verbesserte die Erfolgsrate der Navigation um +14,6 % (94 % gegenüber 82 % bei den Baselines).
- Es reduzierte die Pfadschritte um 17,7 % und den mittleren Winkelfehler (MAE) um 24,5 %.
- Entscheidend war, dass es die zeitliche Inkonsistenz (Richtungsdrift) im Vergleich zur besten Baseline um das 6,5-fache reduzierte und die Genauigkeit selbst bei Nahtstellenüberquerungen und scharfen Kurven beibehielt.
Validierung in der realen Welt:
- Im Einsatz auf einem geländegängigen Roboter behielt EAGOR kohärente Zielrichtungs-Beliefs trotz Sensorrauschen, Eigenbewegung und temporärer Zielverdeckung bei und übertraf dabei ERP-basierte Baselines, die unter Drift litten.
Ablation:
- Eine Bandbegrenzung von $L=7$ erwies sich als optimaler Kompromiss zwischen Winkelauflösung (~25°) und der Vermeidung von Gibbs-Phänomen-Artefakten.
- Das Framework verursacht lediglich einen Overhead von etwa 0,6× bei der Inferenzzeit im Vergleich zur Baseline, bei vernachlässigbarem Anstieg des GPU-Speichers.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass EAGOR eine kritische Einschränkung der Embodied AI adressiert: die Unfähigkeit aktueller VLMs, eine geometrisch konsistente räumliche Argumentation in 360°-Umgebungen aufrechtzuerhalten. Durch den Wechsel von der Vorhersage von Pixelkoordinaten zur sphärischen Belief-Schätzung stellt das Framework sicher, dass Richtungsabschätzungen unter der Bewegung des Agenten stabil bleiben – eine Voraussetzung für zuverlässige kartenlose Navigation und aktive Suche.

Die Autoren betonen, dass ihr Ansatz trainingsfrei ist, was bedeutet, dass er bestehende VLMs verbessert, ohne dass ein Retraining oder eine Feinabstimmung auf spezifischen Datensätzen erforderlich ist. Sie argumentieren, dass dies das Potenzial von „geometrie-bewusster“ Argumentation aufzeigt, um die vollen Fähigkeiten großer Vision-Language-Modelle in Embodied-Settings freizusetzen, wodurch kleinere Modelle leistungsfähigere, unveränderte größere Modelle übertreffen können.

Anerkannte Einschränkungen:
Die Autoren merken an, dass EAGOR auf VLMs für semantische Likelihoods angewiesen ist, was es anfällig für Wahrnehmungsfehler wie Fehlerkennungen, seltene Ziele oder Verwechslungen bei mehreren Instanzen macht. Während die rekursive Belief-Akkumulation hilft, gewisse Mehrdeutigkeiten zu mildern, ist die Leistungsfähigkeit des Systems letztlich durch die Fähigkeit des VLM begrenzt, das Ziel korrekt zu identifizieren. Zukünftige Arbeiten schlagen vor, Grounded Detection und Multi-Sensor-Formulierungen einzubeziehen.