🤖 machine learning

Geometric Action Model for Robot Policy Learning

Das Paper stellt das Geometric Action Model (GAM) vor, eine sprachkonditionierte Manipulationspolicy, die ein vortrainiertes geometrisches Foundation-Modell durch dessen Aufteilung zur Integration eines kausalen Zukunftsprädiktors umnutzt und dadurch eine effiziente, präzise und robuste 3D-Argumentation für die Robotersteuerung ermöglicht, während gleichzeitig reiche geometrische Priors bewahrt werden.

Ursprüngliche Autoren: Jisang Han, Seonghu Jeon, Jaewoo Jung, René Zurbrügg, Honggyu An, Tifanny Portela, Marco Hutter, Marc Pollefeys, Seungryong Kim, Sunghwan Hong

Veröffentlicht 2026-06-16

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jisang Han, Seonghu Jeon, Jaewoo Jung, René Zurbrügg, Honggyu An, Tifanny Portela, Marco Hutter, Marc Pollefeys, Seungryong Kim, Sunghwan Hong

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, wie man Hausarbeiten erledigt, wie zum Beispiel das Stapeln von Blöcken oder das Stellen eines Topfes auf den Herd. Damit ein Roboter dies gut machen kann, muss er drei Dinge gleichzeitig verstehen: was Sie ihm gesagt haben (Sprache), was er gerade sieht (Vision) und wie sich die Welt verändern wird, wenn er sich bewegt (Physik/Geometrie).

Die meisten aktuellen Roboter-„Gehirne“ sind wie Menschen, die nur flache 2D-Fotografien betrachten können. Sie sind großartig darin, Objekte zu erkennen, haben aber Schwierigkeiten, Tiefe, Distanz oder zu verstehen, wie Dinge umfallen, wenn man sie anstößt. Sie müssen die 3D-Form der Welt allein durch ein flaches Bild erraten, was so ist, als würde man versuchen, die Größe eines Berges zu beurteilen, indem man sich eine Postkarte ansieht.

Das Papier stellt ein neues Robotergehirn namens GAM (Geometric Action Model) vor. So funktioniert es, unter Verwendung einfacher Analogien:

1. Der „Vortrainierte Architekt“ (Das Foundation Model)

Die Forscher haben kein Robotergehirn von Grund auf neu gebaut. Stattdessen haben sie ein massives, vortrainiertes „Geometrisches Foundation Model“ (GFM) genommen. Denken Sie bei diesem GFM an einen Super-Architekten, der jahrelang Blaupausen und 3D-Strukturen studiert hat. Dieser Architekt weiß bereits, wie man flache Fotos in detaillierte 3D-Karten verwandelt. Er versteht Tiefe, Maßstab und wie Objekte den Raum einnehmen.

2. Die „Split-and-Insert“-Strategie

Normalerweise nutzen Menschen diesen Super-Architekten nur, um den Raum anzusehen und zu beschreiben, und übergeben diese Beschreibung dann an einen separaten „Ausführenden“ Roboter. GAM verändert das Spiel, indem es den Architekten in der Mitte entzwei teilt und einen neuen „Planer“ einfüft.

Die obere Hälfte (Die Augen): Der erste Teil des Architekten betrachtet die aktuellen Kamerabilder und verwandelt sie in eine mentale 3D-Karte.
Die Mitte (Der Zeitreisende): Direkt in der Mitte des Architekten haben die Forscher einen speziellen „Causal Future Predictor“ eingefügt. Stellen Sie sich dies als einen zeitreisenden Planer vor. Er nimmt die aktuelle 3D-Karte, hört auf Ihre Anweisungen („Stelle die Tasse hierhin“) und fragt sich: „Wenn ich meinen Arm so bewege, wie wird die 3D-Welt in einer Sekunde aussehen?“
Die untere Hälfte (Die Hände): Der zweite Teil des Architekten nimmt diese zukünftige 3D-Vorhersage und findet heraus, wie der Roboter seinen Arm genau bewegen muss, um diese Zukunft herbeizuführen.

3. Warum das eine große Sache ist

Die meisten anderen Robotermodelle versuchen, die Zukunft in 2D vorherzusagen (wie in einem Videospiel) oder die 3D-Form erst ganz am Ende zu erraten. GAM macht es anders:

Es denkt von Anfang an in 3D: Da es das 3D-Wissen des Architekten für alles nutzt, muss der Roboter nicht raten, ob ein Objekt weit weg oder nah ist. Er weiß es einfach.
Ein „One-Pass“-Wunder: Andere Modelle müssen oft einen komplexen, langsamen Prozess (wie ein Diffusionsmodell) viele Male durchlaufen, um eine einzige Bewegung zu bestimmen – ähnlich wie ein Maler, der versucht, einen Fehler zu korrigieren, indem er die ganze Leinwand immer wieder neu bemalt. GAM ist wie ein Skizzzeichner, der den gesamten Plan in einem einzigen, schnellen, sicheren Strich zeichnet.
Es ist schnell und leichtgewichtig: Weil es so effizient ist, läuft es 55-mal schneller als einige der größten, langsamsten Modelle und verbraucht viel weniger Computerarbeitsspeicher.

4. Die Ergebnisse: Robustheit

Die Forscher haben diesen Roboter auf zwei Arten getestet:

Simulation: In einer Computerwelt, in der sie die Beleuchtung geändert, die Kameras bewegt und den Hintergrund durcheinandergebracht haben.
Reales Leben: An einem echten Roboterarm in einem echten Raum.

Die Analogie der „Perturbation“ (Störung):
Stellen Sie sich vor, Sie gehen durch einen Raum. Wenn das Licht flackert oder jemand einen Stuhl bewegt, könnte ein Roboter, der nur 2D-Fotos sieht, verwirrt sein und denken, der Stuhl sei verschwunden oder an einen anderen Ort gerückt.

Alte Roboter: Wenn sich der Kamerawinkel leicht änderte, sank ihre Erfolgsquote drastisch (wie ein Autofahrer, der die Orientierung verliert, wenn das GPS-Signal flackert).
GAM: Da es die wahre 3D-Geometrie des Raums versteht, war es dem Roboter egal, ob die Kamera bewegt wurde oder sich die Beleuchtung änderte. Er wusste genau, wo sich die Objekte im Raum befanden. In Tests, bei denen die Kamera in einen seltsamen Winkel bewegt wurde, blieb GAM erfolgreich, während andere versagten.

Zusammenfassung

GAM ist eine Roboter-Policy, die einen „3D-Experten“ (ein geometrisches Foundation Model) nimmt, ihn aufschneidet und einen „Zukunftsplaner“ in die Mitte einfügt. Dies ermöglicht es dem Roboter, in 3D zu sehen, die Zukunft in 3D vorherzusagen und in 3D zu agieren, und das alles gleichzeitig. Das Ergebnis ist ein Roboter, der schneller, kleiner und viel besser darin ist, mit der Unordnung der realen Welt (wie bewegten Kameras oder wechselndem Licht) umzugehen, als aktuelle State-of-the-Art-Roboter.

Technisches Resümee: Geometric Action Model für das Lernen von Roboter-Policies

Problemstellung

Die Entwicklung von generalistischen Roboter-Manipulations-Policies erfordert Modelle, die natürliche Sprachinstruktionen befolgen und gleichzeitig über die komplexen Interaktionen zwischen Objekten, Kameras und Roboteraktionen im 3D-physischen Raum schlussfolgern können. Während jüngste Vision-Language-Action-Modelle (VLAs) und Video-World-Action-Modelle (WAMs) groß angelegte Foundation-Modelle für semantische oder temporale Priors nutzen, operieren sie primlich auf 2D-Bildrahmen oder aus 2D abgeleiteten latenten Räumen. Infolgedessen bleiben kritische 3D-Hinweise – wie Tiefe, Skalierung und Okklusion – implizit. Diese Einschränkung behindert die Generalisierung bei Umweltveränderungen, insbesondere hinsichtlich der Roboter-Initialzustände und Kamera-Perspektiven. Bestehende Versuche, geometrische Foundation-Modelle (GFMs) zu integrieren, behandeln GFMs oft lediglich als statische Merkmalsextraktoren oder destillieren deren Merkmale in VLA-Backbones, ohne die mehrschichtige geometrische Struktur des GFM als das eigene temporale und aktionsgenerierende Substrat der Policy umzufunktionieren.

Methodik: Das Geometric Action Model (GAM)

Die Autoren schlagen das Geometric Action Model (GAM) vor, eine sprachgesteuerte Manipulations-Policy, die ein vortrainiertes Geometric Foundation Model (GFM, z. B. DA3) direkt als gemeinsames Substrat für Wahrnehmung, temporale Vorhersage und Aktionsdekodierung umfunktioniert.

Kernarchitektur

GAM operiert durch das Aufspalten eines vortrainierten GFM an einer intermediären Schicht $L_s$ und das Einfügen eines Causal Future Predictors zwischen den flachen (shallow) und tiefen (deep) Schichten. Das Framework funktioniert in drei sequenziellen Stadien:

Beobachtungsenkodierung: Die flachen Schichten des GFM ( $E_{\le L_s}$ ) fungieren als Beobachtungsenkoder. Sie verarbeiten Multi-View-RGB-Beobachtungen, um latente geometrische Merkmale zu extrahieren, und erzeugen eine Sequenz von geometrischen latenten Zuständen pro Zeitschritt.
Kausale Zukunftsvorhersage: An der Split-Schicht wird ein kausaler Transformer-Prädiktor ( $g_\phi$ $g_{ϕ}$ ) eingefügt. Dieser nimmt die aktuellen geometrischen latenten Token entgegen, die mit Tokens der Aufgabeninstruktionen (via eines gefrorenen Text-Encoders), propriozeptiven Zuständen und der Aktionshistorie konkateniert sind. Unter Verwendung von Block-kausaler Self-Attention prognostiziert dieser Prädiktor simultan zwei Ausgaben:
- Zukünftige latente geometrische Tokens ( $\tilde{Z}^{(L_s)}_{t+1}$ ).
- Einen vorhergesagten nächsten Aktions-Token ( $\tilde{a}_t$ ).
  Dieses Design ermöglicht es dem Modell, sprachgesteuerte temporale Weltmodellierung mit minimaler architektonischer Modifikation zu erlernen, da nur der eingefügte Prädiktor lernen muss, die Fusion von Sprache, Propriozeption und Aktionshistorie mit den GFM-Features zu vollziehen.
Merkmalspropagation und Dekodierung: Die vorhergesagten zukünftigen Tokens und der Aktions-Token werden durch die verbleibenden tiefen GFM-Blöcke ( $D_{>L_s}$ $D_{> L_{s}}$ ) geleitet. Die tiefen Blöcke, die ursprünglich darauf trainiert wurden, flache Merkmale in 3D-Geometrie zu dekodieren, werden dazu genutzt, die vorhergesagten zukünftigen Tokens zu dekodieren. Diese Phase erzeugt:
- Zukünftige Geometrie: Dekodiert über den Depth-Head des GFM zu aktions-ausgerichteten zukünftigen Tiefenkarten.
- Aktions-Chunk: Dekodiert über einen leichtgewichtigen Action-Head in ausführbare Delta-Pose- oder Gelenk-Kommandos.

Trainingsziel

Die Policy wird end-to-end unter Verwendung einer Multi-Task-Loss-Funktion trainiert:
$\mathcal{L}_{total} = \lambda_{act}\mathcal{L}_{act} + \lambda_{feat}\mathcal{L}_{feat} + \lambda_{depth}\mathcal{L}_{depth}$

Aktions-Loss ( $\mathcal{L}_{act}$ ): $\ell_1$ -Regression zwischen dem dekodierten Aktions-Chunk und den Experten-Aktionen.
Feature-Loss ( $\mathcal{L}_{feat}$ ): Richtet die vorhergesagten zukünftigen latenten Tokens an den tatsächlichen nächsten Frame-Token aus (extrahiert aus einem gefrorenen GFM), um den Prädiktor an temporalen geometrischen Übergängen zu verankern.
Depth-Loss ( $\mathcal{L}_{depth}$ ): Überwacht die dekodierten zukünftigen Tiefenkarten gegenüber der Ground-Truth-Zukunftstiefe (oder Pseudo-Labels in Realwelt-Settings) unter Verwendung von skaleninvarianten und gradientenabgleichenden Strafen.

Zentrale Beiträge

Unified Architecture: GAM führt eine einheitliche Shared-Backbone-Architektur ein, die temporale Weltmodellierung, latente Feature-Raum-Vorhersage und ein Geometric Foundation Model Substrat kombiniert.
Shared Token Space Prediction: Die Autoren zeigen, dass Aktion und Geometrie innerhalb einer gemeinsamen autoregressiven Token-Sequenz vorhergesagt werden können. Ein einzener Forward-Pass erzeugt sowohl Aktions-Tokens als auch zukünftige Szenen-Tokens, die durch leichtgewichtige Heads dekodiert werden, anstatt sich auf separate Heads oder Diffusionsprozesse zu verlassen.
Repurposing von GFMs: Im Gegensatz zu früheren Arbeiten, die GFMs als statische Extraktoren verwenden, nutzt GAM die tiefen Blöcke des GFM explizit dazu, die vorhergesagten zukünftigen Tokens zu dekodieren, wodurch das geometrische Prior des Modells voll ausgeschöpft wird, um dynamische Weltmodelle zu erstellen.

Experimentelle Ergebnisse

Die Autoren evaluierten GAM über diverse Simulations- (LIBERO, LIBERO-Plus) und Realwelt-Roboter-Manipulations-Benchmarks hinweg.

Performance vs. Baselines: GAM erreicht Erfolgsraten, die vergleichbar mit oder höher als aktuelle Foundation-Model-Skala-Baselines (VLAs und WAMs) sind, während es signifikant weniger Parameter verwendet (1,4 Mrd. vs. 7 Mrd.+).
Robustheit: GAM demonstriert eine überlegene Robustheit gegenüber Out-of-Distribution-Perturbationen. Insbesondere im Kamera-Perturbations-Szenario von LIBERO-Plus übertrifft GAM die beste Baseline um 9,7 Prozentpunkte.
Effizienz: GAM erreicht eine Single-Feed-Forward-Inferenzlatenz von 6,9 ms (ca. 145 Hz), was etwa 55-mal schneller ist als diffusionsbasierte Policies wie Cosmos-Policy.
Realwelt-Transfer: In Realwelt-Experimenten mit vier Manipulationsaufgaben übertraf GAM die Baselines (einschließlich $\pi0.5$ und Spatial Forcing) deutlich und behielt die Robustheit unter Kamera-Perturbationen bei, bei denen andere Modelle Schwierigkeiten hatten.

Bedeutung und Ansprüche

Das Paper behauptet, dass GAM einen bedeutenden Schritt in Richtung generalistischer Roboter-Policies darstellt, indem es die räumlichen Mehrdeutigkeiten löst, die in 2D-zentrierten Foundation-Modellen inhärent sind. Durch die Integration geometrischer Weltdynamik direkt in den prädiktiven Pfad der Policy erreicht GAM ein Gleichgewicht zwischen hoher Genauigkeit, Robustheit gegenüber Umweltveränderungen und Recheneffizienz. Die Autoren postulieren, dass ihr Ansatz beweist, dass Aktion und Geometrie effektiv in einem gemeinsamen latenten Raum modelliert werden können, was es einem einzigen Backbone ermöglicht, Wahrnehmung, zukünftige Zustandsvorhersage und Steuerung zu handhaben.

Die Autoren räumen Einschränkungen ein und merken an, dass die sprachliche Argumentation und die Common-Sense-Fähigkeiten des Modells durch den verwendeten gefrorenen Text-Encoder begrenzt sind, was darauf hindeutet, dass die Integration eines Large Language Models oder eines externen Reasoning-Moduls eine natürliche Richtung für zukünftige Arbeiten darstellt.