💻 computer science

MVP-LAM: Learning Action-Centric Latent Action via Cross-Viewpoint Reconstruction

Das Papier schlägt MVP-LAM vor, ein Multi-Viewpoint-Modell, das durch rekonstruktionsbasiertes Lernen über verschiedene Blickwinkel hinweg handlungs-zentrierte latente Aktionen erlernt, um das VLA-Pretraining und die nachgelagerte Leistung bei robotischen Manipulationsaufgaben zu verbessern.

Ursprüngliche Autoren: Jung Min Lee, Dohyeok Lee, Seokhun Ju, Taehyun Cho, Jin Woo Koo, Li Zhao, Sangwoo Hong, Jungwoo Lee

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jung Min Lee, Dohyeok Lee, Seokhun Ju, Taehyun Cho, Jin Woo Koo, Li Zhao, Sangwoo Hong, Jungwoo Lee

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Roboter müssen lernen, aber Videos lügen

Stellen Sie sich vor, Sie möchten einem Roboter beibringen, ein Sandwich zu machen. Der beste Weg zu lernen ist normalerweise, einem Menschen dabei zuzusehen. Aber hier liegt der Haken: Videos kommen nicht mit einer „Fernbedienung" geliefert.

Wenn Sie ein Video von jemandem ansehen, der ein Sandwich macht, sehen Sie das Ergebnis (das Brot bewegt sich, das Messer schneidet), aber Sie sehen nicht die exakten Muskelbewegungen (die „Aktionen"), die der Mensch verwendet hat. Roboter benötigen normalerweise diese exakten Muskelbewegungen, um zu lernen.

Um dies zu umgehen, haben Wissenschaftler versucht, Computern beizubringen, die Aktionen zu „erraten", indem sie beobachten, wie sich das Video von einem Bild zum nächsten verändert. Diese Vermutungen nennen sie „Latente Aktionen". Denken Sie daran als an einen geheimen Code, den der Computer erfindet, um zu beschreiben, „was zwischen diesen beiden Bildern passiert ist".

Die Falle:
Das Problem ist, dass Videos verrauscht sind. Wenn eine Person ihre Hand bewegt, um eine Tasse zu greifen, ändert sich das Video. Aber wenn sich die Kamera auch bewegt, ändert sich das Video ebenfalls.

Der Fehler: Ein Computer könnte sich das Video ansehen und denken: „Ah, die Tasse hat sich bewegt, weil sich die Kamera gedreht hat!" anstatt: „Die Tasse hat sich bewegt, weil die Hand sie geschoben hat."
Das Ergebnis: Der Roboter lernt die falschen Lektionen. Er lernt, auf Kamerabewegungen zu reagieren, statt auf tatsächliche Handbewegungen. Das ist wie ein Schüler, der für eine Prüfung lernt, indem er die Schriftgröße der Fragen auswendig lernt, statt die Antworten.

Die Lösung: MVP-LAM (Der „Zwei-Kamera"-Trick)

Die Autoren schlagen eine neue Methode namens MVP-LAM (Multi-ViewPoint Latent Action Model) vor. Ihr Geheimnis ist die Verwendung von zwei Kameras (oder mehreren Blickwinkeln), die dasselbe Ereignis gleichzeitig aufnehmen.

Hier ist die Analogie:
Stellen Sie sich vor, Sie beobachten einen Magier bei einem Trick.

Kamera A steht links.
Kamera B steht rechts.

Wenn der Magier seine Hand bewegt, sehen beide Kameras die Handbewegung.
Wenn der Magier sich nicht bewegt, aber Kamera A angestoßen wird und wackelt, sieht nur Kamera A das Wackeln. Kamera B sieht ein statisches Bild.

Wie MVP-LAM funktioniert:
Anstatt nur eine Kamera zu beobachten und die Aktion zu erraten, spielt MVP-LAM ein Spiel des „Abgleichs":

Es betrachtet die Aktion aus der Sicht von Kamera A.
Es versucht vorherzusagen, was Kamera B in der nächsten Sekunde sehen wird.
Die Regel: Wenn der „geheime Code" (die latente Aktion) nur darum geht, dass sich Kamera A bewegt, hilft er nicht dabei vorherzusagen, was Kamera B sieht. Das Einzige, worüber sich beide Kameras einig sind, ist die tatsächliche Bewegung der Objekte.

Indem der Computer gezwungen wird, die Zukunft von Ansicht B unter Verwendung der Aktion aus Ansicht A zu erklären, wird er gezwungen, die Kamerabewegung zu ignorieren und sich nur auf die echte Aktion zu konzentrieren (die Hand, die die Tasse bewegt). Es ist wie zwei Personen zu bitten, ein Geheimnis zu beschreiben; wenn sie sich nur auf die Teile einigen, die tatsächlich wahr sind, wissen Sie, dass Sie die Wahrheit gefunden haben.

Was sie herausfanden

Das Papier testete dies an einem Datensatz namens Bridge V2 (eine Sammlung von Robotervideos) und verglich es mit anderen Methoden.

Bessere „geheime Codes": Die Codes, die MVP-LAM erfand, waren viel besser darin, die tatsächlichen Roboterbewegungen zu beschreiben. Sie enthielten 62 % mehr nützliche Informationen über die echten Aktionen als frühere Methoden.
Robustheit: Selbst wenn sich der Kamerawinkel leicht änderte (wie wenn der Kopf des Roboters geneigt wurde), wusste das System immer noch, was der Roboter tat. Es wurde nicht durch den neuen Winkel verwirrt.
Bessere Roboterleistung: Als sie diese „besseren Codes" verwendeten, um einen Roboter zu trainieren, Aufgaben zu erledigen (wie das Stapeln von Blöcken oder das Aufheben von Objekten), lernte der Roboter schneller und schaffte es besser.
- Das Ergebnis: Ein mit MVP-LAM trainierter Roboter konnte komplexe Rätsel (in einer Simulation) lösen und benötigte dafür drei Mal weniger Trainingsdaten als andere Roboter. Es war wie ein Schüler, der die Prüfung bestehen konnte, nachdem er eine Stunde gelernt hatte, während andere drei Stunden benötigten.

Warum das wichtig ist (laut dem Papier)

Das Papier behauptet, dass wir durch die Verwendung von Videos aus mehreren Winkeln Roboter beibringen können, „Ursache und Wirkung" zu verstehen (Ich habe meine Hand bewegt -> die Tasse hat sich bewegt), ohne dass teure menschliche Beschriftungen nötig sind, die ihnen genau sagen, wie sie sich bewegen sollen.

Die Analogie: Es ist der Unterschied zwischen einem Schüler, der das spezifische Licht in einem Klassenzimmer auswendig lernt (und scheitert, wenn sich das Licht ändert), und einem Schüler, der das Konzept der Lektion versteht (und die Prüfung in jedem Raum bestehen kann).

Zusammenfassung

Das Problem: Roboter werden beim Lernen aus Videos durch Kamerabewegungen verwirrt.
Die Lösung: Verwenden Sie zwei Kameras und zwingen Sie die KI, die Sicht einer Kamera unter Verwendung der Aktion der anderen zu erklären.
Das Ergebnis: Die KI lernt „reine" Aktionen, ignoriert Kamerarauschen und bringt Robotern bei, Aufgaben schneller und mit weniger Daten zu erledigen.

Das Papier kommt zu dem Schluss, dass diese Methode ein bedeutender Schritt hin zu „universellen" Robotergehirnen ist, die aus der riesigen Menge menschlicher Videos lernen können, die bereits im Internet vorhanden sind, ohne dass ein Mensch jede einzelne Bewegung beschriften muss.

Technische Zusammenfassung: MVP-LAM

Problemstellung

Das Training von Generalisten-Roboter-Policies wird durch die hohen Kosten und die Knappheit realer, mit Aktionen gelabelter Demonstrationen behindert. Während großskalige menschliche Manipulationsvideos eine vielversprechende Alternative zum Erlernen übertragbarer Priors bieten, fehlen ihnen Ground-Truth-Aktionslabels, was eine standardmäßige überwachte Imitationslernen verhindert. Jüngste Ansätze versuchen dies zu adressieren, indem sie Latente Aktionsmodelle (LAMs) lernen, die Frame-zu-Frame-Übergänge in kompakte Repräsentationen kodieren, die als Pseudo-Aktionslabels für das Vision-Language-Action (VLA)-Pretraining verwendet werden.

Ein kritischer Herausforderung bleibt jedoch bestehen: Latente Aktionen, die aus Single-View-Videos gelernt werden, bleiben oft nicht informativ bezüglich der zugrundeliegenden Ground-Truth-Aktionen. Sie neigen dazu, sich an exogene Rauschen anzupassen, insbesondere an Sichtwinkelvariationen. In menschlichen Videos (oft egozentrisch) ist Kamerabewegung mit Agentenaktionen verflochten. Folglich kodieren Standard-LAMs möglicherweise sichtwinkelspezifische Hinweise (z. B. Hintergrundbewegung oder Kameraverschiebungen) anstelle der tatsächlichen Steuersignale des Agenten, was ihre Nützlichkeit als Pseudo-Labels für die nachgelagerte Steuerung verringert.

Methodik: MVP-LAM

Die Autoren schlagen das Multi-ViewPoint Latent Action Model (MVP-LAM) vor, ein unüberwachtes Framework, das entwickelt wurde, um aktionszentrierte latente Aktionen zu lernen, indem es zeitlich synchronisierte Multi-View-Videos nutzt.

Kernziel

Das Ziel besteht darin, die gegenseitige Information $I(Z_t; A_t)$ zwischen der latenten Aktion $Z_t$ und der Ground-Truth-Aktion $A_t$ zu maximieren und gleichzeitig die Information zu minimieren, die $Z_t$ über den Sichtwinkel $V_t$ enthält. Theoretisch reduziert unter einer Kapazitätsbeschränkung (z. B. Vektorquantisierung) die Kodierung von Sichtwinkelinformationen die für aktionsrelevante Dynamiken verfügbare Kapazität.

Architektur und Training

MVP-LAM basiert auf einer Vector Quantized Variational Autoencoder (VQ-VAE)-Architektur, ähnlich früheren Arbeiten wie UniVLA, führt jedoch ein neuartiges Cross-Viewpoint-Rekonstruktionsziel ein:

Eingabe: Zeitlich synchronisierte Multi-View-Videopaare $(I^{v_1}_t, I^{v_2}_t)$ .
Feature-Extraktion: Visuelle Features $o^v_t$ werden mittels eines eingefrorenen Encoders (DINOv2) extrahiert.
Latente Aktionsinferenz: Ein Encoder $E_\theta$ sagt ein kontinuierliches Latent $e^v_t$ aus aufeinanderfolgenden Features $(o^v_t, o^v_{t+1})$ eines bestimmten Sichtwinkels $v$ voraus, das dann zu einem diskreten Token $z^v_t$ vektorquantisiert wird.
Rekonstruktionsverluste: Das Modell wird mit zwei komplementären Zielen trainiert:
- Self-Viewpoint-Rekonstruktion ( $L_{self}$ ): Rekonstruiert den nächsten Frame $o^v_{t+1}$ unter Verwendung des aktuellen Frames und des latenten Tokens aus dem gleichen Sichtwinkel ( $z^v_t$ ).
- Cross-Viewpoint-Rekonstruktion ( $L_{cross}$ ): Rekonstruiert den nächsten Frame $o^v_{t+1}$ unter Verwendung des aktuellen Frames und des latenten Tokens aus einem anderen, synchronisierten Sichtwinkel ( $z^{\tilde{v}}_t$ wobei $v \neq \tilde{v}$ ).

Mechanismus der Aktionszentriertheit:
Das Cross-Viewpoint-Ziel zwingt den latenten Token $z^v_t$ , den zukünftigen Zustand eines anderen Kamerawinkels zu erklären. Da sichtwinkelspezifische Faktoren (z. B. Hintergrundbewegung, die nur für Kamera $v$ einzigartig ist) den Übergang im Winkel $\tilde{v}$ nicht erklären können, wird das Modell davon abgehalten, diese zu kodieren. Stattdessen muss $z^v_t$ die gemeinsamen, aktionsgetriebenen Dynamiken erfassen, die über alle Sichtwinkel hinweg konsistent sind. Dies filtert effektiv exogenes Rauschen heraus, ohne Aktionslabels zu benötigen.

Hauptbeiträge

MVP-LAM-Framework: Einführung eines unüberwachten Lernframeworks, das Multi-View-Videos und ein Cross-Viewpoint-Rekonstruktionsziel nutzt, um diskrete latente Aktionen zu lernen, die stark mit Ground-Truth-Aktionen übereinstimmen.
Verbesserte Aktionszentriertheit: Nachweis, dass MVP-LAM im Vergleich zu Single-View-Baselines (UniVLA, LAPA, Moto) auf dem Bridge V2-Datensatz eine signifikant höhere gegenseitige Information mit Ground-Truth-Aktionen und eine bessere lineare Aktionsvorhersagegenauigkeit erreicht.
Robustheit gegenüber Sichtwinkelstörungen: Belege dafür, dass MVP-LAM-latente Aktionen transitionsrelevante Informationen auch dann bewahren, wenn sie aus durch Sichtwinkel gestörten Übergängen inferiert werden, und konsistente Dynamiken über die Sichtwinkel hinweg aufrechterhalten.
Effizientes VLA-Pretraining: Validierung, dass mit MVP-LAM-latenten Aktionen vortrainierte VLAs die Baselines in Manipulations-Benchmarks (SIMPLER und LIBERO) übertreffen und dabei erheblich weniger Pretraining-Daten benötigen (z. B. einen um den Faktor 3 kleineren Datensatz als OXE-basierte Baselines).

Experimentelle Ergebnisse

Die Autoren evaluierten MVP-LAM auf dem Bridge V2-Datensatz für das Lernen latenter Aktionen und auf den SIMPLER- und LIBERO-Suites für die nachgelagerte VLA-Leistung.

Aktionszentriertheit (Bridge V2):
- Gegenseitige Information (MI): MVP-LAM erzielte die höchste geschätzte MI ( $I(Z; A)$ ) über die Schätzer KSG, BA und MINE hinweg im Vergleich zu UniVLA, LAPA und Moto.
- Lineares Probing: Eine einfache lineare Schicht, die trainiert wurde, um Ground-Truth-Aktionen aus latenten Tokens vorherzusagen, erreichte den niedrigsten Normalized Mean Squared Error (NMSE) für MVP-LAM, was eine überlegene Beibehaltung von Aktionsinformationen anzeigt.
Nachgelagerte Manipulation (SIMPLER & LIBERO):
- SIMPLER: Mit MVP-LAM vortrainierte VLAs erreichten eine durchschnittliche Erfolgsrate von 60,4 % und übertrafen UniVLA (39,6 %) sowie andere Baselines in allen vier Aufgaben signifikant.
- LIBERO: MVP-LAM erreichte eine durchschnittliche Erfolgsrate von 94,1 % und übertraf UniVLA (92,5 %) und blieb mit State-of-the-Art-Modellen wie $\pi_0$ (94,2 %) konkurrenzfähig, obwohl es auf einem viel kleineren Datensatz vortrainiert wurde (nur Bridge V2, $\le$ 60k Trajektorien vs. OXE's $\ge$ 970k).
- Out-of-Distribution (OOD): MVP-LAM zeigte robuste Leistung bei OOD-Aufgaben (Spatial, Object, Goal, Long), wobei es sich insbesondere bei der anspruchsvollen LIBERO-Long-Suite auszeichnete.
Robustheit und Skalierung:
- Sichtwinkelstörungen: Bei Tests mit neuartigen, synthetisierten Übergängen behielt MVP-LAM eine hohe MI und einen niedrigen NMSE bei, während Baselines wie UniVLA eine signifikante Verschlechterung der Aufmerksamkeit und Vorhersagegenauigkeit zeigten.
- Synchronisationsfehler: Das Modell blieb robust gegenüber synthetischen Synchronisationsverzögerungen ( $\ell \in \{0, 2, 4\}$ Frames).
- Skalierung: Die Leistung verbesserte sich konsistent mit zunehmender Anzahl von Sichtwinkeln, Datensatzverhältnissen und Modellgröße.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass MVP-LAM einen Schritt hin zu einem universellen latenten Aktionsmodell darstellt, indem es das Problem des exogenen Rauschens bei videobasiertem Pretraining löst, ohne Aktionsüberwachung zu benötigen.

Dateneffizienz: Die primäre Bedeutung liegt in der Fähigkeit, hochwertige, aktionszentrierte Repräsentationen aus web-skalierten, Multi-View-menschlichen Videos zu lernen, was ein effektives VLA-Pretraining mit Größenordnungen weniger Daten ermöglicht als frühere Methoden, die auf massiven Roboterdatensätzen basieren.
Generalisierung: Durch die Entkopplung von Aktionsdynamiken von sichtwinkelspezifischen Hinweisen erzeugt MVP-LAM Repräsentationen, die sich besser auf neue Sichtwinkel und Umgebungen verallgemeinern.
Praktikabilität: Die Methode nutzt bestehende Multi-View-Datensätze (z. B. EgoExo4D, Open X-Embodiment) und integriert sich nahtlos in aktuelle Embodied-AI-Pipelines und bietet einen skalierbaren Weg zum Generalisten-Roboterlernen.

Die Autoren weisen auf Einschränkungen hin, darunter die Abhängigkeit von synchronisierten Multi-View-Daten (die schwerer zu sammeln sind als Single-View-Daten) und die derzeitige Evaluierung, die auf Simulation beschränkt ist, obwohl sie hervorheben, dass SIMPLER mit der realweltlichen Leistung korreliert. Als zukünftige Arbeit wird vorgeschlagen, schwach synchronisierte oder pseudo-gepaarte Multi-View-Daten zu erforschen, um die Anforderungen an die Instrumentierung weiter zu lockern.