💻 computer science

VEGA: Learning Navigation VLAs from In-the-Wild Egocentric Video with Geometric Trajectory Supervision

VEGA führt eine Methode zum Training von Navigations-Vision-Language-Action-Modellen aus unbeschrifteten egozentrischen Videos ein, indem die lokale Szenengeometrie rekonstruiert wird, um hindernisbewusste Trajektorien für die Supervision zu generieren, wodurch signifikante Verbesserungen bei der Kollisionsvermeidung und den Erfolgsraten im Vergleich zu bestehenden Baselines erzielt werden.

Ursprüngliche Autoren: Gershom Seneviratne, Yohan Abeysinghe, Jianyu An, Vaibhav Shende, Dinesh Manocha

Veröffentlicht 2026-06-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Gershom Seneviratne, Yohan Abeysinghe, Jianyu An, Vaibhav Shende, Dinesh Manocha

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie möchten einem Roboter beibringen, durch einen belebten Raum zu laufen, ohne gegen Stühle, Menschen oder Tische zu stoßen. Normalerweise müssen Sie einem Roboter dies beibringen, indem Sie entweder:

Einen Menschen aufnehmen, der durch genau diesen Raum läuft, während der Roboter zusieht, oder
Den Roboter manuell so programmieren, dass er bestimmte Hindernisse umgeht.

Beides ist langsam, teuer und schwer skalierbar. Man kann nicht für jeden möglichen Raum auf der Welt eine Aufnahme eines Menschen erstellen, der hindurchläuft.

Hier kommt VEGA ins Spiel.

Die Forscher hinter dieser Arbeit haben einen cleveren Weg gefunden, um Roboter die Navigation mithilfe von Milliarden von „In-the-Wild“-Videos aus dem Internet beizubringen (wie zum Beispiel Videos von Menschen, die durch ihre Häuser laufen, auf Wanderwegen wandern oder durch belebte Straßen gehen). Diese Videos sind großartig, weil sie echte, unordentliche, überladene Umgebungen zeigen, aber sie haben ein großes Problem: Sie sagen dem Roboter nicht, wohin er gehen soll oder wie er Hindernissen ausweichen muss. Sie sind lediglich „aktionsfreie“ Videos.

So verwandelt VEGA diese zufälligen Videos in einen Navigationslehrer, indem es einige kreative Schritte nutzt:

1. Der „Mentale Karten“-Trick

Zuerst betrachtet VEGA einen einzelnen Frame eines Videos und nutzt eine spezielle KI, um eine 3D-mentale Karte des Raumes zu erstellen. Es findet heraus, wo der Boden ist, wo die Wände sind und wo die Hindernisse (wie ein Couchtisch oder ein Hund) stehen. Es erstellt eine „Sicherheitskarte“, die genau weiß, wie viel Platz zum Gehen zur Verfügung steht.

2. Das „Was wäre wenn?“-Spiel

Sob�in der Karte wird VEGA ein Spiel namens „Was wäre wenn?“ spielen:

Was wäre, wenn der Roboter zu diesem roten Stuhl wollte?
Was wäre, wenn er zur Tür wollte?
Was wäre, wenn er einfach zu einem leeren Fleck auf dem Teppich laufen wollte?

Für jedes mögliche Ziel berechnet VEGA mithilfe eines mathematischen Planers den perfekten, sicheren Pfad, um dorthin zu gelangen, ohne etwas zu treffen. Dies geschieht Millionen Male, wodurch eine riesige Bibliothek aus „Ziel + Sicherer Pfad“-Paaren entsteht.

3. Der „Schüler“-Roboter

Nun trainiert VEGA ein Robotergehirn (ein sogenanntes VLA- oder Vision-Language-Action-Modell). Dieser Schüler-Roboter schaut sich das Originalvideo an und sieht den von VEGA berechneten „Sicheren Pfad“.

Die Lektion: „Hier ist das, was du siehst (das Video), hier ist, wohin du willst (das Ziel), und hier ist der sichere Pfad, den du nehmen solltest.“
Das Ergebnis: Der Roboter lernt, eine Szene zu betrachten, ein Ziel zu verstehen (wie „gehe in die Küche“ oder „gehe zu diesem Bild“) und sofort einen sicheren Pfad zu finden, indem er nur den Kamera-Feed nutzt. Er braucht die 3D-Karte nicht mehr, sobald er trainiert ist; er nutzt einfach seine Augen und sein Gehirn.

Warum ist das eine große Sache?

Denken Sie an das Erlernen des Autofahrens.

Der alte Weg: Sie lernen das Autofahren nur, indem ein Fahrlehrer neben Ihnen in einem ganz bestimmten Auto auf einer ganz bestimmten Straße sitzt und Ihnen genau sagt, wann Sie abbiegen müssen.
Der VEGA-Weg: Sie schauen sich Millionen Stunden von Dashcam-Aufnahmen aus der ganzen Welt an. Sie nutzen einen Computer, um für jedes mögliche Ziel in diesen Videos die „perfekten Fahrlinien“ zu berechnen. Dann trainieren Sie Ihr Gehirn, diese perfekten Linien nachzuahmen.

Die Ergebnisse

Die Forscher haben dies an einem echten Roboter in unordentlichen, überladenen Räumen mit beweglichen Hindernissen getestet. Im Vergleich zu anderen Top-Navigationssystemen für Roboter:

Erfolg: Der Roboter erreichte sein Ziel viel häufiger (mindestens 150 % besser).
Sicherheit: Er stieß 66 % seltener gegen Gegenstände.
Platz: Er ließ sich selbst mehr Platz zum Manövrieren und vermied enge Passagen um 60 % häufiger.

Sie haben auch einen riesigen Test namens VEGA-Bench erstellt (mit 250.000 Szenen und 5 Millionen Zielen), um zu beweisen, dass ihre Methode besser als die Konkurrenz darin ist, Kollisionen zu vermeiden und spezifische Ziele zu erreichen.

Kurz gesagt: VEGA nimmt das Chaos der Videothek des Internets, verwandelt es mithilfe von Geometrie in ein strukturiertes „Sicherheitshandbuch“ und bringt Robotern bei, in der realen Welt zu navigieren, ohne dass teure, händisch aufgezeichnete Trainingssitzungen nötig sind.

Technisches Resümee: VEGA – Erlernen der Navigationssteuerung für VLAs aus egozentrischen Videos aus der freien Umgebung mittels geometrischer Trajektorienüberwachung

Problemstellung

Vision-Language-Action (VLA)-Modelle haben durch die Nutzung großskaliger, diverser Datensätze erhebliches Potenzial für die Robotermanipulation gezeigt. Die Skalierung dieser Modelle auf die bodengebundene mobile Roboternavigation bleibt jedoch ein kritischer Engpass. Bestehende Navigationsdatensätze sind spärlich und liefern typischerweise nur eine einzige Trajektorie pro Szene in Richtung eines impliziten oder expliziten Ziels. Dieser Mangel an dichter Überwachung verhindert, dass Policies lernen, wie variierende Trajektorien in Abhängigkeit von unterschiedlichen Zielen, Hinderniskonfigurationen und Startpositionen innerhalb desselben Umfelds verlaufen. Infolgedessen zeigen die gelernten Policies oft eine schwache Zielbindung (Goal Grounding), eine mangelhafte Hindernisvermeidung im Nahbereich und unsichere Verhaltensweisen in unübersichtlichen Szenen.

Obwohl Datensätze für autonomes Fahren eine große Skalierbarkeit bieten, zielen sie auf strukturierte Umgebungen ab und erfassen nicht den objektzentrierten Nahbereichs-Clutter, der für allgemeine mobile Roboter typisch ist. Umgekehrt ist die Sammlung ausreichender teleoperierter Roboterdaten, um den riesigen Raum an Umgebungen, Zielen und Hindernislayouts abzudecken, nicht skalierbar. Obwohl groß angelegte egozentrische Videos (z. B. Rundgänge, Aufnahmen aus Haushalten) reichlich vorhanden sind und reiche visuelle Beobachtungen der realen Navigation enthalten, fehlt ihnen die explizite Roboteraktion, die Zielkonditionierung und die hindernisbewussten Trajektorien, die für das Training von Policies erforderlich sind.

Methodik: VEGA

Die Autoren schlagen VEGA vor (Vision-language navigation from Egocentric Video with Geometric Action supervision), ein Framework, das unbeschriftete, aktionsfreie egozentrische Videos in ein skalierbares Überwachungssignal für das Training von Navigations-VLAs transformiert. Die Kerninnovation besteht darin, die rekonstruierte Szenengeometrie ausschließlich während des Trainings zu verwenden, um hindernisbewusste Trajektorien zu generieren, die dann in eine visuelle Policy destilliert werden, die bei der Inferenz lediglich RGB-Beobachtungen und Ziele benötigt.

1. Datengenerierungspipeline

VEGA verarbeitet unbeschriftete egozentrische Videos durch die folgenden Schritte:

Monokulare Geometrierekonstruktion: Unter Verwendung des Fundamentmodells MoGe-2 rekonstruiert das System eine dichte metrische 3D-Punktkarte ( $P_t$ ) aus jedem RGB-Frame. Eine lokale Grundebene wird mittels RANSAC angepasst, und die Punkte werden rotiert, um sie am Koordinatensystem des Roboters auszurichten.
Sichtheitsbewusste ESDF-Konstruktion: Das System projiziert die ebene Punktkarte auf eine Bird's-Eye-View (BEV)-Domäne. Mittels Raytracing unterscheidet es zwischen bekanntem Freiraum ( $X_{free}$ ), besetztem Raum ( $X_{occ}$ ) und unbeobachtetem Raum ( $X_{unk}$ ). Ein Euclidean Signed Distance Field (ESDF) wird berechnet, wobei positive Werte eine sichere Freistellung anzeigen und negative Werte Hindernisse oder unbekannte Regionen markieren.
Multimodale Zielverankerung:
- Objektziele: Florence-2 detektiert Objekte und generiert Bounding Boxes. Diese werden auf die Grundebene projiziert, um räumliche Wegpunkte ( $g_{wp}$ ) zu erstellen, die mit Text- und Bildregion-Zielen korrespondieren.
- Freiraumziele: Hilfswegpunkte werden aus beobachteten Freiräumen gesampelt, um eine Überwachung für beliebige begehbare Orte bereitzustellen.
Trajektoriengenerierung: Ein Model Predictive Path Integral (MPPI)-Planer generiert hindernisbewusste Wegpunkt-Trajektorien zu diesen Zielen. Der Planer optimiert auf Zielerreichung, Kollisionsvermeidung, Freistellung, Steueraufwand und Glätte unter Verwendung des ESDF. Wenn ein Ziel unerreichbar ist, wird die beste Teil-Trajektorie ausgewählt.

2. Modellarchitektur und Training

VE-GA trainiert eine Flow-Matching VLA, um lokale 2D-Wegpunkt-Chunks vorherzusagen.

Architektur: Basierend auf der $\pi_{0.5}$ VLA-Architektur kombiniert es ein vortrainiertes Vision-Language-Backbone mit einem Flow-Matching-Aktions-Experten. Es unterstützt Text-, Bild- und Wegpunkt-Ziele über spezifische Encoder.
Trainingsziel: Das Modell lernt, ein Vektorfeld vorherzusagen, das Rauschproben in Zieltrajektorien transformiert. Im Gegensatz zu Methoden, die eine einzelne deterministische Ausgabe vorhersagen, ermöglicht Flow Matching der Policy, multimodale Aktionsverteilungen zu modellieren, was die Tatsache einfängt, dass mehrere unterschiedliche Pfade für dasselbe Beobachtungs-Ziel-Paar machbar sein können.
Inferenz: Bei der Bereitstellung benötigt die Policy nur RGB-Beobachtungen und eine Zielspezifikation. Sie benötigt online keine Tiefensensoren, LiDAR oder explizite geometrische Kartierung, da das geometrische Denken während des Trainings in die Gewichte der Policy destilliert wurde.

Zentrale Beiträge

Geometrie-überwachtes VLA-Training: Ein Paradigma, das hindernisbewusstes Navigationsverhalten aus in-the-wild, aktionsfreien egozentrischen Videos destilliert, ohne manuelle Aktionslabels oder Roboter-Demonstrationen.
Großskaliger multimodaler Trajektorien-Datensatz: Ein konstruierter Datensatz, der etwa 5 Millionen zielkonditionierte Trajektorien enthält, die mit Text-, Bildregion- und räumlichen Wegpunkt-Annotationen korreliert sind, begleitet von rekonstruierten 3D-Punktwolken und ESDFs.
VEGA-Bench: Eine neue Evaluierungs-Suite bestehend aus 250.000 Szenen und 5 Millionen multimodalen Targets, die darauf ausgelegt ist, Fortschritt der Zielerreichung, Kollisionsraten und Hindernisfreistellung streng zu bewerten.
Validierung in der realen Welt: Empirische Belege für die Übertragbarkeit des Ansatzes auf physische Roboter.

Ergebnisse und Evaluierung

Die Autoren evaluierten VEGA gegenüber State-of-the-Art-Baselines (OmniVLA, NaVILA und $\pi_{0.5}$ ) auf VEGA-Bench sowie in realen Versuchen.

VEGA-Bench Performance: VEGA erreichte einen vergleichbaren Fortschritt bei der Zielerreichung wie die Baselines, reduzierte jedoch die Kollisionsraten signifikant und verbesserte die Hindernisfreistellung. Speziell reduzierte es Kollisionen um 33,0 % und verbesserte die Hindernisfreistellung um 17,9 % gegenüber der stärksten Baseline.
Reale Roboterversuche: Eingesetzt auf einem vierbeinigen Roboter in unübersichtlichen Umgebungen mit statischen und dynamischen Hindernissen, zeigte VEGA substanzielle Verbesserungen:
- Erfolgsrate: Verbessert um mindestens 150,0 %.
- Kollisionsvermeidung: Reduzierte Kollisionen um mindestens 66,7 %.
- Hindernisfreistellung: Verbessert um mindestens 60,0 %.
Zielbindung (Goal Grounding): Qualitative und quantitative Analysen zeigten, dass VEGA erfolgreich auf spezifische Ziele (Text, Bild oder Wegpunkt) konditioniert und den „Mode Collapse“ vermeidet, den Baselines zeigen, bei denen Policies unabhängig vom Ziel ähnliche Pfade generieren.

Bedeutung und Ansprüche

Das Paper behauptet, dass video-abgeleitete geometrische Überwachung ein skalierbares und effektives Signal für das Training von hindernisbewussten Navigations-VLAs liefert. Durch die Nutzung der Fülle an egozentrischen Videos und die Verwendung von Geometrie nur als Lehrer zur Trainingszeit schließt VEGA die Lücke zwischen den semantischen Denkfähigkeiten von VLAs und den geometrischen Sicherheitsanforderungen klassischer Planung. Dieser Ansatz eliminiert die Notwendigkeit einer teuren, großskaligen Datensammlung für Roboter und ermöglicht gleichzeitig Policies, die in komplexen, unübersichtlichen realen Umgebungen generalisieren können.

Limitationen und zukünftige Arbeit

Die Autoren räumen zwei primäre Limitationen ein:

Gedächtnislosigkeit (Memorylessness): Die aktuelle Policy ist gedächtnislos und stützt sich nur auf die aktuelle RGB-Beobachtung und das Ziel. Dies kann instabil sein, wenn Ziele oder Hindernisse das Sichtfeld der Kamera verlassen. Zukünftige Arbeiten könnten zeitliche Aufmerksamkeit (Temporal Attention) oder latentes Gedächtnis integrieren.
Statische Geometrie-Annahme: Die lokale ESDF-Überwachung modelliert die Bewegung dynamischer Hindernisse nicht explizit. Während das Re-Planning neu beobachtete Hindernisse handhabt, sagt der Planer die zukünftigen Bewegungen beweglicher Objekte nicht voraus. Zukünftige Iterationen könnten Trajektorienvorhersage oder zeitindexierte Distanzfelder integrieren.