💬 NLP

EmbodiedMidtrain: Bridging the Gap between Vision-Language Models and Vision-Language-Action Models via Mid-training

Der Paper stellt EmbodiedMidtrain vor, eine Methode, die durch eine datengesteuerte Mid-Training-Phase Vision-Language-Modelle für den robotischen Einsatz optimiert und so die Leistung von Vision-Language-Action-Modellen auf Benchmarks signifikant verbessert.

Ursprüngliche Autoren: Yiyang Du, Zhanqiu Guo, Xin Ye, Liu Ren, Chenyan Xiong

Veröffentlicht 2026-04-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yiyang Du, Zhanqiu Guo, Xin Ye, Liu Ren, Chenyan Xiong

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du möchtest einen Roboter programmieren, der in einer echten Küche hilft: Er soll Eier aufschlagen, Tassen tragen und den Tisch abräumen.

Bisher haben Forscher einen cleveren Trick angewendet: Sie haben einem sehr schlauen Roboter (einem Vision-Language-Action-Modell oder kurz VLA) die Augen und das Sprachverständnis eines riesigen, allgemeinen KI-Modells (einem Vision-Language-Modell oder VLM) verpasst. Diese allgemeinen Modelle haben alles Mögliche gelernt: sie können Bilder beschreiben, Gedichte verstehen und Dokumente analysieren.

Das Problem:
Stell dir vor, du hast einen brillanten Professor, der alles über Kunstgeschichte, Astrophysik und Literatur weiß (das VLM). Du stellst ihn jetzt als Koch ein. Der Professor kann dir zwar perfekt erklären, was auf einem Bild zu sehen ist, aber er weiß nicht, wie man einen Löffel greift, ohne ihn fallen zu lassen, oder wie man einen Teller sicher auf einen Tisch stellt. Er ist zu sehr im "Theorie-Bereich" gefangen und hat keine Ahnung von der "Praxis" des physischen Handelns.

Wenn man den Professor einfach nur kurz in die Küche schickt und ihm sagt: "Mach das!", stolpert er oft, weil seine innere Denkweise nicht auf reale Bewegungen ausgelegt ist.

Die Lösung: "EmbodiedMidtrain" (Der Mittlere-Trainings-Trick)
Die Autoren dieses Papers haben eine neue Methode entwickelt, die sie EmbodiedMidtrain nennen. Das ist wie ein genialer "Zwischenschritt" oder ein "Brückenkurs" für den Professor, bevor er als Koch anfängt.

Hier ist die Idee in einfachen Schritten:

Das große Problem erkennen:
Die Forscher haben gemerkt, dass die Daten, mit denen der Professor gelernt hat (Bücher, Bilder aus dem Internet), und die Daten, die ein Koch braucht (Bewegungen, Greifen, Räumliches Denken), völlig unterschiedlich sind. Es ist wie der Unterschied zwischen einem Buch über Schwimmen und dem eigentlichen Schwimmen im Wasser.
Der "Wahlhelfer" (Der Proximity Estimator):
Statt den Professor einfach mit allen seinen alten Büchern zu überfluten, haben die Forscher einen kleinen, schlauen "Wahlhelfer" (eine KI) gebaut. Dieser Wahlhelfer schaut sich die riesige Bibliothek des Professors an und fragt sich bei jedem Buch: "Ist dieses Buch hilfreich für jemanden, der später kochen soll?"
- Ein Buch über "Wie man ein Ei aufschlägt" bekommt ein hohes Punktekonto.
- Ein Buch über "Die Geschichte der griechischen Mythologie" bekommt ein niedriges Punktekonto (es ist zwar interessant, aber für das Kochen nicht direkt nützlich).
Der "Brückenkurs" (Mid-Training):
Der Professor liest jetzt nur noch die Bücher, die der Wahlhelfer als "kochrelevant" ausgewählt hat. Er macht einen intensiven, gezielten Kurs, bei dem er lernt, wie man räumliche Zusammenhänge versteht und wie man Objekte im Raum manipuliert. Er wird nicht zum Koch, aber er wird zu einem Professor, der versteht, wie die physische Welt funktioniert.
Der Start in die Praxis (Fine-Tuning):
Erst jetzt, nach diesem Brückenkurs, wird der Professor in die Küche geschickt, um als Koch zu arbeiten. Da er durch den Brückenkurs schon viel besser vorbereitet ist, lernt er die eigentlichen Kochaufgaben viel schneller und macht viel weniger Fehler als ein Professor, der direkt ohne Vorbereitung angefangen hätte.

Warum ist das so cool?

Effizienz: Man braucht nicht riesige, teure Roboter-Datenmengen, um den Roboter zu trainieren. Man nutzt einfach die bereits vorhandenen, riesigen Mengen an Internet-Daten, filtert aber das "Müll" heraus und behält nur das "Gold" für die Roboter-Aufgaben.
Bessere Ergebnisse: In Tests hat sich gezeigt, dass Roboter mit diesem "Brückenkurs" viel besser funktionieren als Roboter, die einfach nur das Standard-Wissen hatten. Sie waren sogar besser als viel größere Modelle, die mehr trainiert wurden, aber diesen speziellen Zwischenschritt verpasst haben.
Der Professor bleibt ein Professor: Wichtig ist, dass der Roboter durch diesen Kurs nicht dumm wird. Er verliert nicht sein Wissen über Kunst oder Literatur, sondern erlernt nur eine neue Art zu denken, die für das Handeln in der realen Welt nützlich ist.

Zusammengefasst:
Die Forscher haben einen Weg gefunden, wie man einem allgemeinen KI-Modell beibringt, "körperlich" zu denken, bevor es echte Aufgaben übernimmt. Es ist wie der Unterschied zwischen jemandem, der nur die Theorie des Fahrradfahrens auswendig gelernt hat, und jemandem, der erst einmal auf einem Stützrad geübt hat, bevor er auf das echte Fahrrad steigt. Das Ergebnis: Der Roboter fällt weniger oft hin und lernt viel schneller.

Titel: EmbodiedMidtrain: Überbrückung der Lücke zwischen Vision-Language-Modellen (VLMs) und Vision-Language-Action-Modellen (VLAs) durch Mid-Training

1. Problemstellung

Vision-Language-Action-Modelle (VLAs) sind entscheidend für die Steuerung von Robotern, da sie visuelle Wahrnehmung, Sprachverständnis und Aktionsgenerierung in einem einzigen Modell vereinen. Die meisten aktuellen VLAs bauen auf allgemeinen, „out-of-the-box" Vision-Language-Modellen (VLMs) auf.

Das Kernproblem: Es besteht eine signifikante Verteilungslücke (Distribution Gap) zwischen den Trainingsdaten von allgemeinen VLMs (z. B. Bildunterschriften, visuelle Fragen) und den Daten für robotische Manipulation (embodied data).
Die Konsequenz: VLA-Trainingsdaten bilden kompakte, stark konzentrierte Cluster, die sich räumlich weit von der breiten, diversen Verteilung der allgemeinen VLM-Daten entfernt befinden. Ein direktes Fine-Tuning eines allgemeinen VLM auf Roboterdaten führt oft zu suboptimalen Ergebnissen, da die internen Repräsentationen des VLM nicht auf die spezifischen Anforderungen der physischen Interaktion (z. B. räumliches Reasoning) vorbereitet sind. Einfaches Fine-Tuning ohne Voranpassung reicht oft nicht aus, um diese Lücke effektiv zu schließen.

2. Methodik: EmbodiedMidtrain

Die Autoren schlagen einen Mid-Training-Ansatz vor, der als Brücke zwischen dem allgemeinen VLM-Vorwissen und dem spezifischen VLA-Fine-Tuning dient. Der Prozess besteht aus drei Hauptkomponenten:

Analyse der Datenverteilung:
Die Autoren quantifizieren die Distanz zwischen VLM- und VLA-Datensätzen mittels Maximum Mean Discrepancy (MMD) und t-SNE-Visualisierungen. Sie stellen fest, dass die Verteilungslücke nicht einheitlich ist; einige VLM-Datenpunkte liegen der VLA-Domäne näher als andere.
Data Engine mit Proximity Estimator:
Statt alle verfügbaren VLM-Daten indiscriminiert zu nutzen, entwickeln die Autoren eine Data-Engine, die eine Proximity Estimator (Näherungsschätzer) verwendet.
- Funktionsweise: Ein leichter, lernbarer Binärklassifikator wird auf den eingefrorenen (frozen) Features des VLM trainiert. Er lernt, VLA-Daten (Positiv) von VLM-Daten (Negativ) zu unterscheiden.
- Scoring: Der Klassifikator weist jedem VLM-Datenpunkt einen Score zu, der angibt, wie nah dieser Punkt an der VLA-Verteilung liegt (basierend auf dem Verhältnis der Dichtefunktionen $p_{VLA}/p_{VLM}$ ).
- Selektion: Es werden nur die Top-K-Datenpunkte mit den höchsten Scores ausgewählt, um einen kuratierten Mid-Training-Datensatz zu erstellen. Dies geschieht auf Sample-Ebene, nicht nur auf Dataset-Ebene, um die Vielfalt zu erhalten, aber die Ausrichtung zu verbessern.
Mid-Training und Fine-Tuning:
1. Das VLM wird auf diesem kuratierten, verteilungsgerechten Datensatz mid-getrainiert.
2. Das resultierende Modell dient als stark initialisiertes Backbone für das anschließende VLA-Fine-Tuning auf den eigentlichen Roboterdaten.

3. Wichtige Beiträge

Proximity-basierter Mid-Training-Pipeline: Einführung von EmbodiedMidtrain, das einen lernbaren Schätzer nutzt, um VLM-Stichproben basierend auf ihrer Nähe zur VLA-Domäne zu bewerten und auszuwählen.
Datenengine: Entwicklung eines Systems, das sowohl auf Dataset- als auch auf Sample-Ebene arbeitet, um eine kuratierte Mischung zu erstellen, die die Diversität der VLM-Daten bewahrt, aber den Fokus auf embodied-relevante Inhalte legt.
Transferierbarkeit: Die Methode ist backbone-unabhängig. Ein Datensatz, der basierend auf den Features eines InternVL3.5-1B-Modells ausgewählt wurde, verbessert auch die Leistung eines Qwen3VL-2B-Modells.

4. Ergebnisse

Die Methode wurde auf drei Robotik-Manipulations-Benchmarks evaluiert: Calvin ABC-D, SimplerEnv Bridge und Libero-10.

Leistungssteigerung: Das Mid-Training führt zu konsistenten und signifikanten Verbesserungen gegenüber Baseline-Modellen, die direkt von allgemeinen VLMs stammen.
Effizienz: Ein kleines, mid-getrainiertes Modell (InternVL3.5-1B, 1.1B Parameter) erreicht Leistungen, die mit deutlich größeren Expert-VLA-Modellen (z. B. OpenVLA mit 7.7B Parametern) oder großen off-the-shelf VLMs (z. B. Qwen3-8B) konkurrieren, obwohl es nur einen Bruchteil des Trainingsbudgets (Anzahl der gesehenen Samples) benötigt.
Trainingsdynamik: Die Analyse zeigt, dass die Vorteile des Mid-Trainings bereits in den allerersten Schritten des Fine-Tunings sichtbar sind und sich im Laufe der Zeit vergrößern. Dies deutet darauf hin, dass Mid-Training eine fundamental bessere Initialisierung bietet und nicht nur einen kurzfristigen Vorsprung.
Vergleich mit Alternativen: Der lernbare Proximity Estimator übertrifft manuell gestaltete Metriken wie Feature-Space-Distanzen oder Perplexity-basierte Metriken deutlich.

5. Bedeutung und Fazit

Paradigmenwechsel: Das Paper zeigt, dass für den Erfolg von VLAs nicht nur die reine Größe des Modells oder die Menge der Vorab-Trainingsdaten entscheidend ist, sondern die Qualität und Ausrichtung der Daten im Mid-Training.
Ressourceneffizienz: Durch die gezielte Auswahl von Daten kann die Leistung von Robotik-Modellen mit deutlich weniger Rechenressourcen und Trainingsdaten erreicht werden.
Zukunftsausblick: Die Arbeit liefert einen skalierbaren Rahmen, um allgemeine VLMs effizient für den Einsatz in der physischen Welt (Embodied AI) vorzubereiten, ohne die architektonische Komplexität zu erhöhen oder massive Mengen an spezifischen Roboterdaten zu benötigen.

Zusammenfassend beweist EmbodiedMidtrain, dass eine datenzentrierte Anpassung (Data-Centric AI) durch intelligente Datenselektion im Mid-Training die Lücke zwischen generischen multimodalen Modellen und spezialisierten Robotik-Systemen effektiv schließen kann.