A Pragmatic VLA Foundation Model

Das Paper stellt LingBot-VLA vor, einen pragmatischen Vision-Language-Action-Foundation-Modell, der durch 20.000 Stunden realer Robotikdaten von neun Dual-Arm-Konfigurationen trainiert wurde, eine überlegene Generalisierung auf drei Plattformen demonstriert, eine effiziente Trainingsinfrastruktur bietet und als Open-Source-Ressource für die Robotik-Forschung bereitgestellt wird.

Das Wesentliche

Stellen Sie sich vor, Sie möchten einem Roboter beibringen, wie man ein Sandwich macht, Blumen arrangiert oder einen komplizierten Holzschlüssel zerlegt. Früher musste man dem Roboter für jede einzelne dieser Aufgaben stundenlang den Weg vorzeigen – wie ein strenger Lehrer, der einem Schüler jeden einzelnen Schritt eines Matheproblems zeigt. Das war langsam, teuer und der Roboter konnte nichts anderes, wenn man ihn in eine neue Küche stellte.

Die Forscher hinter LingBot-VLA haben nun einen neuen Ansatz gewählt. Sie haben einen „Roboter-Genie" erschaffen, der nicht nur sieht und hört, sondern auch handelt. Hier ist die Erklärung, wie das funktioniert, vereinfacht und mit ein paar bildhaften Vergleichen:

1. Der riesige Lernspeicher (Die 20.000 Stunden)

Stellen Sie sich vor, Sie müssten ein neues Handwerk lernen. Wenn Sie nur 10 Stunden lang einen Meister beobachten, lernen Sie vielleicht, wie man einen Nagel einschlägt. Wenn Sie aber 20.000 Stunden lang verschiedene Handwerker bei der Arbeit beobachten – vom Tischler bis zum Koch, vom Elektriker bis zum Gärtner – dann verstehen Sie plötzlich das Prinzip des Arbeitens.

Das ist genau das, was LingBot-VLA getan hat. Die Forscher haben Daten von 9 verschiedenen Robotern (mit zwei Armen, wie ein Mensch) gesammelt. Diese Roboter haben in der echten Welt Dinge getan: Schrauben gedreht, Tücher gefaltet, Zitronen geschält. Das sind im Grunde 20.000 Stunden echtes „Lebenswissen".

• Der Vorteil: Der Roboter hat nicht nur auswendig gelernt, wie man eine Schraube dreht, sondern er versteht, warum man das tut und wie man es anpasst, wenn die Schraube anders aussieht oder der Roboter einen anderen Arm hat.

2. Das Gehirn: Ein Team aus zwei Experten

Stellen Sie sich das Gehirn von LingBot-VLA wie ein Team aus zwei Spezialisten vor, die in einem Büro sitzen:

• Der „Verstehens-Experte" (Vision-Language): Dieser Teil ist wie ein sehr gebildeter Bibliothekar. Er kann Bilder sehen und Sprache verstehen. Wenn Sie sagen: „Mach mir ein Sandwich", weiß er, was ein Sandwich ist, wie Brot aussieht und was „machen" bedeutet.
• Der „Handlungs-Experte" (Action Expert): Dieser ist wie ein erfahrener Sportler oder Handwerker. Er weiß, wie man die Muskeln (die Roboterarme) bewegt, um die Aufgabe zu erledigen.

Das Besondere an LingBot ist, dass diese beiden nicht nebeneinander sitzen, sondern Hand in Hand arbeiten. Der Bibliothekar sagt dem Sportler: „Der Roboter muss jetzt den Arm heben", und der Sportler führt es aus. Durch eine spezielle Architektur (die Forscher nennen sie „Mixture-of-Transformers") können sie sich ständig abstimmen, ohne sich gegenseitig zu stören.

3. Der tiefe Blick (Warum Tiefe wichtig ist)

Ein Roboter, der nur mit einer Kamera sieht, ist wie ein Mensch, der mit einem Auge schielt. Er sieht flache Bilder, aber er weiß nicht genau, wie weit weg ein Objekt ist.
LingBot-VLA hat jedoch eine zusätzliche Brille aufgesetzt: Es nutzt Tiefeninformationen (wie ein 3D-Scanner).

• Die Analogie: Stellen Sie sich vor, Sie versuchen, einen Ball in einen Korb zu werfen. Wenn Sie nur ein flaches Foto sehen, wissen Sie nicht, ob der Korb 1 Meter oder 10 Meter entfernt ist. Mit der „Tiefen-Brille" sieht der Roboter genau, wie weit weg der Korb ist, und kann den Wurf perfekt berechnen. Das macht ihn viel präziser, besonders bei schwierigen Aufgaben wie dem Einfädeln von Fäden oder dem Stapeln von Tellern.

4. Der schnelle Motor (Effizienz)

Früher war das Trainieren solcher Roboter wie das Kochen eines riesigen Suppentopfes auf einem kleinen Herd: Es dauerte ewig und brauchte viel Energie.
Die Forscher haben nun eine neue, hochmoderne Küche gebaut (ihre Software-Codebase).

• Der Vergleich: Während andere Roboter-Modelle wie ein einzelner Koch sind, der langsam rührt, ist LingBot-VLA wie ein Team von 8 Köchen, die gleichzeitig an einem riesigen Herd arbeiten. Sie können Daten 2,8-mal schneller verarbeiten als die Konkurrenz. Das bedeutet: Was früher Wochen dauerte, geht jetzt in Tagen. Das spart Geld und Zeit.

5. Der große Test (Die Prüfung)

Um zu beweisen, dass ihr Roboter wirklich gut ist, haben sie ihn nicht nur in einer Simulation getestet (wo alles perfekt läuft), sondern in der echten Welt.

• Der Test: Sie stellten den Roboter vor 100 verschiedene Aufgaben (vom Toasten von Brot bis zum Sortieren von Würfeln) auf 3 verschiedenen Roboterkörpern.
• Das Ergebnis: LingBot-VLA war deutlich besser als alle anderen aktuellen Modelle. Er hat nicht nur die Aufgaben gelöst, die er im Training gesehen hatte, sondern hat sich auch auf neue Situationen angepasst. Er ist wie ein Schüler, der nicht nur die Aufgaben aus dem Buch kann, sondern auch eine neue Aufgabe löst, die nie im Lehrbuch stand.

Zusammenfassung

LingBot-VLA ist wie ein universeller Roboter-Lehrling, der:

1. Eine riesige Lebenserfahrung (20.000 Stunden) gesammelt hat.
2. Ein Team aus Verstehen und Handeln ist.
3. 3D-Tiefenwahrnehmung besitzt, um Dinge präzise zu greifen.
4. Extrem schnell lernt und trainiert werden kann.

Die Forscher geben dieses Wissen jetzt allen kostenlos zur Verfügung (Code, Modelle und Daten), damit die ganze Welt lernen kann, wie man Roboter baut, die wirklich nützlich und vielseitig sind – nicht nur in der Fabrik, sondern vielleicht bald auch in unserem Wohnzimmer.

Technische Zusammenfassung

Titel: A Pragmatic VLA Foundation Model (LingBot-VLA)

1. Problemstellung

Vision-Language-Action (VLA) Foundation-Modelle gelten als vielversprechender Ansatz, um Robotern die Ausführung komplexer Manipulationsaufgaben basierend auf natürlichen Sprachbefehlen zu ermöglichen. Trotz erheblicher Fortschritte bestehen jedoch noch kritische Lücken:

• Fehlende Skalierungsstudien: Es gibt kaum umfassende empirische Untersuchungen darüber, wie sich die Leistung von Robotern in der realen Welt mit der Vergrößerung der Pre-Training-Datensätze skaliert.
• Ineffiziente Infrastruktur: Der Gemeinschaft fehlt eine hochoptimierte Trainingscodebasis, die das effiziente Skalieren auf massive Datenmengen (z. B. zehntausende Stunden) ermöglicht.
• Begrenzte Evaluierung: Viele bestehende Studien beschränken sich auf Simulationen oder wenige reale Aufgaben, was die Generalisierungsfähigkeit und Robustheit in der physischen Welt nicht ausreichend validiert.

Die zentrale Forschungsfrage lautet: Wie skalieren VLA-Modelle tatsächlich mit massiven Mengen an realen Roboterdaten?

2. Methodik

A. Datensammlung und -aufbereitung

• Datenvolumen: Das Modell wurde mit ca. 20.000 Stunden realer Manipulationsdaten trainiert.
• Vielfalt der Plattformen: Die Daten stammen von 9 verschiedenen dual-armigen Roboterkonfigurationen (u. a. AgiBot G1, AgileX, Galaxea R1Lite/Pro, Realman Rs-02, Leju KUAVO 4 Pro, Qinglong, ARX Lift2, Bimanual Franka).
• Annotation:
  • Videos wurden in atomare Aktionen unterteilt.
  • Sprachanweisungen für Aufgaben und Sub-Aufgaben wurden präzise annotiert (unterstützt durch Qwen3-VL).
  • Ein automatischer Filterprozess und menschliche Nachprüfung sicherten die Datenqualität.
• Datenanalyse: Eine Wortwolken-Analyse zeigt eine hohe Diversität an atomaren Aktionen. Interessanterweise fehlen ca. 50 % der im Testset verwendeten atomaren Aktionen in den 100 häufigsten Trainingsaktionen, was die Generalisierungsfähigkeit des Modells unterstreicht.

B. Modellarchitektur (LingBot-VLA)

• Backbone: Integration eines vortrainierten Vision-Language-Modells (VLM), spezifisch Qwen2.5-VL, als semantisches Rückgrat.
• Action Expert: Ein initialisierter Modul zur Aktionsgenerierung.
• Architektur (MoT): Die Komponenten nutzen eine Mixture-of-Transformers (MoT) Architektur (ähnlich BAGEL).
  • Visuelle und sprachliche Modalitäten sowie Aktionsdaten werden über getrennte Transformer-Pfade verarbeitet, die durch einen gemeinsamen Self-Attention-Mechanismus auf jeder Ebene gekoppelt sind.
  • Dies ermöglicht eine kontinuierliche Führung durch semantische Priors, minimiert jedoch Interferenzen zwischen den Modalitäten.
• Aktionsmodellierung: Verwendung von Flow Matching für die Generierung kontinuierlicher Aktionsvektoren, was flüssige und präzise Bewegungen gewährleistet.
• Räumliches Bewusstsein: Um die geometrische Reasoning-Fähigkeit zu verbessern, wird ein Vision-Distillation-Ansatz genutzt. Lernbare Abfragen (Queries) der Bilder werden mit Depth-Tokens (von LingBot-Depth) abgeglichen, um räumliche Informationen in das Modell zu integrieren.

C. Trainingsoptimierung

Um die Rechenkosten bei großen Datenmengen zu senken, wurde eine hochoptimierte Codebasis entwickelt:

• Distributed Training: Nutzung von FSDP (Fully Sharded Data Parallel) mit speziellen „Shard Groups" für das Action-Expert-Modul, um Kommunikations-Overhead zu minimieren.
• Operator-Level-Optimierung: Einsatz von FlexAttention für sparse Attention-Prozesse und Operator Fusion (via torch.compile) zur Reduzierung von Kernel-Launch-Overhead.
• Effizienz: Das System erreicht einen Durchsatz von 261 Samples pro Sekunde auf einem 8-GPU-Cluster (1,5- bis 2,8-fache Geschwindigkeit im Vergleich zu bestehenden VLA-Codebasen).

3. Wichtige Beiträge

1. LingBot-VLA Modell: Ein pragmatisches VLA-Foundation-Modell, das auf 20.000 Stunden realer Daten trainiert wurde und State-of-the-Art-Leistung zeigt.
2. Skalierungsnachweis: Erste empirische Evidenz, dass die Leistung von Robotern in der realen Welt mit zunehmendem Datenvolumen (bis 20.000 Stunden) konsistent und signifikant steigt, ohne Anzeichen einer Sättigung zu zeigen.
3. Hochperformante Codebasis: Eine Open-Source-Implementierung, die das Training großer VLA-Modelle deutlich beschleunigt und skalierbarer macht.
4. Umfassendes Benchmarking: Eine systematische Evaluierung über 3 Roboterplattformen mit 100 verschiedenen Aufgaben (GM-100 Benchmark) und insgesamt 130 Episoden pro Aufgabe pro Plattform.
5. Open Science: Öffentlicher Zugang zu Code, Basis-Modell und Benchmark-Daten, um die Forschungsgemeinschaft zu fördern.

4. Ergebnisse

A. Reale Welt-Evaluation (GM-100 Benchmark)

Das Modell wurde auf drei Plattformen (Agibot G1, AgileX, Galaxea R1Pro) gegen drei starke Baselines (WALL-OSS, GR00T N1.6, π0.5) getestet.

• Erfolgsrate (SR) & Fortschritts-Score (PS): LingBot-VLA (mit Depth-Information) erzielte die besten Ergebnisse.
  • Im Durchschnitt über alle Plattformen: 17,30 % SR und 35,41 % PS.
  • Vergleich zu π0.5: +4,28 % SR und +7,76 % PS.
  • Vergleich zu GR00T N1.6: Deutlich überlegen auf Agibot G1 und AgileX; auf Galaxea R1Pro vergleichbar (da GR00T dort viel Pre-Training-Daten hatte).
• Generalisierung: Das Modell zeigte eine starke Fähigkeit, auf Plattformen zu generalisieren, die nicht im Pre-Training dominant vertreten waren.

B. Simulation-Evaluation (RoboTwin 2.0)

• In sauberen und stark randomisierten Szenarien (unterschiedliche Hintergründe, Beleuchtung, Objektpositionen) übertraf LingBot-VLA π0.5 signifikant.
• Mit Depth-Informationen wurden absolute Verbesserungen von bis zu 9,92 % in randomisierten Szenarien erreicht.

C. Skalierungsverhalten

• Eine Analyse von 3.000 bis 20.000 Stunden Trainingsdaten zeigte einen konsistenten Anstieg von Erfolgsrate und Fortschritts-Score.
• Die Skalierungsgesetze gelten robust über alle drei getesteten Roboterplattformen hinweg.

D. Daten-Effizienz

• Selbst mit nur 80 Demonstrationen pro Aufgabe (Post-Training) übertraf LingBot-VLA π0.5, das mit dem vollen Satz von 130 Demonstrationen trainiert wurde. Dies belegt eine überlegene Daten-Effizienz.

5. Bedeutung und Ausblick

LingBot-VLA stellt einen Meilenstein in der Robotik dar, da es die Lücke zwischen theoretischen Skalierungsgesetzen und der praktischen Leistung in der realen Welt schließt.

• Praktische Anwendbarkeit: Durch die Kombination aus hoher Generalisierungsfähigkeit, räumlichem Bewusstsein und rechen-effizientem Training ist das Modell gut für den realen Einsatz geeignet.
• Forschungsstandard: Die Arbeit setzt neue Maßstäbe für die Evaluierung von VLA-Modellen durch umfangreiche, multi-embodiment Tests in der realen Welt.
• Zukunft: Die Autoren planen, das Modell durch Integration von Daten von einarmigen und mobilen Robotern weiter zu skalieren, um noch vielseitigere Manipulationsfähigkeiten in unstrukturierten Umgebungen zu ermöglichen.

Das Paper unterstreicht, dass große Mengen an hochwertigen, realen Daten in Kombination mit effizienter Infrastruktur der Schlüssel zum Erfolg von allgemeinen Robotik-Policies sind.