💻 computer science

Vision Language Action (VLA) Models for Unmanned Aerial Robotics and Bimanual Manipulation: A Review

Diese Übersicht synthetisiert 183 Beiträge aus den Jahren 2017 bis 2026, um aufzuzeigen, wie Vision-Language-Action (VLA)-Modelle, die ursprünglich für komplexe bimanuelle Manipulation entwickelt wurden, durch gemeinsame Koordinationsstrategien, Trainingsrezepte und Aktionsrepräsentationen effektiv angepasst werden können, um die Herausforderungen der unbemannten Luftfahrtrobotik zu bewältigen.

Ursprüngliche Autoren: Inkyu Sa, Chanoh Park, Hea-Min Lee, Donghee Noh, Ho Seok Ahn

Veröffentlicht 2026-07-09

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Inkyu Sa, Chanoh Park, Hea-Min Lee, Donghee Noh, Ho Seok Ahn

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Kernidee: Robotern beibringen, gleichzeitig zu „denken“ und zu „handeln“

Stellen Sie sich vor, Sie bringen einem Roboter bei, ein Handtuch zu falten oder eine Drohne zu einem bestimmten Gebäude zu fliegen. In der Vergangenheit mussten Sie jede einzelne Bewegung manuell programmieren, als würde man ein Rezept mit exakten Mengenangaben für jeden einzelnen Schritt vorgeben.

Diese Arbeit stellt ein neues Modell für das „Robotergehirn“ vor, ein sogenanntes VLA-Modell (Vision-Language-Action). Betrachten Sie ein VLA als einen Roboter, der das gesamte Internet (Bilder und Texte) gelesen und gelernt hat, wie die Welt funktioniert. Nun können Sie einfach mit ihm sprechen: „Falte das Handtuch“ oder „Fliege zum roten Gebäude.“ Der Roboter blickt durch seine Kamera, versteht Ihre Worte und findet ganz allein heraus, welche physischen Bewegungen nötig sind.

Die Arbeit konzentriert sich auf zwei sehr schwierige Aufgaben für Roboter:

Zwei-Arm-Roboter (Bimanual): Wie ein Mensch, der beide Hände benutzt, um Wäsche zu falten oder einen Karton zusammenzusetzen.
Fliegende Roboter (Drohnen): Wie eine Drohne, die reibungslos fliegen muss, während sie vielleicht einen Greifer hält, um Dinge aufzuheben.

Die Autoren argumentieren, dass die Tricks, die wir lernen, um zwei-armigen Robotern etwas beizubringen, genau dieselben Tricks sind, die benötigt werden, um fliegende Drohnen zu lehren.

Wie es funktioniert: Das „Gehirn“ und die „Muskeln“

Die Arbeit unterteilt den Aufbau dieser Roboter in drei Hauptteile:

1. Das Gehirn (Vision-Language Model)
Stellen Sie sich einen Roboter mit einem Gehirn vor, das Millionen von YouTube-Videos gesehen und Millionen von Büchern gelesen hat. Er weiß, was ein „Handtuch“ ist, wie „Falten“ aussieht und was ein „rotes Gebäude“ ist. Dieser Teil des Roboters versteht Ihre Sprache und das Kamerabild.

2. Die Muskeln (Action Generation)
Sobald das Gehirn das Ziel verstanden hat, muss es dem Arm oder den Motoren des Roboters sagen, was zu tun ist. Die Arbeit vergleicht drei Wege, wie der Roboter Bewegungen entscheidet:

Die „Wort-für-Wort“-Methode (Autoregressiv): Der Roboter versucht, die Bewegung wie einen Satz zu beschreiben, Wort für Wort (z. B. „bewege nach links“, dann „bewege nach oben“). Dies ist langsam und kann holprig wirken, so als würde man versuchen, ein Auto zu fahren, indem man nacheinander sagt: „Tritt aufs Gas“ und dann „drehe das Rad“.
Die „Denoising“-Methode (Diffusion): Stellen Sie sich vor, der Roboter beginnt mit einem verschwommenen, zufälligen Chaos aus Bewegungen und bereinigt dieses langsam, bis es wie ein glatter Pfad aussieht. Es ist, als würde man eine Statue aus einem Klumpen Ton meißeln. Es ist sehr präzise, dauert aber lange, um zu „meißeln“.
Die „Flow“-Methode (Flow Matching): Dies ist der aktuelle Gewinner. Stellen Sie sich vor, der Roboter lernt eine glatte Flussströmung. Anstatt den Pfad zu erraten, lernt er die Strömung des Wassers, die ein Blatt natürlich von Punkt A nach Punkt B trägt. Es ist schnell, geschmeidig und perfekt für die Koordination von zwei Armen oder dem Flug einer Drohne.

3. Der „Chunking“-Trick
Anstatt dem Roboter zu sagen, was er für nur einen winzigen Sekundenbruchteil tun soll, sagt der Roboter einen ganzen „Chunk“ (Block) der Zukunft voraus (wie die nächsten 1 Sekunde der Bewegung) auf einmal.

Analogie: Stellen Sie sich vor, Sie spielen ein Videospiel. Wenn Sie nur Ihren nächsten Schritt planen, könnten Sie einen Sprung verpassen. Aber wenn Sie die nächsten 10 Schritte als eine einzige fließende Bewegung planen, können Sie Hindernisse viel besser navigieren. Dies hilft dem Roboter, seine zwei Arme in perfekter Synchronität zu halten.

Die zwei Hauptprobleme

1. Der Tanz der zwei Arme (Bimanuelle Manipulation)
Ein Hemd zu falten ist schwer, weil die linke Hand das Hemd halten muss, während die rechte Hand es faltet. Wenn sie sich nicht perfekt koordinieren, bekommt das Hemd Falten.

Der Befund der Arbeit: Die besten Roboter sagen dem linken und dem rechten Arm nicht einzeln, was sie tun sollen. Stattdessen behandeln sie die zwei Arme als ein großes Team. Sie sagen die Bewegung beider Arme gemeinsam in einem einzigen „Chunk“ voraus.
Das Ergebnis: Roboter, die diese Methode nutzen, haben ihre Erfolgsquote beim Falten von Handtüchern von etwa 30 % auf über 90 % gesteigert – und das in nur wenigen Jahren.

2. Der fliegende Roboter (Unbemannte Luftfahrtrobotik)
Eine Drohne zu steuern ist wie ein Besen auf der Hand zu balancieren. Es ist instabil. Wenn man einen Greifer hinzufügt, um etwas aufzuheben, wird es noch schwieriger.

Der Befund der Arbeit: Dieselben Tricks der „zwei-armigen“ Roboter funktionieren auch für Drohnen. Eine Drohne mit einem Greifer ist im Gru�itsentiatlich ein „ein-armiger“ Roboter, der gleichzeitig seinen Flug kontrollieren muss. Die Arbeit zeigt, dass die „Flow“-Methode und das „Chunking“, die für das Falten von Handtüchern verwendet werden, auch der beste Weg sind, um Drohnen reibungslos fliegen zu lassen und Dinge greifen zu lassen.

Wie die Roboter lernen: Vom Zuschauen zum Üben

Die Arbeit erklärt, dass es nicht ausreicht, einem Roboter nur ein Video eines Menschen bei einer Aufgabe zu zeigen. Der Roboter muss üben.

Imitation Learning (Imitationslernen): Der Roboter beobachtet einen Menschen (per Teleoperation) und kopiert ihn. Das ist wie ein Schüler, der die Hausaufgaben eines Lehrers abschreibt.
Das Problem: Wenn der Lehrer einen Fehler macht, kopiert der Roboter den Fehler. Zudem sind Menschen langsam und vorsichtig.
Die Lösung (RECAP): Die Arbeit hebt eine neue Methode hervor, bei der der Robbot alleine übt. Er versucht die Aufgabe, und ein „Richter“ (eine andere KI) sagt ihm, ob er Erfolg hatte oder gescheitert ist. Der Roboter versucht es dann erneut und lernt aus seinen Fehlern.
Analogie: Dies ist wie ein Schüler, der nicht nur die Hausaufgaben des Lehrers abschreibt, sondern auch eine Übungsprüfung macht, bewertet wird und aus seinen Fehlern lernt, bis er eine Eins erreicht. Diese Methode hat es Robotern ermöglicht, ihre Erfolgsraten um 10–40 % über das hinaus zu steigern, was Menschen ihnen beibringen könnten.

Die Zukunft: Was kommt als Nächstes?

Die Arbeit schließt mit einem Fahrplan für die Zukunft und weist darauf hin, dass wir zwar große Fortschritte machen, aber immer noch Hürden bestehen:

Standardisierte Tests: Derzeit testen verschiedene Labore Roboter mit unterschiedlichen Aufgaben. Wir brauchen einen standardisierten „Führerschein“ für Roboter, damit wir fair vergleichen können, wer der Beste ist.
Sicherheit: Roboter mit zwei Armen oder fliegende Drohnen müssen sicher im Umgang mit Menschen sein. Wir brauchen bessere Wege, um zu garantieren, dass sie nicht abstürzen oder jemanden verletzen.
Zuverlässigkeit in der realen Welt: Roboter funktionieren im Labor großartig, aber die reale Welt ist chaotisch (Wind, rutschige Böden, seltsames Licht). Wir brauchen Roboter, die mit diesen Überraschungen umgehen können, ohne kaputtzugehen.
Das „Dual-System“-Design: Der vielversprechendste Weg nach vorne ist ein „langsames Gehirn, schnelle Muskeln“-Ansatz. Ein langsames, kluges Gehirn entwirft den Plan (z. B. „geh in die Küche“), und ein schnelles, einfaches Muskelsystem erledigt die schnellen Bewegungen (z. B. „bewege den Arm 5 Zoll nach links“). Dies trennt das Denken vom Tun, um schneller und sicherer zu werden.

Zusammenfassung

Diese Arbeit ist ein Rückblick darauf, wie Roboter lernen, ihre Augen, Ohren und Gehirne zu nutzen, um ihren Körper zu bewegen. Sie zeigt, dass der beste Weg, einem Roboter beizubringen, zwei Hände zu benutzen oder eine Drohne zu fliegen, darin besteht, ihn fließende, kontinuierliche Bewegungen (Flow Matching) lernen zu lassen und ihn auf eigene Faust üben zu lassen (Reinforcement Learning). Die Technologie entwickelt sich rasant und verwandelt Science-Fiction in reale Werkzeuge, die Wäsche falten und Drohnen steuern können.

Technisches Resümee: Vision–Language–Action (VLA)-Modelle für unbemannte Luftfahrtrobotik und bimanuelle Manipulation

1. Problemdefinition und Umfang

Dieser Review behandelt die Konvergenz von Vision–Language–Action (VLA)-Modellen über zwei unterschiedliche, aber strukturell ähnliche Robotikdomänen hinweg: bimanuelle Manipulation und unbemannte Luftfahrtrobotik (UAVs). Während die VLA-Forschung in der Manipulation bereits rasant fortgeschritten ist – insbesondere für Aufgaben, die die Koordination zweier 7+ Freiheitsgrad (DOF)-Arme unter teilweiser Beobachtbarkeit erfordern (z. B. Wäsche falten, Kartons montieren) – bleibt ihre Anwendung auf Luftfahrtsysteme noch in den Kinderschuhen.

Das Kernproblem besteht in der Generierung gekoppelter Multi-Agenten-Aktionen aus gemeinsamen visuellen und linguistischen Beobachtungen. Ob bei der Koordination zweier Roboterarme oder einer Drohnenflotte (oder einer Drohne mit einem Manipulator): Das System muss Kamerabilder und natürliche Sprachinstruktionen (z. B. „falte das Handtuch“ oder „fliege zum roten Gebäude“) in hochfrequente Motorbefehle abbilden. Bestehende Übersichtsarbeiten versäumen es, diese als Instanzen desselben VLA-Problems zu behandeln, da sie sich oft entweder auf High-Level-Planung ohne Low-Level-Steuerung oder auf spezifische Architekturen ohne Cross-Embodiment-Analyse konzentrieren. Diese Arbeit schließt diese Lücke, indem sie 183 Beiträge (2017–2026) in einem einheitlichen Framework organisiert und analysiert, wie für bimodale Systeme entwickelte Strategien auf die Luftfahrtrobotik übertragbar sind.

2. Methodik und Framework

Der Review ist entlang von sieben Dimensionen strukturiert und formalisiert die VLA-Policy $\pi_\theta$ als Abbildung von visuellen Beobachtungen $o_t$ , Sprachinstruktionen $\ell$ und propriozeptiven Zuständen $q_t$ auf Aktionsräume $A$ .

2.1. Architekturfamilien

Das Papier kategorisiert VLA-Architekturen nach ihren Mechanismen zur Aktionsgenerierung:

Autoregressiv (AR): Modelle wie RT-2 und OpenVLA diskretisieren kontinuierliche Aktionen in Text-Token. Obwohl skalierbar, leiden sie unter Quantisierungsfehlern und sequenzieller Latenz, was sie für die hochdimensionale bimodale Steuerung weniger ideal macht.
Flow-basiert: Modelle wie $\pi_0$ nutzen Flow Matching, um kontinuierliche Aktions-Chunks zu generieren. Dieser Ansatz vermeidet Quantisierung und erreicht mit $K=10$ Schritten ein günstiges Verhältnis zwischen Latenz und Qualität für eine 50-Hz-Steuerung.
Diffusionsbasiert: Modelle wie RDT-1B und Octo verwenden Denoising Diffusion Probabilistic Models. Sie eignen sich hervorragend zur Modellierung multimodaler Aktionsverteilungen, verursachen jedoch im Vergleich zum Flow Matching eine höhere Inferenzlatenz ( $K=50\text{--}100$ Schritte).
Hybrid: Architekturen wie HybridVLA kombinieren AR-Heads für diskrete Entscheidungen (z. B. Greifer öffnen/schließen) mit Diffusions-/Flow-Heads für kontinuierliche Trajektorien und nutzen so die Stärken beider Ansätze.

2.2. Trainingsrezepte und Datenstrategien

Das Papier identifiziert eine konvergierende dreistufige Trainingspipeline:

VLM-Pre-training: Initialisierung mit webweiten Bild-Text-Modellen (z. B. PaLIGemma, Prismatic), um semantische Verankerung zu erben.
Roboter-Pre-training: Feinabstimmung auf großskaligen, Cross-Embodiment-Datensätzen (z. B. Open X-Embodiment, DROID). Der Review betont, dass Datendiversität (über mehrere Roboter und Umgebungen hinweg) ein zuverlässigerer Hebel für Generalisierung ist als die reine Datensatzgröße.
Aufgabenspezifisches Fine-tuning & RL: Anpassung an spezifische bimodale oder luftfahrtbezogene Aufgaben. Entscheidend ist hierbei das Hervorheben von Reinforcement Learning from Autonomous CAPability (RECAP), bei dem VLAs über die Qualität von Demonstrationen hinaus durch autonomes Üben und die Nutzung von VLM-basierten Evaluatoren für Belohnungssignale besser werden.

2.3. Aktionsrepräsentationen

Action Chunking: Die Vorhersage einer Sequenz von $H$ zukünftigen Aktionen (typischerweise $H=50$ bei 50 Hz) in einem einzigen Forward Pass ist Standard. Dies amortisiert die Inferenzlatenz und erfasst die für koordinierte bimodale Bewegungen essenziellen zeitlichen Korrelationen.
Echtzeit-Ausführung: Techniken wie Real-Time Chunking (RTC) und Bidirectional Decoding (BID) werden diskutiert, um den Tradeoff zwischen Latenz und Reaktionsfähigkeit zu mildern, wodurch Systeme in der Lage sind, auf Störungen zu reagieren, ohne den vollständigen Chunk abzuwarten.

3. Zentrale Erkenntnisse und Ergebnisse

3.1. Bimanuale Manipulation

State-of-the-Art-Leistung: Flow-basierte VLAs (insbesondere $\pi_0$ und seine Nachfolger $\pi_{0.5}$ und $\pi^*_0$ ) dominieren derzeit bimanuale Benchmarks. Sie erreichen Erfolgsraten von über 90 % bei Aufgaben wie dem Falten von Wäsche und der Montage von Kartons, was eine signifikante Verbesserung gegenüber den ~30 % der früheren Methoden wie ACT darstellt.
Koordinationsstrategien: Die Vorhersage des gemeinsamen Aktionsraums (gleichzeitige Vorhersage beider Arme) erweist sich für eng gekoppelte Aufgaben als überlegen, da sie es dem Modell ermöglicht, implizite Koordinationsmuster aus den Daten zu lernen, ohne explizite Kopplungsmechanismen.
Langfristige Aufgaben (Long-Horizon): Hierarchische Architekturen (z. B. $\pi_{0.5}$ ), die komplexe Instruktionen in Subziele zerlegen, ermöglichen Aufgaben, die über Minuten gehen, während speichergestützte Systeme (z. B. MEM) dies auf Horizonte von 15 Minuten ausdehnen.

3.2. Unbemannte Luftfahrtrobotik

Emergierendes Feld: Luftfahrt-VLAs hinken der Reife der Manipulation etwa zwei Jahre hinterher. Während starke Einzelkomponenten existieren (RL-basierter agiler Flug, VLN-Benchmarks), entstehen integrierte End-to-End-VLA-Systeme für physische Drohnen gerade erst (z. B. CognitiveDrone, DroneVLA, AIR-VLA).
Übertragbarkeit: Der Review zeigt, dass Koordinationsstrategien (gemeinsame Aktionsräume, hierarchische Planung) und Aktionsrepräsentationen (Chunking), die für bimodale Systeme entwickelt wurden, direkt auf die Luftfahrtmanipulation (z. B. eine Drohne mit einem Greifer) und Multi-Drohnen-Schwärme übertragbar sind.
Herausforderungen: Luftfahrtsysteme stehen vor strengeren Latenzanforderungen ( $\ge$ 100 Hz für stabilen Flug) und komplexeren Sim-to-Real-Gaps aufgrund von Wind und aerodynamischen Effekten.

3.3. Trends in der industriellen Implementierung

Das Papier stellt einen Trend in der Industrie (2025–2026) hin zu Dual-System-Architekturen (Trennung von langsamen Reasoning-Modulen und schnellen Aktionsmodulen) und kontinuierlichen Selbstverbesserungsschleifen fest. Systeme wie Googles Gemini Robotics und Dynas DYNA-1 nutzen diese Muster, um eine hohe Zuverlässigkeit (99 %+) in der Produktion zu erreichen, was das RECAP-Paradigma im großen Maßstab validiert.

4. Zentrale Beiträge

Einheitliche Taxonomie: Das Paper liefert die erste umfassende Taxonomie, die Architekturen, Trainingsrezepte, Aktionsrepräsentationen und Cross-Domain-Anwendungen (bimanual und Luftfahrt) über 183 Beiträge hinweg abdeckt.
Cross-Domain-Analyse: Es verbindet explizit Strategien der bimodalen Koordination mit Multi-Drohnen- und Luftfahrtmanipulationssystemen und zeigt auf, wie Erkenntnisse (z. B. Flow Matching für glatte Trajektorien) zwischen den Embodiments transferiert werden.
Forschungs-Roadmap: Die Autoren identifizieren 14 kritische Forschungsrichtungen, darunter:
- Standardisierte bimodale Benchmarks (derzeit eine große Lücke).
- Geschickte, kraftbewusste und multimodale Manipulation.
- End-to-End-VLAs für die Drohnensteuerung.
- Überbrückung der Forschung-zu-Produktion-Lücke durch skalierbare Datenerfassung und Sicherheitszertifizierung.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass sich das Feld über bloße Proof-of-Concept-Demonstrationen hinaus zu einer Stufe entwickelt hat, in der flow-basierte, Flow-Matching-Architekturen in Kombination mit Cross-Embodiment-Pre-training und autonomem RL den vielversprechendsten Weg für den realen Einsatz darstellen.

Die Autoren argumenten, dass die effektivsten zukünftigen Systeme keine monolithischen End-to-End-Modelle sein werden, sondern Dual-System-Designs, die semantisches Reasoning von der Hochfrequenzsteuerung trennen. Darüber hinaus behaupten sie, dass kontinuierliche Selbstverbesserung durch autonomes Üben der entscheidende Mechanismus ist, um die Leistungsgrenzen teleoperierter Demonstrationen zu überschreiten.

Der Review kommt zu dem Schluss, dass die bimodale Manipulation zwar schnell gereift ist, die unbemannte Luftfahrtrobotik jedoch durch die Übernahme dieser etablierten VLA-Frameworks vor einer ähnlichen Beschleunigung steht. Die Konvergenz dieser Domänen deutet auf eine Zukunft hin, in der körpergebundene Autonomie durch ein einziges, übertragbares Foundation-Modell definiert wird, das über diverse Robotermorphologien hinweg operieren kann – vom dualen Arm-Manipulator bis hin zu Luftfahrtflotten.