Let It Be Simple: One-Step Action Generation for Vision-Language-Action Models

Diese Arbeit zeigt, dass eine starke Einschritt-Aktionsgenerierung für Vision-Language-Action-Modelle allein durch das Biasen der Trainingszeitverteilung hin zu Zuständen mit hohem Rauschen erreicht werden kann, wodurch die Notwendigkeit komplexer Destillation oder Hilfsziele, die typischerweise in der Bildsynthese erforderlich sind, entfällt und gleichzeitig die Leistung von Mehrschritt-Diffusions-Policies erreicht oder übertroffen wird.

Das Wesentliche

Die große Idee: Hör auf, die Bewegung zu überdenken

Stellen Sie sich vor, Sie bringen einem Roboter bei, Schach zu spielen.

• Der alte Weg (Bildgenerierung): In der Welt der KI-Bilderzeugung (wie beim Erstellen eines Bildes einer Katze) muss die KI gleichzeitig Millionen von Pixeln erraten. Es ist, als würde man versuchen, ein Meisterwerk zu malen, indem man mit einer leeren, von statischem Rauschen bedeckten Leinwand beginnt und das Rauschen Schritt für Schritt wegwischt, um die Katze zum Vorschein zu bringen. Dies erfordert viele Schritte (Iterationen), um es richtig zu machen.
• Der neue Weg (Roboteraktionen): Dieses Paper argumentiert, dass das Lehren eines Roboters, sich zu bewegen, etwas anderes ist. Der Roboter hat bereits ein sehr klares Bild des Raums, der Aufgabe und seines eigenen Körpers. Er muss nicht Millionen von Pixeln erraten; er muss nur eine kleine, spezifische Bewegung entscheiden (wie „greife die Tasse“).

Die Autoren sagen: „Warum nutzen wir einen 10-Schritte-Malprozess, um ein einfaches 1-Schritt-Rätsel zu lösen?“

Sie fanden heraus, dass, indem sie ändern, wann der Roboter lernt, Entscheidungen zu treffen, er die richtige Bewegung in einem einzigen Schritt genauso gut (oder sogar besser) bewältigen kann wie die langsamen, mehrstufigen Methoden.

---

Das Kernproblem: Die Diskrepanz zwischen „Reichem Zustand, Einfachem Ziel“

Um zu verstehen, warum das funktioniert, denken Sie an den Unterschied zwischen dem Schreiben einer Geschichte und dem Beantworten einer Trivia-Frage.

1. Bildgenerierung (Eine Geschichte schreiben): Sie geben der KI einen Prompt wie „Eine Katze“. Die KI muss die gesamte Geschichte erfinden, wie die Katze aussert, wo sie ist, die Beleuchtung, die Felltextur usw. Es gibt unendliche Möglichkeiten. Sie benötigt viele Schritte, um die Optionen einzugrenzen.
2. Roboteraktion (Eine Trivia-Frage beantworten): Sie geben dem Roboter eine Kameraansicht einer Tasse, einen Sprachbefehl „Hebe die Tasse auf“ und eine Sensormessung seiner Armposition. Die Antwort ist sehr spezifisch. Es gibt nur ein oder zwei gute Wege, diese Tasse zu greifen. Das „Ziel“ ist klein und einfach.

Das Paper nennt dies eine „Condition-Target“-Diskrepanz (Zustands-Ziel-Diskrepanz). Der Roboter hat eine reiche Menge an Informationen (den Zustand), muss aber nur eine winzige Menge an Output vorhersagen (die Aktion). Da die Antwort angesichts der Hinweise so offensichtlich ist, benötigt die KI nicht die komplexe, mehrstufige „Denoising“-Maschinerie (Entrauschung), die für Bilder verwendet wird.

Das Geheimrezept: Training im „Dunkeln“

Die Autoren entdeckten einen einfachen Trick, um dem Roboter diese einstufige Fähigkeit beizubringen.

Die Analogie: Schwimmenlernen im tiefen Ende

• Standardmäßiges Training: Normalerweise werden KI-Modelle darauf trainiert, schrittweise zu lernen. Sie beginnen mit ein wenig Rauschen (einem flachen Becken) und lernen dann langsam, mit mehr Rauschen umzugehen (tieferes Wasser), bis sie die endgültige Antwort vorhersagen können.
• Die Methode des Papers: Die Autoren entschieden sich dafür, den Roboter direkt ins tiefe Ende zu werfen. Sie verzerrten das Training so, dass der Roboter hauptsächlich übte, wenn der Input sehr verrauscht war (fast zufällig).

Warum funktioniert das?
Stellen Sie sich vor, Sie versuchen, die Telefonnummer eines Freundes zu erraten.

• Wenn Ihnen die Nummer mit nur einer fehlenden Ziffer gegeben wird, könnten Sie zu viel darüber nachdenken und falsch liegen.
• Aber wenn Ihnen eine völlig verschlüsselte, zufällige Zahlenfolge gegeben wird und Sie gebeten werden, die echte Nummer allein basierend auf dem Namen und der Adresse Ihres Freundes (dem reichen Kontext) zu erraten, ist Ihr Gehirn gezwungen, das Rauschen zu ignorieren und sich voll und ganz auf die Hinweise zu konzentrieren.

Indem man den Roboter darauf trainiert, die korrekte Bewegung selbst dann vorherzusagen, wenn der Input chaotisch ist (hohes Rauschen), lernt der Roboter, sich stark auf die Kamera- und Sprachhinweise zu verlassen. Wenn er schließlich in der realen Welt läuft (wo der Input sauber ist), kann er sofort in einem Schritt zur richtigen Antwort „springen“, weil er gelernt hat, das Rauschen zu ignorieren und dem Kontext zu vertrauen.

Die Experimente: Funktioniert es tatsächlich?

Das Team testete diese Idee auf drei Arten:

1. Der „Spielzeug“-Test (MNIST Grid): Um das Prinzip zu isolieren, drehten die Forscher die übliche Logik der KI um. Normalerweise generiert KI aus Text ein Bild (Text-zu-Bild). Hier zeigten sie der KI ein klares, sauberes Bild eines Rasters mit handschriftlichen Zahlen (die „reiche Bedingung“) und baten sie, die Zahlenfolge als Text auszugeben (das „kompakte Ziel“). Der Trick bestand darin, das Rauschen auf die Text-Ausgabe anzuwenden, nicht auf das Bild. Die KI musste also die korrekte Zahlenfolge aus einem verrauschten Textzustand vorhersagen, während sie das klare Bild als Anker nutzte. Dies simulierte perfekt die Situation eines Roboters: Viel visuelle Information, aber nur eine kleine, präzise Antwort. In diesem Setup konnte die KI die Zahlenfolge in einem einzigen Schritt viel genauer vorhersagen als mit herkömmlichen Methoden.
2. Die Roboter-Benchmarks (LIBERO): Sie testeten dies bei Standard-Roboteraufgaben (wie dem Stapeln von Blöcken oder dem Bewegen von Objekten).
   • Ergebnis: Ein mit dieser „hohem Rauschen“-Methode trainierter Roboter konnte eine perfekte Bewegung in einem Schritt ausführen.
   • Vergleich: Dieser einstufige Roboter war genauso gut wie – und manchmal sogar besser als – Roboter, die zehn Schritte brauchten, um die Bewegung zu bestimmen.
   • Skalierbarkeit: Selbst bei einem massiven Modell (1,4 Milliarden Parameter) erreichte die einstufige Methode eine Erfolgsquote von 95,6 % bei Langzeitaufgaben.
3. Der echte Roboter-Test: Sie testeten dies an einem echten, physischen zweiarmigen Roboter. Selbst ohne das „Gehirn“ des Roboters zu ändern, sondern nur die Art und Weise, wie er „denkt“ (unter Verwendung eines Schrittes statt zehn), performte er bei Aufgaben wie dem Verschrauben eines Deckels oder dem Stapeln eines Turms besser oder gleichwertig zur langsamen Methode.

Was sie NICHT getan haben

Es ist wichtig, festzuhalten, was das Paper nicht getan hat, um die Analogie korrekt zu halten:

• Sie haben keinen neuen Typ von Robotergehirn erfunden.
• Sie haben keinen „Lehrer-Roboter“ eingesetzt, der dem Schüler zeigt, wie es geht (keine Distillation).
• Sie haben keine komplexen zusätzlichen Trainingsphasen hinzugefügt.

Sie haben lediglich die Standard-Trainingsmethode genommen und den „Zeitplan“ verschoben, um den Fokus stärker auf Szenarien mit hohem Rauschen zu legen.

Das Fazit

Die Hauptbotschaft des Papers ist simpel: Benutzen Sie keinen Vorschlaghammer, um eine Nuss zu knacken.

Da Roboteraktionen klein und spezifisch sind (im Gegensatz zu komplexen Bildern), benötigen wir nicht die schwere, mehrstufige Maschinerie, die für die Bildgenerierung entwickelt wurde. Indem wir den Roboter während des Übens darauf trainieren, mit Chaos (hohem Rauschen) umzugehen, lernt er, den Hinweisen zu vertrauen und die richtige Bewegung sofort auszuführen. Dies macht Roboter schneller und einfacher zu trainieren, ohne dass komplexe neue Algorithmen erforderlich sind.

Technische Zusammenfassung

Technisches Resümee: Let It Be Simple: One-Step Action Generation for Vision-Language-Action Models

Problemstellung

Vision-Language-Action (VLA)-Modelle, die auf Diffusion basieren, erben oft das iterative Denoising-Paradigma der Bildsynthese, bei dem Aktionen durch mehrere Sampling-Schritte erzeugt werden. Die Autoren argumentieren jedoch, dass die Generierung von VLA-Aktionen eine grundlegend andere Condition-Target-Struktur besitzt als die Bildsynthese. In der Bildgenerierung konditioniert ein Text-Prompt oder ein Klassenlabel eine hochdimensionale, multimodale Verteilung. Im Gegensatz dazu werden VLA-Policies auf reichhaltige Beobachtungen (Bilder, Sprache, propriozeptiven Zustand) konditioniert, aber sie sagen einen kompakten, niedrigdimensionalen Action-Chunk (typischerweise dutzende bis hunderte Skalare) voraus.

Das Paper postuliert, dass die bedingte Aktionsverteilung signifikant einfacher ist als die bedingte Bildverteilung – eher vergleichbar mit einer Image-to-Text-Abbildung als mit Text-to-Image – weshalb eine starke One-Step-Aktionsgenerierung nicht zwangsläufig die komplexe Maschinerie (z. B. Consistency Training, Distillation, Teacher-Modelle) erfordert, die für die Few-Step-Bildsynthese entwickelt wurde. Die zentrale Herausforderung besteht darin, zu bestimmen, ob Standard-Flow-Matching-Objectives ohne zusätzliche Losses oder mehrstufiges Training effektive One-Step-Policies produzieren können, wenn die Trainingsdynamik an diese spezifische Asymmetrie zwischen Bedingung und Ziel angepasst wird.

Methodik

1. Theoretischer Rahmen: Condition-Target Asymmetrie

Die Autoren rahmen die VLA-Aktionsgenerierung als ein Problem, bei dem eine reichhaltige Bedingung ($c$) ein einfaches Ziel ($x_1$) vorhersagt. Sie hypothetisieren, dass, falls der Encoder eine hinreichende Repräsentation der Szene und der Aufgabe liefert, das verbleibende bedingte Geschwindigkeitsfeld einfach genug ist, um in einem einzigen Schritt modelliert zu werden, insbesondere nahe dem Rausch-Endpunkt.

2. Kontrolliertes Toy-Experiment: MNIST Grid-to-Sequence

Um den Effekt der Condition-Target-Struktur zu isolieren, entwarfen die Autoren eine kontrollierte Aufgabe, die von kontinuierlicher Diffusion für Sprachmodellierung inspiriert ist:

• Input: Ein $4 \times 4$ Raster aus MNIST-Ziffern.
• Target: Eine 16-Token-Sequenz der entsprechenden Ziffern.
• Beobachtung: Dieser Aufbau imitiert ein „Rich-Condition, Compact-Target“-Regime.
• Ergebnis: Eine Verschiebung der Trainingszeitverteilung hin zu Zuständen mit hohem Rauschen ($t \to 0$ in Flow-Matching-Koordinaten oder $t_{op} \to 1$ in OpenPI-Koordinaten) verbesserte die Exact-Match-Genauigkeit für die One-Step-Dekodierung erheblich, während eine uniforme Zeit-Sampling-Methode schlecht abschnitt.

3. VLA-Architektur und Trainingsstrategie

Die vorgeschlagene VLA-Architektur folgt einem leichtgewichtigen Design, ähnlich wie SimVLA:

• Encoder: Ein starkes Vision-Language-Model (VLM)-Backbone (SigLIP für Vision, PaliGemma für Fusion) kodiert Bilder, Sprachprompts und Roboterzustand.
• Decoder: Ein leichtgewichtiger Action-Head sagt Geschwindigkeiten basierend auf VLM-Tokens, Zustand, Zeit und verrauschten Aktions-Tokens voraus.
• Kerninnovation (High-Noise Bias): Anstatt die Trainingszeiten $t$ uniform zu sampeln, wenden die Autoren eine Rauschverschiebung an:
  $$t = \frac{u}{1 + (\alpha - 1)(1 - u)}$$
  wobei $u \sim \text{Uniform}[0, 1]$ und $\alpha > 1$. Dies verzerrt die Trainingsverteilung hin zu Zuständen mit hohem Rauschen ($t \to 0$).
• Objective: Es wird ein Standard-Flow-Matching-Loss ($L_{CFM}$) verwendet, ohne Distillation, Consistency Training oder Teacher-Modelle.
• Pure-Noise Training: Als Stresstest trainierten die Autoren auch Modelle, bei denen der interpolierte Aktions-Input $x_t$ vollständig durch unabhängiges Gaußsches Rauschen ersetzt wurde, um zu prüfen, ob das bedingte Ziel einfach genug für eine direkte Endpunkt-Vorhersage ist.

Zentrale Beiträge

1. Reframing der VLA-Generierung: Das Paper rahmt die VLA-Aktionsgenerierung als ein Condition-Target-Problem ein und zeigt auf, dass die „Rich-Condition, Compact-Target“-Struktur einfachere Generierungsdynamiken ermöglicht als die Bildsynthese.
2. Einfacher High-Noise Schedule: Die Autoren zeigen, dass ein einfacher High-Noise-Trainingsschedule es Standard-Flow-Matching ermöglicht, starke One-Step-Policies über die LIBERO-Benchmark-Familie hinweg zu erzeugen, wodurch die Notwendigkeit für komplexe Few-Step-Diffusion-Maschinerie entfällt.
3. Architekturübergreifende Validierung: Die Ergebnisse werden nicht nur an benutzerdefinierten SimVLA-ähnlichen Modellen, sondern auch an einer feinabgestimmten $\pi0.5$-Policy in einer realen bimanualen YAM RSS Challenge validiert, was zeigt, dass der Sampler-Trend über verschiedene Architekturen hinweg Bestand hat.
4. Diagnose des Geschwindigkeitsfeldes: Das Paper liefert empirische Belege dafür, dass das gelernte Geschwindigkeitsfeld einen geringeren Fehler und eine höhere Ausrichtung nahe dem Rausch-Endpunkt (wo die One-Step-Inferenz beginnt) aufweist als in der Mitte der Interpolations-Trajektorie, was im Gegensatz zum Verhalten von CIFAR-10 Class-to-Image Flows steht.

Experimentelle Ergebnisse

Die Autoren evaluierten ihren Ansatz auf LIBERO, LIBERO-Plus und LIBERO-Pro sowie in einer realen Roboter-Bimanual-Aufgabe.

• LIBERO Standard: One-Step-Policies, die mit High-Noise-biased Schedulern (z. B. $\alpha=4$) trainiert wurden, erreichten im Allgemeinen die gleiche Leistung wie Ten-Step-Decoding unter demselben Rezept oder übertrafen dieses sogar. Bemerkenswert ist, dass auf dem Standard-LIBERO High-Noise One-Step-Policies die mit einer uniformen Zeitverteilung trainierten Ten-Step-Policies übertrafen.
  • Beispiel: Auf LIBERO-Long mit einem 1.4B VLM-Modell erreichte die One-Step-Dekodierung 95,6 % Erfolg.
• Action Horizon: Während der One-Step-Erfolg naturgemäß sinkt, wenn der Action-Horizon steigt (z. B. von H10 auf H40), konnten High-Noise-Schedules den Leistungsverlust bei H20/H30 weitgehend kompensieren und erreichten oft die Ten-Step-Baseline mit Uniform-Verteilung.
• Condition Ablations: Das Entfernen von Eingabequellen (Bilder, Prompts, Zustand) verschlechterte die One-Step-Performance generell; das Entfernen des propriozeptiven Zustands führte fast zum Kollaps der Policy, was die Abhängigkeit von reichhaltigen Bedingungen bestätigt.
• Real-Robot-Validierung: In der YAM RSS bimanualen Evaluation erreichten die One-Step-Dekodierungen bei drei Aufgaben die Ten-Step-Dekodierung oder übertrafen diese (z. B. 100 % Erfolg bei Tower of Hanoi gegenüber 50 % bei Ten-Step), wobei derselbe Checkpoint verwendet wurde.
• Velocity Diagnostics: Der MSE und der Cosinus-Fehler für das Geschwindigkeitsfeld nahmen für VLA-Modelle konsistent in Richtung des Rausch-Endpunkts ($\tau=1$) ab, während CIFAR-10 Flows die geringsten Fehler nahe der Mitte der Trajektorie zeigten.

Bedeutung und Behauptungen

Das Paper behauptet, dass die Intuition, die viele Denoising-Schritte für nützliche VLA-Aktionen erfordert, durch die spezifische Natur der Aktionsgenerierung herausgefordert wird. Da das Target ein kompakter Action-Chunk ist, der auf reichhaltigen multimodalen Inputs basiert, ist die bedingte Verteilung oft einfach genug, um in einem einzigen Schritt kollabiert zu werden.

Die Autoren kommen zu dem Schluss, dass eine starke One-Step-VLA-Aktionsgenerierung aus Standard-Diffusion-Training hervorgehen kann, indem man die Trainingszeitverteilung einfach zu Zuständen mit hohem Rauschen verschiebt. Dieser Ansatz vermeidet den Import der vollen Few-Step-Diffusion-Maschinerie (Distillation, Consistency Models, Teacher-Modelle), die für die Bildgenerierung entwickelt wurde. Das Paper legt nahe, dass VLA-Entwickler, bevor sie komplexe Sampling-Strategien adoptieren, zuerst die Condition-Target-Struktur der Aktionsgenerierung berücksichtigen sollten, da ein einfacher High-Noise-Schedule konkurrenzfähige oder sogar überlegene Ergebnisse mit deutlich reduzierter Inferenzlatenz liefern kann.

Das Paper bleibt hinsichtlich der theoretischen Erklärung bescheiden und stellt fest, dass die Velocity-Field-Diagnostik die Hypothese zwar stützt, der präzise Grund, warum die One-Step-Dekodierung in diesem Regime die Multi-Step-Dekodierung übertreffen kann, jedoch weitgehend intuitiv bleibt. Zudem ist der optimale Shift-Parameter ($\alpha$) für neue Horizonte oder Bedingensätze noch nicht vollständig verstanden.