Technische Zusammenfassung: Hybrides Training für Vision-Language-Action-Modelle

Problemstellung

Vision-Language-Action (VLA)-Modelle haben sich als vielversprechender Ansatz für die allgemeine Robotersteuerung etabliert, indem sie große vortrainierte Vision-Language-Modelle (VLMs) nutzen, die auf robotischen Datensätzen feinabgestimmt wurden. Es besteht jedoch ein erheblicher Engpass zwischen Leistung und Inferenzeffizienz. Kürzlich entwickelte Strategien, wie etwa Embodied Chain-of-Thought (ECoT), verbessern die Leistung, indem sie Modelle trainieren, vor der Ausführung von Aktionen intermediate linguistische „Gedanken" (Schlussfolgerungsspuren) zu generieren. Obwohl diese Zwischenausgaben die Planung und Generalisierung des Agents verbessern, erhöhen sie die Inferenzlatenz erheblich. In der realen robotischen Manipulation, bei der Aufgaben lange Aktionssequenzen erfordern, wirkt sich diese Verzögerung negativ auf die Benutzerfreundlichkeit und die Steuerungsfrequenz aus.

Die zentrale Frage, die in dieser Arbeit behandelt wird, lautet: Ist die Generierung langer Denkketten eine strikte Voraussetzung für Leistungsverbesserungen in VLAs? Die Autoren hypothesieren, dass die Leistungssteigerungen durch CoT nicht aus der Generierung von Gedanken zur Laufzeit resultieren, sondern aus der Internalisierung von Schlussfolgerungsmustern während des Trainings. Sie schlagen vor, dass Modelle eine „fertige Intuition" (analog zum System-1-Denken in der menschlichen Kognition) entwickeln können, die es ihnen ermöglicht, Aktionen direkt mit hoher Genauigkeit vorherzusagen, nachdem sie während der Trainingsphase aus Schlussfolgerungsspuren gelernt haben.

Methodik: Hybrides Training (HyT)

Die Arbeit stellt Hybrid Training (HyT) vor, ein Framework, das entwickelt wurde, um VLAs zu ermöglichen, aus Schlussfolgerungsspuren zu lernen, während sie gleichzeitig die Fähigkeit behalten, schnelle, direkte Aktionsinferenzen durchzuführen.

Kernkonzept

HyT behandelt das VLA als ein einzelnes Modell, das in der Lage ist, mehrere bedingte Verteilungen basierend auf einer Modusvariable ($m$) zu lernen. Anstatt separate Modelle für „Denken" (ECoT) und „Handeln" (Standard-VLA) zu trainieren, optimiert HyT gemeinsam einen einzigen Parametersatz ($\theta$), um drei verschiedene Modi zu handhaben:

1. Aktions-Modus ($m_a$): Das Modell sagt Aktionen direkt voraus, bedingt nur durch die Beobachtung und die Aufgabenbeschreibung ($p(a_t | x_t, l)$). Dies imitiert die Standard-VLA-Inferenz.
2. Denk-Modus ($m_\tau$): Das Modell sagt zunächst intermediate Gedanken ($\tau_t$) voraus und dann Aktionen, bedingt durch diese Gedanken ($p(a_t, \tau_t | x_t, l)$), ähnlich wie ECoT.
3. Folge-Modus ($m_f$): Das Modell sagt Aktionen voraus, bedingt durch bereitgestellte Gedanken/Anweisungen aus einer externen Quelle (z. B. ein Mensch oder ein Orakel) und fungiert als Low-Level-Policy in einem hierarchischen System ($p(a_t | x_t, \tau_t, l)$).

Trainingsziel

Das Trainingsziel wird als gewichtete Summe der negativen Log-Likelihood-Verluste für jede Verteilung formuliert:
$$\min_{\theta} \mathcal{L}_{hyt}(\theta) = w_\alpha \mathcal{L}_{act}(\theta) + w_\tau \mathcal{L}_{think}(\theta) + w_f \mathcal{L}_{follow}(\theta)$$

Um eine Verringerung der Batch-Variabilität zu vermeiden (was eintreten würde, wenn jeder Datenpunkt alle drei Modi enthalten würde), verwenden die Autoren eine Monte-Carlo-Schätzung. Während des Trainings werden für jeden Batch Eingaben und Ausgaben entsprechend den durch die Koeffizienten ($w_\alpha, w_\tau, w_f$) definierten Wahrscheinlichkeiten vom Modell gesampelt. In den Experimenten verwenden die Autoren die Koeffizienten $\{w_\alpha: 0,25, w_\tau: 0,5, w_f: 0,25\}$, wobei die „Denk"-Verteilung priorisiert wird, um das Lernsignal aus den Schlussfolgerungsspuren zu maximieren.

Inferenzflexibilität

Zur Laufzeit wird die Modusvariable explizit gesetzt, um das Verhalten des Modells zu steuern:

• Standard (Aktionsmodus): Das Modell wird mit $m = \langle act \rangle$ instruiert, um Aktionen direkt auszugeben. Dies behält die Inferenzgeschwindigkeit von Standard-VLAs bei (ca. 3 Hz auf A100-GPUs), während es von den während des Trainings internalisierten Kenntnissen profitiert.
• Alternative Modi: Das Modell kann in den „Denk"-Modus umgeschaltet werden, um Interpretierbarkeit zu gewährleisten, oder in den „Folge"-Modus, um feinkörnige Anweisungen auszuführen, die von einem Orakel oder einem Menschen bereitgestellt werden.

Hauptbeiträge

1. HyT-Framework: Eine neuartige Trainingsstrategie, die das Standard-VLA-Training, ECoT und das hierarchische Befolgen von Anweisungen in einer einzigen Modellarchitektur vereint.
2. Entkopplung von Training und Inferenz: Der Nachweis, dass Modelle während des Trainings aus Schlussfolgerungsspuren (CoT) lernen können, aber während der Inferenz Aktionen direkt ausführen, wodurch der Schlussfolgerungsprozess effektiv in die internen Repräsentationen des Modells „destilliert" wird, ohne Inferenzlatenz zu verursachen.
3. Flexible Inferenzmodi: Die Fähigkeit, innerhalb desselben Modells dynamisch zwischen direkter Aktionsvorhersage, Generierung von Gedanken und Befolgen von Anweisungen zu wechseln, was einen Kompromiss zwischen Geschwindigkeit und Interpretierbarkeit bietet.
4. Empirische Validierung: Umfassende Evaluierung über simulierte Benchmarks (ClevrSkills, LIBERO) und reale robotische Aufgaben (UFactory xArm 6).

Experimentelle Ergebnisse

Simulierte Benchmarks

• ClevrSkills: HyT-trainierte Modelle schnitten bei Standard-VLAs durchweg besser ab und übertrafen im Allgemeinen ECoT- und hierarchische (HiRobot)-Benchmarks über alle Datensatzgrößen hinweg (300 bis 3000 Demonstrationen). Bemerkenswert ist, dass HyT die signifikantesten Verbesserungen bei komplexen, langfristigen Aufgaben zeigte.
  • Inferenzgeschwindigkeit: HyT und Standard-VLAs erreichten ~3 Hz, während ECoT dreimal langsamer und HiRobot viermal langsamer war.
  • Dateneffizienz: HyT-Modelle, die auf kleinen Datensätzen (300 Demos) trainiert wurden, zeigten eine überlegene Leistung im Vergleich zu Benchmarks, was darauf hindeutet, dass die „Denk"-Verteilung ein starkes Lernsignal bietet, wenn Daten knapp sind.
• LIBERO: In Kombination mit dem OFT-Rezept (Optimized Fine-Tuning) erreichte HyT State-of-the-Art-Ergebnisse, insbesondere in den „Goal"- und „Long"-Aufgabensuiten, und übertraf andere CoT-basierte und Standard-VLA-Ansätze.

Experimente in der realen Welt

• Setup: Die Experimente wurden an einem UFactory xArm 6 mit einem Zwei-Finger-Greifer durchgeführt.
• Leistung: HyT übertraf die OpenVLA-Baseline signifikant und erreichte eine Gesamterfolgsrate von 63 % im Vergleich zu 41 % für OpenVLA.
• Generalisierung: Der Leistungsunterschied war bei Out-of-Distribution (OOD)-Aufgaben am ausgeprägtesten (54 % vs. 29 %), was darauf hindeutet, dass HyT die Fähigkeit des Modells verbessert, sich auf neue Objektanordnungen und Szenarien zu verallgemeinern.
• Qualitative Analyse: HyT-Modelle zeigten eine höhere Präzision beim Erreichen von Pick-and-Place-Positionen und weniger Fehler bei der Objektauswahl im Vergleich zu OpenVLA.

Ablationsstudien

• Koeffizienten: Die „Denk"-Verteilung wurde als kritisch für kleine Datensätze befunden, während die „Folge"-Verteilung die Leistung verbesserte, wenn das Modell angewiesen war, externen Orakelanweisungen zu folgen.
• Inferenzmodi: In den bewerteten Settings lieferten die Modi „Aktionsmodus" und „Denkmodus" ähnliche Leistungen, was die Hypothese stützt, dass die Generierung intermedier Gedanken zur Laufzeit für primitive Manipulationsaufgaben nicht strikt notwendig ist.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass der primäre Nutzen von CoT-Techniken in VLAs darin besteht, die gelernten Repräsentationen des Modells zu verbessern, anstatt als obligatorischer Zwischenschritt während der Ausführung zu dienen. Durch die Internalisierung von Schlussfolgerungsmustern entwickelt das Modell eine „Expertise-Intuition", die eine robuste Steuerung mit hoher Frequenz ermöglicht.

Die Autoren positionieren HyT als skalierbare Lösung, die die Lücke zwischen leistungsstarker Schlussfolgerung und Echtzeit-Robotersteuerung schließt. Sie argumentieren, dass zwar komplexe Aufgaben, die fortschrittliches Gedächtnis oder Schlussfolgerungen erfordern, möglicherweise immer noch von CoT zur Laufzeit profitieren, viele Standard-Manipulationsaufgaben jedoch durch die Nutzung von HyT mit niedrigen Inferenzkosten robust gelöst werden können. Das Framework bietet einen praktischen Weg zur Bereitstellung hochleistungsfähiger VLAs in realen Umgebungen, in denen Latenz kritisch ist, ohne die Generalisierungsvorteile des schlussfolgerungsbasierten Trainings zu opfern.