💻 computer science

DyGRO-VLA: Cross-Task Scaling of Vision-Language-Action Models via Dynamic Grouped Residual Optimization

Dieser Beitrag stellt DyGRO-VLA vor, ein zweistufiges Optimierungsframework, das die Generalisierbarkeit von Vision-Language-Action-Modellen über Aufgaben hinweg verbessert, indem es latente darstellungen übergreifend erfasst und die Politikoptimierung durch eine Mischung von RL-Residuen dynamisch verfeinert, wodurch Interferenzen gemildert und die Leistung unter Verteilungsverschiebungen gesteigert werden.

Ursprüngliche Autoren: Sixu Lin, Yunpeng Qing, Litao Liu, Ming Zhou, Ruixing Jin, Xiaoyi Fan, Guiliang Liu

Veröffentlicht 2026-05-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Sixu Lin, Yunpeng Qing, Litao Liu, Ming Zhou, Ruixing Jin, Xiaoyi Fan, Guiliang Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einen Roboter zum „Allrounder" zu erziehen. Sie möchten, dass er kochen, putzen, einen undichten Wasserhahn reparieren und ein Regal bauen kann, und zwar alles mit demselben Gehirn. Dies ist das Ziel von VLA-Modellen (Vision-Language-Action): Roboter, die sehen, Sprache verstehen und ihre Arme bewegen können, um Dinge zu tun.

Doch es gibt ein großes Problem. Wenn Forscher versuchen, diese Roboter mithilfe von Reinforcement Learning (RL) zu verbessern – einer Methode, bei der der Roboter durch Versuch und Irrtum lernt und für Erfolg eine „Belohnung" erhält –, stoßen sie häufig auf ein Paradoxon.

Das Problem: Die „Spezialisten"-Falle

Stellen Sie sich das Gehirn des Roboters als Bibliothek des Wissens vor. Wenn Sie es zunächst trainieren, lernt es allgemeine Regeln (wie „Greife das Objekt"). Doch sobald Sie RL einsetzen, um ihm eine spezifische Aufgabe beizubringen, etwa „rote Blöcke stapeln", konzentriert sich der Roboter so sehr auf diesen einen Job, dass er beginnt, seine eigene Bibliothek umzuschreiben.

Es ist wie ein Schüler, der so hart für eine Matheprüfung lernt, dass er vergisst, wie man liest. Die Arbeit bezeichnet dies als „Katastrophales Vergessen".

Der alte Weg: Wenn Sie den Roboter auf 10 verschiedene Aufgaben trainieren, wird er gut in einer, vergisst aber die anderen neun. Je mehr Aufgaben Sie hinzufügen, desto schlechter wird er insgesamt. Es ist, als würden Sie versuchen, 20 Bälle jonglieren; irgendwann lassen Sie sie alle fallen, weil Ihr Gehirn versucht, in zu vielen Dingen gleichzeitig ein Spezialist zu sein.

Die Lösung: DyGRO-VLA

Die Autoren schlagen eine neue Methode namens DyGRO-VLA vor. Um zu verstehen, wie sie funktioniert, stellen Sie sich einen Meisterkoch vor, der eine belebte Küche leitet.

Stufe 1: Der „Meisterkoch" (Offline-Vorabtraining)

Zuerst lernt der Roboter aus einer riesigen Bibliothek von Videos, die Menschen bei allen möglichen Aufgaben zeigen.

Der Trick: Anstatt jedes Video einfach auswendig zu lernen, lernt der Roboter, das „Rauschen" herauszufiltern. Er ignoriert Dinge, die für die Bewegung irrelevant sind (wie die Farbe der Wände oder die Beleuchtung), und konzentriert sich nur auf die wesentlichen Informationen (wo die Tasse ist, wie schwer sie ist).
Die Analogie: Dies ist wie der Meisterkoch, der die Grundlagen des Kochens lernt. Er lernt, dass „Hitze Käse schmelzen lässt" und „Messer schneiden", unabhängig davon, ob er Pizza oder Suppe zubereitet. Dies schafft ein gemeinsames Fundament, das für alles funktioniert.

Stufe 2: Das „Spezialistenteam" (Online-Feinabstimmung)

Jetzt muss der Roboter in der realen Welt bei spezifischen Aufgaben besser werden. Anstatt das Gehirn des Meisterkochs umzuschreiben, fügt DyGRO-VLA ein Team spezialisierter Assistenten hinzu (genannt „Residual-Experten").

Wie es funktioniert: Der Meisterkoch (das Basismodell) macht eine Vorhersage, was zu tun ist. Dann schaut ein „Router" (wie ein Küchenchef) auf die aktuelle Aufgabe und fragt: „Wer ist der beste Assistent für diesen spezifischen Job?"
- Wenn die Aufgabe „Schüsseln stapeln" ist, ruft der Router den „Stapel-Assistenten".
- Wenn die Aufgabe „einen Nagel einschlagen" ist, ruft der Router den „Hammer-Assistenten".
Die Magie: Diese Assistenten machen nur kleine Korrekturen (Residuen) zum Plan des Meisterkochs. Sie schreiben das ganze Buch nicht um; sie fügen nur einen Haftnotiz hinzu mit der Aufschrift: „Bewege deine Hand 2 Zoll nach links."
Warum es hilft: Da das Gehirn des Meisterkochs größtenteils unberührt bleibt, vergisst der Roboter nicht, wie man die anderen Aufgaben erledigt. Der „Stapel-Assistent" stört den „Hammer-Assistenten" nicht. Sie arbeiten zusammen, ohne sich gegenseitig in die Quere zu kommen.

Die Ergebnisse

Die Forscher testeten dies an zwei großen Roboter-Herausforderungen:

LIBERO: Eine digitale Testsuite mit 130 verschiedenen Aufgaben (wie das Bewegen von Objekten, Stapeln und lange Aktionssequenzen).
RoboTwin2: Ein Test in der realen Welt mit einem Roboter mit zwei Armen.

Das Ergebnis:

Besser als der Rest: DyGRO-VLA schlug alle anderen Top-Methoden. Bei den schwierigsten Aufgaben (lange Aktionssequenzen) verbesserte es die Erfolgsraten um fast 10 %.
Erfolg in der realen Welt: Als sie den Roboter von der Computersimulation auf einen echten physischen Roboter übertrugen, performte er immer noch besser als die Konkurrenz und schloss Aufgaben wie das Aufheben von Flaschen und das Stapeln von Schüsseln erfolgreich ab.

Zusammenfassung

Einfach ausgedrückt: Bisherige Methoden versuchten, den Roboter zu einem „Super-Spezialisten" für jede einzelne Aufgabe zu machen, was dazu führte, dass er alles andere vergaß. DyGRO-VLA hält den Roboter als „Generalisten" (den Meisterkoch) und stellt einfach ein dynamisches Team von Spezialisten ein, das nur bei Bedarf hilft. Auf diese Weise wird der Roboter in allem besser, ohne zu vergessen, wie man etwas anderes tut.

Technische Zusammenfassung: DyGRO-VLA

1. Problemstellung

Die Arbeit adressiert einen kritischen Skalierbarkeitsengpass beim Training von Vision-Language-Action (VLA)-Modellen für generalistische Roboter-Manipulation. Während jüngste Fortschritte im Reinforcement Learning (RL) die Kontrollpräzision und Erfolgsraten für einzelne Aufgaben verbessert haben, führt die Anwendung von RL nach dem Training in Multi-Task-Szenarien häufig zu katastrophalem Vergessen und Aufgabenübergreifenden Interferenzen.

Eine empirische Analyse am LIBERO-Benchmark zeigt, dass sich die Leistung standardmäßiger RL-Optimierer (z. B. Soft Actor-Critic) verschlechtert, sobald die Anzahl der Aufgaben steigt. Konkret:

Repräsentationsverzerrung: Das Feinabstimmen mittels Single-Task-RL verzerrt den während des Pre-Trainings erlernten gemeinsamen Merkmalsraum, isoliert aufgaben spezifische Erfahrungen und verringert die Ausrichtung mit anderen Aufgaben.
Leistungsverschlechterung: Modelle, die für spezifische Aufgaben optimiert wurden, leiden oft unter signifikanten Leistungseinbußen bei nicht verwandten Aufgaben, und das Multi-Task-RL-Training wird mit wachsender Aufgabenanzahl zunehmend instabil.
Der Zielkonflikt: Es besteht ein fundamentaler Konflikt zwischen dem Erreichen hoher Geschicklichkeit bei spezifischen Aufgaben und der Aufrechterhaltung der aufgabenübergreifenden Generalisierbarkeit, die für generalistische Roboter erforderlich ist.

2. Methodik: DyGRO-VLA

Um den Zielkonflikt zwischen Geschicklichkeit und Generalisierbarkeit zu lösen, schlagen die Autoren DyGRO-VLA (Dynamic Grouped Residual Optimization) vor, ein zweistufiges Optimierungsframework.

Stufe 1: Offline-Pre-Training mit Informationsflaschenhals (IB)

Die erste Stufe konzentriert sich auf das Erlernen einer robusten, gemeinsamen aufgabenübergreifenden latenten Darstellung $p(z|o)$ aus Offline-Demonstrationen.

Architektur: Es wird ein VLM-Rückgrat (DINOv2, SigLIP, Qwen2.5-0.5B) verwendet, um visuelle Beobachtungen und Sprachanweisungen zu kodieren, die mit propriozeptiven Daten fusioniert werden.
Ziel: Das Modell wird mit einem Variational Information Bottleneck (VIB)-Ziel trainiert. Das Ziel ist es, die gegenseitige Information zwischen der latenten Darstellung $Z$ und der Aktion $A$ ( $I(Z; A)$ ) zu maximieren und gleichzeitig die gegenseitige Information zwischen der Beobachtung $O$ und $Z$ ( $I(O; Z)$ ) zu minimieren.
Mechanismus: Dies zwingt den Encoder, nur aufgabenrelevante Informationen (z. B. Objektgeometrie, räumliche Beziehungen) zu behalten und Störfaktoren (z. B. Hintergrundunordnung, Beleuchtung) zu verwerfen, wodurch ein kompakter latenter Raum entsteht, der für Generalisierung geeignet ist.
Verlust: Eine untere Variationsgrenze wird abgeleitet, um das IB-Ziel handhabbar zu machen; dies beinhaltet einen neuronalen Kritiker $T_\psi$ zur Schätzung der gegenseitigen Informationsterme.

Stufe 2: Online-Feinabstimmung via Mixture-of-RL-Residuals (MoRR)

Die zweite Stufe optimiert die Policy für Multi-Task-Leistung, ohne die in Stufe 1 erlernte gemeinsame Darstellung zu stören.

Residual Learning: Anstatt die Basis-Policy direkt zu aktualisieren, sagt der RL-Optimierer ein Residuum ( $\Delta a$ ) voraus, um den Basis-Aktions-Chunk ( $a_{base}$ ) zu verfeinern. Dies bewahrt den vortrainierten Prior, erlaubt jedoch aufgabenspezifische Korrekturen.
Dynamisches Routing (MoE): Um mehrere Aufgaben zu bewältigen, verwendet das Framework eine Mixture-of-Experts (MoE)-Architektur mit $N$ $N$ Residuum-Experten.
- Task-Embeddings: Ein kontrastives Lernziel ( $L_{CL}$ ) lernt Task-Embeddings ( $\tilde{z}_T$ ), die Aufgaben-Identifikationsmuster kodieren, die sich von der entscheidungsrelevanten latenten Variable $z$ unterscheiden.
- Router: Ein Gating-Netzwerk konditioniert auf das Task-Embedding, um dynamisch die Top- $m$ -Experten für eine gegebene Aufgabe auszuwählen und zu gewichten.
Trainingsziele: Der Gesamtverlust kombiniert:
1. RL-Verlust ( $L_{RL}$ ): Standard Actor-Critic-Verlust für die augmentierte Policy.
2. Kontrastiver Verlust ( $L_{CL}$ ): Stellt sicher, dass Task-Embeddings für das Routing diskriminativ sind.
3. Lastausgleich ( $L_{LB}$ ): Ein entropiebasiertes Regularisierungsmittel, um das Kollabieren von Experten zu verhindern und eine ausgewogene Nutzung der MoE sicherzustellen.
Schwierigkeitsbewusstes Sampling: Der Trainingsprozess verzerrt das Sampling hin zu untergelösten Aufgaben, um das Lernen auf herausfordernde Szenarien zu fokussieren.

3. Hauptbeiträge

Analyse der RL-Limitationen: Die Arbeit liefert empirische Belege, die zeigen, dass standardmäßiges RL-Post-Training in Multi-Task-VLA-Szenarien zu katastrophalem Vergessen und Repräsentationsverzerrung führt, und unterstreicht die Notwendigkeit der Erhaltung aufgabenübergreifender Merkmale.
DyGRO-VLA-Framework: Einführung eines neuartigen zweistufigen Frameworks, das Informationsflaschenhals-Pre-Training mit einem dynamischen Mixture-of-RL-Residuals für Online-Feinabstimmung kombiniert.
Dynamische gruppierte Optimierung: Das Design eines Routing-Mechanismus, der spezialisierte RL-Experten basierend auf Task-Embeddings dynamisch zusammensetzt und so Gradientenkonflikte zwischen diversen Aufgaben effektiv mindert.
Umfassende Validierung: Ausführliche Evaluierung über LIBERO (130 Aufgaben), RoboTwin2 (Dual-Arm) und reale Sim2Real-Transfer, die konsistente Verbesserungen gegenüber State-of-the-Art-Baselines demonstrieren.

4. Experimentelle Ergebnisse

Die Autoren evaluierten DyGRO-VLA auf den Benchmarks LIBERO und RoboTwin2 und verglichen es mit starken Baselines, darunter Octo, OpenVLA, $\pi_0$ und verschiedene RL-Feinabstimmungsmethoden.

LIBERO-Benchmark:
- DyGRO-VLA erreichte eine 97,1 % durchschnittliche Erfolgsrate über alle Suiten hinweg und übertraf das Offline-Basismodell um +4,4 %.
- Eine bemerkenswerte Verbesserung wurde bei der herausfordernden Suite LIBERO-Long beobachtet, wo die Erfolgsraten von 85,2 % auf 95,0 % stiegen (+9,8 % absoluter Gewinn).
- Es übertraf andere RL-basierte Baselines (z. B. TGRPO, VLA-RL, RIPT-VLA), die Schwierigkeiten mit dem Multi-Task-Co-Training hatten.
Analyse von Gradientenkonflikten: Visualisierungen der kosinussähnlichkeit von Gradienten zeigten, dass während standardmäßige MLP-Residuen starke negative Korrelationen (Konflikte) zwischen Aufgabengruppen aufweisen, MoRR von DyGRO-VLA diese Konflikte erheblich reduzierte, während die Synergie innerhalb der Gruppen erhalten blieb.
Ablationsstudien:
- Das Entfernen des IB-Ziels oder des kontrastiven Lernziels führte zu Leistungseinbußen und bestätigte die Notwendigkeit des Erlernens gemeinsamer Repräsentationen und diskriminativen Routings.
- Die Erhöhung der Anzahl der Experten (von 1 auf 8) verbesserte die Leistung konsistent, wobei 8 Experten die besten Ergebnisse erzielten.
Realwelt (RoboTwin2):
- Beim Sim2Real-Transfer erreichte DyGRO-VLA die beste Gesamtsimulationserfolgsrate (79,2 %) und übertraf RFT-Baselines in realen Versuchen, insbesondere bei komplexen beidhändigen und langfristigen Aufgaben.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass DyGRO-VLA eine skalierbare und robuste Lösung für effizientes Multi-Task-Reinforcement-Feinabstimmen bietet. Ihre primäre Bedeutung liegt in:

Erhaltung der Generalisierung: Durch die Entkopplung des Erlernens gemeinsamer Repräsentationen von der aufgabenspezifischen Verfeinerung via Residual Learning verhindert sie das „Overfitting" von RL-Optimierern, das typischerweise das Multi-Task-VLA-Training plagt.
Überbrückung der Lücke: Sie überbrückt erfolgreich die Lücke zwischen hochleistungsfähiger Single-Task-Steuerung und den Generalisierungsfähigkeiten, die für generalistische Roboter erforderlich sind.
Praktische Anwendbarkeit: Die Methode zeigt, dass komplexe Multi-Task-RL-Policies effektiv auf reale Robotersysteme übertragen werden können, ohne katastrophales Vergessen.

Die Autoren räumen Limitationen ein, darunter die Empfindlichkeit gegenüber Reward-Sparsität während des Online-Trainings, die Abhängigkeit von bekannten Aufgabenidentitäten für das Routing und die Notwendigkeit einer breiteren realen Evaluierung über diverse Embodiments hinweg. Dennoch positionieren sie DyGRO-VLA als einen grundlegenden Schritt hin zu allgemeinen Robotersystemen, die in der Lage sind, diverse reale Aufgaben mit einem einheitlichen Modell zu bewältigen.