💻 computer science

MergeVLA: Cross-Skill Model Merging Toward a Generalist Vision-Language-Action Agent

Die Arbeit stellt MergeVLA vor, eine neuartige Architektur für Vision-Language-Action-Agenten, die durch spezialisierte, spärlich aktivierte LoRA-Adapter und Cross-Attention-Blöcke die bisherige Unvereinbarkeit beim Zusammenführen von VLA-Experten für verschiedene Fähigkeiten überwindet und so robuste Generalisierung über mehrere Aufgaben und Roboterplattformen hinweg ermöglicht.

Ursprüngliche Autoren: Yuxia Fu, Zhizhen Zhang, Yuqi Zhang, Zijian Wang, Zi Huang, Yadan Luo

Veröffentlicht 2026-03-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yuxia Fu, Zhizhen Zhang, Yuqi Zhang, Zijian Wang, Zi Huang, Yadan Luo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du hast einen genialen Koch, der in einer Küche arbeitet. Dieser Koch ist ein Vision-Language-Action (VLA) Modell. Er kann sehen (Vision), verstehen, was du sagst (Language), und dann die Hände bewegen, um zu kochen (Action).

Das Problem ist: Wenn du diesen Koch nur darauf trainierst, perfekte Pizza zu machen, wird er ein Weltmeister in der Pizza-Herstellung. Wenn du ihn aber trainierst, perfekte Sushi zu machen, wird er ein Sushi-Meister.

Aber was passiert, wenn du versuchst, diese beiden Meisterköche in einen einzigen Koch zu verwandeln, der beides gleichzeitig kann?

In der Robotik-Welt war das bisher ein Albtraum. Wenn man zwei solcher KI-Modelle einfach "zusammenmixte" (wie zwei Farben auf einer Palette), entstand ein grauer, unbrauchbarer Brei. Der Roboter vergaß alles, was er gelernt hatte, und fiel auf Null Punkte zurück.

Die Forscher aus der Studie MergeVLA haben herausgefunden, warum das passiert, und eine clevere Lösung gefunden. Hier ist die Erklärung, ganz einfach und mit ein paar Bildern im Kopf:

1. Das Problem: Warum das "Zusammenmixen" scheiterte

Stell dir vor, du hast zwei verschiedene Kochbücher.

Buch A (Pizza): Sagt: "Mehlschüssel links, Ofen heiß."
Buch B (Sushi): Sagt: "Reis links, Fisch rechts."

Wenn du die Seiten einfach zusammenklebst (das ist das, was frühere Methoden taten), entsteht ein Chaos. Der Koch weiß nicht mehr, wo der Reis liegt, weil die Anweisungen sich widersprechen.

Die Forscher fanden zwei Hauptgründe für dieses Chaos:

Der "Koch-Kopf" (Das Sprachmodell): Die KI hat gelernt, dass "links" bei Pizza etwas anderes bedeutet als bei Sushi. Wenn man die Modelle mischt, geraten diese Anweisungen durcheinander.
Der "Koch-Arm" (Der Aktions-Experte): Das ist der Teil, der die Hände bewegt. Bei den alten Modellen hatte dieser Arm ein "Gedächtnis", das alles durcheinanderbrachte. Er verknüpfte die Pizza-Anweisungen mit den Sushi-Anweisungen auf eine Weise, die sich nicht trennen ließ. Es war, als würde der Koch versuchen, Pizza und Sushi gleichzeitig mit derselben Handbewegung zu machen – das funktioniert nicht.

2. Die Lösung: MergeVLA – Der "Schlaue Koch"

Die Forscher haben einen neuen Koch entworfen, der von Grund auf so gebaut ist, dass er verschiedene Fähigkeiten behalten kann, ohne sich zu verirren. Sie nennen das MergeVLA.

Hier sind die drei genialen Tricks, die sie angewendet haben:

Trick 1: Der "Spezialisten-Hut" (Task Masks)

Stell dir vor, unser Koch hat einen Schrank voller Hüte.

Der Pizza-Hut aktiviert nur die Anweisungen für Pizza.
Der Sushi-Hut aktiviert nur die Anweisungen für Sushi.

Wenn der Koch Pizza machen soll, setzt er den Pizza-Hut auf. Dann ignoriert er alle Sushi-Anweisungen im Buch, die ihn verwirren könnten. Er nutzt nur die Teile des Wissens, die für die Pizza wichtig sind, und blendet den Rest aus. So bleibt das Wissen sauber und getrennt, auch wenn es in einem einzigen Buch (Modell) steht.

Trick 2: Der "Entwirrte Arm" (Neues Design)

Der alte Koch-Arm hatte einen Mechanismus, der alles durcheinanderwirbelte (Selbst-Aufmerksamkeit). Der neue Koch-Arm wurde umgebaut.

Er schaut sich nur an, was der "Kopf" (das Sprachverständnis) sagt.
Er macht keine eigenen, verwirrenden Gedanken mehr über die Vergangenheit.
Das macht ihn viel flexibler. Man kann die unteren Teile des Arms (die Grundlagen) einfach für alle Aufgaben mischen, weil sie stabil bleiben. Nur die allerletzten Bewegungen (das "Spitzen-Handwerk") bleiben getrennt, damit die Pizza knusprig und das Sushi frisch bleibt.

Trick 3: Der "Kellner" (Test-Time Task Router)

Was passiert, wenn der Koch nicht weiß, was du bestellen willst? Du sagst nur: "Ich habe Hunger."
Der alte Roboter wäre ratlos. Der neue Roboter hat einen Kellner an der Tür.

Der Kellner schaut auf deine Bestellung (die Bilder und den Text).
Er sagt sofort: "Aha, das klingt nach Sushi!"
Dann zieht der Koch den Sushi-Hut auf und nutzt den Sushi-Arm.
Alles passiert in Sekundenbruchteilen, ohne dass der Koch neu lernen muss.

3. Das Ergebnis: Ein echter "Allrounder"

Dank dieser Tricks haben die Forscher gezeigt, dass man einen einzigen Roboter bauen kann, der:

Verschiedene Aufgaben kann (z. B. Würfel stapeln, schieben, greifen).
Mit verschiedenen Robotern funktioniert (z. B. mit einem langen Arm oder zwei Armen).
Auch dann noch funktioniert, wenn sich die Umgebung ändert (z. B. andere Lichtverhältnisse oder andere Farben der Objekte).

Zusammenfassend:
Statt viele kleine, spezialisierte Roboter zu bauen, die man nicht mischen kann, haben die Forscher einen universellen Roboter gebaut. Er trägt einen "Hut", der ihm sagt, welche Fähigkeit er gerade braucht, und hat einen Körper, der so gebaut ist, dass diese Fähigkeiten sich nicht gegenseitig stören.

Das ist ein riesiger Schritt hin zu einem echten "Allrounder-Roboter", der in unserer Welt wirklich mithalten kann – egal, ob er aufräumen, kochen oder reparieren soll.

1. Problemstellung

Vision-Language-Action (VLA) Modelle haben es Robotern ermöglicht, komplexe Manipulationsaufgaben durch das Fine-Tuning großer Vision-Language-Modelle (VLMs) mit robotischen Demonstrationsdaten zu erlernen. Während diese Modelle bei einzelnen Aufgaben oder Embodiments (Roboter-Körpern) gut funktionieren, scheitern sie bisher daran, multiskillige Fähigkeiten in einem einzigen Modell zu vereinen.

Das zentrale Problem ist das Model Merging (Zusammenführen von Modellen):

Wenn man mehrere spezialisierte VLA-Experten, die für unterschiedliche Aufgaben trainiert wurden, direkt zusammenführt (z. B. durch einfaches Gewichts-Averaging), bricht die Leistung ein und erreicht eine Erfolgsrate von nahezu 0 %.
Dies steht im Gegensatz zum erfolgreichen Merging in reinen Sprach- oder Vision-Modellen.
Die Autoren identifizieren zwei Hauptursachen für dieses Versagen:
1. Destruktive LoRA-Parameter-Interferenz: Das Fine-Tuning führt dazu, dass LoRA-Adapter im VLM-Rückgrat in divergente, aufgaben spezifische Richtungen driften. Diese Parameter sind oft „selbstsüchtig" (d. h. sie sind nur für eine Aufgabe nützlich und schaden anderen), was zu irreversiblen Konflikten führt.
2. Architektonische Inkompatibilität der Action-Experten: Die Action-Decoder (die die Roboterbewegungen generieren) nutzen oft Self-Attention. Durch Self-Attention über viele Blöcke hinweg akkumulieren sich aufgaben spezifische Abhängigkeiten global. Dies zerstört die Modularität und verhindert, dass die Schichten einfach gemittelt werden können.

2. Methodik: MergeVLA

Die Autoren stellen MergeVLA vor, eine Architektur, die von Grund auf so entworfen wurde, dass sie Merge-freundlich ist. Der Ansatz besteht aus drei Kernkomponenten:

A. Task-spezifisches Masking im VLM (Lösung der Parameter-Konflikte)

Um die destruktive Interferenz der LoRA-Adapter zu lösen, wird eine Task-Mask-Strategie eingeführt:

Statt einen globalen merged Update-Vektor zu verwenden, wird für jede Aufgabe eine binäre Maske ( $S_m$ ) erstellt.
Diese Maske selektiert nur die Parameter, die für die spezifische Aufgabe relevant sind, und unterdrückt Parameter, die Konflikte verursachen.
Die Maske wird durch einen Konsistenztest bestimmt: Ein Parameter wird nur behalten, wenn er signifikant für die spezifische Aufgabe ist und nicht im Widerspruch zum allgemeinen merged Vektor steht.
Dies erhält die vortrainierten visuell-sprachlichen Repräsentationen und verhindert das „Vergessen" von Wissen durch widersprüchliche Updates.

B. Neugestaltung des Action-Experts (Lösung der Architektur-Inkompatibilität)

Die Architektur des Action-Experts wird grundlegend geändert, um Modularität zu erzwingen:

Entfernung von Self-Attention: Alle Self-Attention-Schichten werden entfernt. Der Expert nutzt ausschließlich Cross-Attention, um Informationen vom VLM zu beziehen. Dies verhindert die Akkumulation aufgaben spezifischer Bias über die Schichten hinweg.
Aktivierungsfunktion: Die Tanh-Gating-Funktion wird durch eine Sigmoid-Funktion ersetzt, um sicherzustellen, dass Signale vom VLM immer erhalten bleiben und nicht durch negative Aktivierungen unterdrückt werden.
Hierarchisches Merging: Da die Action-Experten von Grund auf neu trainiert werden, gibt es keine gemeinsame Initialisierung.
- Die flachen Blöcke (frühe Schichten) können erfolgreich durch einfaches Gewichts-Averaging gemergt werden, da sie allgemeine Merkmale lernen.
- Die tiefen Blöcke (genannt Expert Head, meist der letzte Block) bleiben unmerged. Diese Schichten sind zu stark auf die spezifische Aufgabenverteilung spezialisiert. Jeder Task behält seinen eigenen „Head".

C. Test-Time Task Router (Inferenz ohne Task-ID)

In realen Szenarien ist die Aufgabenidentität zum Inferenzzeitpunkt oft unbekannt. MergeVLA nutzt einen training-freien Router:

Der Router analysiert die versteckten Zustände (Hidden States) des VLM basierend auf der initialen Beobachtung.
Er nutzt eine Singular Value Decomposition (SVD) der Value-Projektionsmatrizen im Action-Expert, um einen stabilen Unterraum für die Aufgabenidentifikation zu finden (Value-Projektionen sind robuster als Query/Key-Projektionen).
Der Router berechnet die Relevanz jeder Aufgabe und wählt automatisch die passende Task-Maske und den entsprechenden Expert-Head aus.

3. Wichtige Beiträge

Analyse des Scheiterns: Erste systematische Aufschlüsselung, warum VLA-Modelle nicht wie herkömmliche VLMs gemergt werden können (Aufdeckung der „selbstsüchtigen" LoRA-Parameter und der Self-Attention-Problematik).
MergeVLA-Architektur: Ein Design, das Mergeability durch Architektur-Änderungen (Cross-Attention-only, Sigmoid-Gating) und Masking-Strategien erzwingt.
Unsupervised Task Routing: Ein Mechanismus, der es dem gemergten Modell erlaubt, Aufgaben autonom zu erkennen und die richtigen Komponenten zu aktivieren, ohne zusätzliche Supervision.
Skalierbarkeit: Demonstration, dass ein einzelnes gemergtes Modell mehrere Fähigkeiten, Embodiments und Umgebungen beherrschen kann.

4. Ergebnisse

Die Methode wurde auf drei Simulations-Benchmarks und einem realen Roboter getestet:

LIBERO (Simulation): MergeVLA erreicht unter gemischten Aufgaben-Evaluierungen eine durchschnittliche Erfolgsrate von 90,2 % (mit TIES-Merging). Dies ist vergleichbar mit oder sogar besser als individuell fine-getunte Experten und deutlich höher als bei direkten Merging-Versuchen anderer Modelle (die bei 0 % lagen).
LIBERO-Plus (Robustheit): Unter verschiedenen Störungen (Veränderungen in Hintergrund, Beleuchtung, Sprachanweisungen) zeigt MergeVLA eine 13,4 % höhere Erfolgsrate als VLA-Adapter, was die überlegene Generalisierungsfähigkeit beweist.
RoboTwin (Cross-Embodiment): Das Modell wurde erfolgreich auf drei verschiedene Roboter-Arme (Aloha, ARX, Piper) übertragen, die unterschiedliche Aufgaben ausführen. Es erreichte eine Erfolgsrate von 70,7 % in komplexen Cross-Embodiment/Cross-Task-Szenarien.
Real-World (SO101 Roboterarm): Auf einem echten Roboterarm wurden Aufgaben wie „Würfeln packen", „schieben" und „stapeln" erfolgreich gemergt. Die gemergte Variante erreichte 90,0 % Erfolgsrate, was die Praxistauglichkeit unterstreicht.

5. Bedeutung und Fazit

Das Paper zeigt, dass Model Merging ein vielversprechender und skalierbarer Weg hin zu allgemeinen, embodied Agents ist. Bisher galt das Zusammenführen von VLA-Modellen als unmöglich aufgrund struktureller Konflikte. MergeVLA widerlegt dies, indem es die Architektur an die Anforderungen des Mergings anpasst.

Die Arbeit legt nahe, dass anstatt für jede neue Aufgabe ein riesiges, neues Modell trainieren zu müssen, man zukünftig kleine, spezialisierte Experten trainieren und diese effizient zu einem einzigen, robusten Generalisten zusammenführen kann. Dies reduziert den Rechenaufwand erheblich und ermöglicht Robotern, flexibel auf neue Umgebungen und Aufgaben zu reagieren, ohne dass die Task-Identität vorab bekannt sein muss.