💻 computer science

MergeVLA: Cross-Skill Model Merging Toward a Generalist Vision-Language-Action Agent

Het paper introduceert MergeVLA, een nieuw Vision-Language-Action-architectuur die door middel van gesparseerde LoRA-adapters en cross-attention-only blokken voor actie-experts de mogelijkheid creëert om gespecialiseerde modellen naadloos te samenvoegen tot een robuust generalist-agent dat presteert op niveau van individuele experts.

Oorspronkelijke auteurs: Yuxia Fu, Zhizhen Zhang, Yuqi Zhang, Zijian Wang, Zi Huang, Yadan Luo

Gepubliceerd 2026-03-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuxia Fu, Zhizhen Zhang, Yuqi Zhang, Zijian Wang, Zi Huang, Yadan Luo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot wilt bouwen die niet alleen één ding kan doen, maar een echte "alles-kunner" is. Hij moet kunnen koken, opruimen, blokken stapelen en zelfs de afwas doen.

In de wereld van robotica proberen onderzoekers dit te bereiken met VLA-modellen (Vision-Language-Action). Dit zijn slimme robots die kijken (visie), begrijpen wat je zegt (taal) en vervolgens hun armen laten bewegen (actie).

Het probleem is echter: als je een robot traint om alleen te koken, en een andere om alleen te stapelen, kun je ze niet zomaar "samenvoegen" tot één super-robot. Als je hun hersenen (de computercode) direct mixt, wordt de robot volledig verward en stopt hij met werken. Het is alsof je twee verschillende recepten voor een taart en een soep door elkaar haalt; het resultaat is een onsmakelijke soep-taart die niemand eet.

De onderzoekers van dit paper, MergeVLA, hebben een oplossing bedacht. Ze hebben ontdekt waarom die robots verwarren en hoe je ze toch kunt samenvoegen. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Egoïstische" Hersenen

Toen de onderzoekers keken naar de code van deze robots, ontdekten ze twee grote problemen:

Het Verwarde Brein (De VLM): De robot gebruikt een groot taalmodel (zoals een slimme chatbot) om te begrijpen wat er aan de hand is. Als je deze robot traint op koken, veranderen zijn hersenen heel specifiek voor koken. Als je hem daarna traint op stapelen, veranderen ze weer heel anders. Als je deze twee versies samenvoegt, vechten de hersencellen met elkaar. De ene zegt "pak de pan", de andere zegt "pak de blokken". Het resultaat is chaos.
- Analogie: Stel je voor dat je twee mensen hebt die allebei een eigen taal spreken. Als je ze probeert te laten samenwerken door hun woordenboeken te mixen, praten ze een onbegrijpelijke kreukeltaal.
De Verkeerde Route (De Actie-deel): Het deel van de robot dat de armen bestuurt, is vaak van nul af getraind. Het heeft zijn eigen "zenuwstelsel" opgebouwd dat heel specifiek is voor één taak. Als je dit door elkaar haalt, raken de signalen kwijt.
- Analogie: Het is alsof je de motor van een raceauto probeert te mixen met die van een vrachtwagen. Ze werken prima apart, maar samen blokkeren ze elkaar.

2. De Oplossing: MergeVLA (De Slimme Mix)

De onderzoekers hebben een nieuwe manier ontworpen om robots te bouwen die vanaf het begin gemaakt zijn om gemixt te worden. Ze noemen dit MergeVLA.

Hier zijn de drie slimme trucs die ze gebruiken:

A. De "Zaklamp" (Task Masks)

In plaats van alle hersenen van de robot te mixen, gebruiken ze een soort zaklamp (een masker).

Als de robot moet koken, schijnt de zaklamp alleen op de hersendelen die belangrijk zijn voor koken en dooft hij de rest uit.
Als hij moet stapelen, schijnt de zaklamp op de stapel-deel en dooft hij het kook-deel uit.
Waarom werkt dit? Hierdoor "vergeten" de hersenen niet wat ze al wisten, en botsen de instructies niet met elkaar. Het is alsof je in een bibliotheek alleen de boeken pakt die je nodig hebt, in plaats van alle boeken van alle talen door elkaar te gooien.

B. De "Stabiele Zenuwbanen" (Cross-Attention)

Ze hebben het deel van de robot dat de armen bestuurt, opnieuw ontworpen. In plaats van dat de robot naar zichzelf luistert (wat leidt tot verwarring), laten ze hem alleen kijken naar wat de "slimme taal-hersenen" zeggen.

Analogie: Stel je voor dat een chef-kok (de taal-hersenen) de instructies geeft, en de sous-chef (de arm) alleen luistert. De sous-chef maakt geen eigen plannen, maar voert alleen uit wat de chef zegt. Hierdoor is de sous-chef veel flexibeler en kan hij makkelijker van taak wisselen.

C. De "Slimme Portier" (Test-time Task Router)

Wat als je de robot voor een taak zet, maar je vertelt hem niet wat hij moet doen? Hoe weet hij dan of hij moet koken of stapelen?

MergeVLA heeft een portier die bij de ingang staat. Deze portier kijkt naar de situatie (bijvoorbeeld: "Oh, er staat een pan op het fornuis").
Op basis van dat beeld kiest de portier direct welke "zaklamp" en welke "arm-instructies" hij moet activeren.
Het mooie: De robot hoeft niet te leren welke taak het is; hij "raadt" het af op basis van wat hij ziet, zonder extra training.

3. De Resultaten: Een echte Alles-kunner

De onderzoekers hebben dit getest in simulaties en zelfs met een echte robotarm in het lab.

Resultaat: De gemixte robot werkt bijna net zo goed als robots die gespecialiseerd zijn in één taak.
Sterk punt: Als je de robot in een nieuwe omgeving zet (bijvoorbeeld met andere kleuren blokken of een andere camera-hoek), blijft hij werken. Hij is veel robuuster dan eerdere modellen.
Echte wereld: Ze hebben het zelfs getest op een echte robotarm (SO101) die blokken moest pakken, duwen en stapelen. De robot slaagde in 90% van de gevallen, zelfs als hij niet wist welke taak hij moest doen voordat hij begon.

Conclusie

Vroeger dachten we dat je voor elke robot-taak een aparte robot nodig had. Dit paper laat zien dat je een algemene robot kunt bouwen door slimme "mixtechnieken" te gebruiken.

Het is alsof je in plaats van tien verschillende gereedschapskisten (één voor hamers, één voor schroeven, één voor zagen) één magische gereedschapskist hebt. Je pakt eruit wat je nodig hebt, en de kist past zich automatisch aan. Dit maakt het mogelijk om in de toekomst één robot te hebben die je hele huis kan opruimen, koken en spelen, zonder dat je hem elke dag opnieuw hoeft te programmeren.

Probleemstelling

Recente Vision-Language-Action (VLA) modellen hebben robotagenten in staat gesteld complexe manipulatietaakken uit te voeren door grote Vision-Language Modellen (VLM) te fine-tunen met miljoenen robotdemonstraties. Hoewel deze modellen uitstekend presteren bij het fine-tunen voor één specifieke robotvorm (embodiment) of taakfamilie, blijft het uitbreiden naar multi-skill omgevingen een enorme uitdaging.

De kernproblemen zijn:

Mislukking van directe modelmerging: Als men probeert VLA-experts die zijn getraind op verschillende taken direct samen te voegen (bijvoorbeeld via gewogen gemiddelden), daalt het succespercentage naar bijna nul.
Structuur van niet-mergebaarheid: Er is een fundamenteel vraagstuk: wat verhindert dat VLAs meerdere vaardigheden binnen één model beheersen? Het paper identificeert twee hoofdoorzaken:
- Destructieve LoRA-interferentie: Fine-tuning duwt de LoRA-adapters in de VLM-ruggengraat (backbone) naar divergente, taakspecifieke richtingen. Bestaande mergemethoden kunnen deze tegenstrijdige parameters niet verenigen, waardoor gedeelde visueel-taal subruimtes worden beschadigd.
- Architectonische incompatibiliteit van Actie-experts: De actie-decoders (action experts) bouwen sterke taakspecifieke afhankelijkheden op via zelf-attentie (self-attention) feedback. Hierdoor verspreidt taakinformatie zich over de lagen, wat modulaire hercombinatie verhindert.

Methodologie: MergeVLA

De auteurs introduceren MergeVLA, een op merging gerichte VLA-architectuur die mergebaarheid bij ontwerp behoudt. De aanpak bestaat uit drie kerncomponenten:

1. Oplossing voor LoRA-conflicten in de VLM

Om de destructieve interferentie van LoRA-parameters op te lossen, introduceert MergeVLA sparsely activated LoRA-adapters via taakmaskers (task masks).

In plaats van één globaal gemergd update te gebruiken, wordt voor elke taak een binair masker ( $S_m$ ) toegepast.
Dit masker selecteert alleen de parameters die bijdragen aan de relevante respons voor die specifieke taak en onderdrukt parameters die andere taken verstoren.
Dit wordt bereikt door een consistentietest: een parameter wordt behouden als deze significant is voor de specifieke taak en dominant is ten opzichte van het gemergde residu. Hierdoor blijven de voorgeöorde visueel-taal representaties behouden.

2. Herontwerp van de Actie-expert

De auteurs identificeren dat de bestaande architectuur van actie-experts (zoals in VLA-Adapter) niet mergebaar is vanwege zelf-attentie lagen. MergeVLA herontwerpt deze component:

Verwijdering van Self-Attention: Alle self-attention lagen worden verwijderd. De expert vertrouwt uitsluitend op cross-attention, gedreven door de robuuste, gedeelde features van de VLM. Dit voorkomt dat taakspecifieke bias zich ophoopt in de diepere lagen.
Vervanging van de Gating-mechanisme: De oorspronkelijke tanh-gate (die signalen kan onderdrukken) wordt vervangen door een sigmoid-gate. Dit zorgt ervoor dat VLM-informatie altijd behouden en gebalanceerd blijft.
Specialisatiehiërarchie: Hoewel de lagere lagen van de actie-expert goed gemerged kunnen worden via gewogen gemiddelden, blijven de diepere lagen (de "expert head", meestal de laatste blok) te specifiek voor een taak. Deze worden daarom niet gemerged, maar als aparte koppen bewaard per taak.

3. Test-time Task Router (Zonder training)

Om te opereren zonder dat de taakidentiteit bekend is tijdens inferentie, wordt een training-free test-time task router gebruikt.

De router analyseert de interne hidden states van de VLM (voorafgaand aan de actie-expert).
Het projecteert deze states op de belangrijkste componenten (via SVD) van de waarde-projectie matrices ( $V$ ) van de gemerged actie-expert.
De router kiest de taak met de hoogste respons en activeert daarop het bijbehorende taakmasker en de specifieke expert head. Dit gebeurt volledig ongesuperviseerd op basis van de inputobservatie.

Kernbijdragen

Empirische Analyse: Een gedetailleerde decompositie van de oorzaken van niet-mergebaarheid in VLA-modellen, specifiek het onderscheid tussen VLM-conflicten en actie-expert-architectuurproblemen.
MergeVLA Architectuur: Een nieuw ontwerp dat self-attention verwijdert en taakmaskers implementeert om mergebaarheid te garanderen.
Ongeleide Taakroutering: Een methode om de juiste vaardigheid automatisch te selecteren op basis van input, zonder extra training of handmatige priors.
Scalabiliteit: Het bewijs dat modelmerging een haalbare route is naar algemene (generalist) embodied agents, in plaats van het trainen van enorme, monolithische modellen.

Resultaten

MergeVLA werd getest op diverse benchmarks, waaronder LIBERO, LIBERO-Plus, RoboTwin en een echte SO101-robotarm.

LIBERO (Multi-skill): MergeVLA bereikte een gemiddeld succespercentage van 90,2% onder een mixed-task evaluatie (waar de taak onbekend is), wat vergelijkbaar is met individueel gefinetuned experts en aanzienlijk beter dan bestaande merging-methoden (die vaak 0% halen).
Robuustheid (LIBERO-Plus): Onder visuele en taalkundige verschuivingen (zoals achtergrondtexturen, camera-hoeken, instructies) behaalde MergeVLA een succespercentage van 62,5%, wat aanzienlijk hoger is dan andere modellen en zelfs de individuele gefinetuned experts in sommige gevallen overtreft.
Cross-Embodiment (RoboTwin): De methode slaagde erin om vaardigheden over te dragen tussen verschillende robotvormen (Aloha, ARX-X5, Piper) met een succespercentage van 70,7% in cross-task settings.
Real-World (SO101): Op een fysieke robotarm bereikte MergeVLA een succespercentage van 90,0% over drie verschillende kubus-manipulatietaakken, zelfs met objectkleuren die niet tijdens het trainen waren gezien.

Betekenis en Impact

Dit paper is een doorbraak in het veld van robotleren omdat het het fundamentele probleem van "modelmerging" voor VLA-modellen oplost.

Het toont aan dat het mogelijk is om een enkele, compacte agent te creëren die meerdere vaardigheden beheerst zonder de noodzaak van kostbare joint-training of het bijhouden van duizenden aparte modellen.
De architectonische inzichten (verwijdering van self-attention in actie-experts) bieden een nieuwe richting voor het ontwerpen van robuuste en schaalbare robotpolicies.
Het bewijst dat modelmerging niet alleen een theoretisch concept is, maar een praktische, schaalbare route naar echte algemene robotagenten die zich kunnen aanpassen aan verschillende omgevingen, taken en hardware.