Technische Samenvatting: Emergente Compositionele Vaardigheden in Mixture-of-Experts VLA's

Probleemstelling

Vision-language-action modellen (VLA's) hebben een aanzienlijke belofte getoond in het generaliseren over diverse robotische manipulatietaken. Echter, ze worden doorgaans getraind en ingezet als monolithische policies. Deze architectuur brengt beperkingen met zich mee: het is moeilijk om herbruikbare vaardigheden te identificeren, gedragingen hiërarchisch samen te stellen, of specifieke delen van een policy aan te passen zonder de gehele het model opnieuw te trainen. In contrast hiermee deconstrueren veel robotische taken zich van nature in herbruikbare gedragsmodi (bijv. reiken, grijpen, plaatsen). De centrale vraag van dit werk is of een modulaire policy-structuur, die expliciet dergelijke vaardigheden leert, direct uit data kan worden afgeleid zonder vooraf gespecificeerde taakdecompositie, hiërarchie of handmatig gedefinieerde skill-libraries.

Methodologie

De auteurs stellen voor om een Mixture-of-Experts (MoE) actie-policy te trainen bovenop bestaande pre-trained VLA-backbones, specifiek $\pi_0$ en SmolVLA. Beide backbones maken gebruik van flow matching voor actiegeneratie. De aanpak wordt gedefinieerd door twee primaire ontwerpkeuzes:

1. LoRA Mixture-of-Experts: De MoE-architectuur vervangt alleen de Feed-Forward Network (FFN) sublaag van elke actielaag, terwijl self-attention gedeeld blijft over alle experts. Elke expert wordt gerealiseerd als een low-rank (LoRA) delta ($r=16$) toegepast op de basis FFN. De policy wordt geformuleerd als:
   $$\text{FFN}_\ell(x) = \text{FFN}^{\text{base}}_\ell(x) + \sum_{e \in R} w_e \left( \text{FFN}^{(e)}_\ell(x) - \text{FFN}^{\text{base}}_\ell(x) \right)$$
   Hier is $R$ de verzameling gerouteerde experts met hernormaliseerde gewichten $w_e$. De LoRA-matrices $B$ zijn met nul geïnitialiseerd, wat ervoor zorgt dat de policy de pre-trained backbone exact reproduceert bij stap nul, waardoor specialisatie kan emergeren rond een sterke prior in plaats van vanaf nul te beginnen.

2. Whole Forward Pass Routing: In tegen tegenstelling tot standaard MoE transformers die per token per laag routeren, voert deze aanpak de routing één keer uit per policy forward pass. Een kleine MLP-router $g_\phi$ neemt een contextvector die visuele, linguïstische en proprioceptieve staten codeert en geeft logits af over $E$ experts. Eén enkele selectie (top-$k$) wordt uniform toegepast over alle actie-expert-lagen. Dit zorgt ervoor dat elke expert functioneert als een coherente end-to-end gedraging of "skill", in plaats van een verzameling onafhankelijke, laag-per-laag beslissingen.

Trainingsdoel: Het model wordt getraind met de flow-matching behavior-cloning loss van de backbone, gecombineerd met een extra load-balancing term ($\lambda_{LB} = 0.01$) om routing-instorting naar een enkele expert te voorkomen.

Belangrijkste Resultaten en Analyse

De auteurs evalueren de aanpak op de LIBERO-10 benchmark, waarbij vier kernvragen worden behandeld over de aard van de geleerde vaardigheden:

• Emergentie van kwalitatief onderscheidende vaardigheden: De router leert autonoom experts te selecteren die overeenkomen met onderscheidende lage-niveau gedragingen. Kwalitatieve analyse laat zien dat experts specialiseren in specifieke fasen van manipulatie, zoals "het transporteren van een gegrepen object", "loslaten en terugtrekken", of "het benaderen en grijpen van dunne handvatten". Deze vaardigheden worden hergebruikt in structureel verschillende taken (bijv. het plaatsen van een mok versus een moka pot), wat suggereert dat de experts fase-niveau vaardigheden coderen in plaats van taakspecifieke policies.
• Herbruikbare versus taakspecifieke experts: Analyse van de selectiefrequenties onthult een dubbelrol voor de experts. Sommige experts (bijv. Expert A en B) worden frequent hergebruikt (selectierate van 35–45%) over meerdere taken, en fungeren als algemene primitieven. Andere zijn zeer gespecialiseerd en activeren bijna uitsluitend voor specifieke taken (bijv. Expert C op Taak T5), waardoor zij idiosyncratische randgevallen effectief afhandelen en de herbruikbare experts "crisp" houden.
• Compositie van primitieven: De router fungeert als een impliciete high-level sequencer, die deze primitieven aan elkaar rijgt tot langere-horizon trajecten. Bijvoorbeeld, een taak kan Expert C (grijpen) bevat gevolgd door Expert A (plaatsen). Opvallend genoeg, zelfs in geval van falen, vertoont de policy interpreteerbaar gedrag door herhaaldelijk bekende primitieven aan te roepen (bijv. herhaaldelijk proberen te grijpen en los te laten) in plaats van te degenereren in willekeurige ruis.
• Validatie via handmatige routing: Om te verifiëren dat de vaardigheden intrinsiek zijn aan de experts en geen artefacten van de router-policy zijn, voerden de auteurs experimenten uit met handmatige routing. Het vervangen van de keuze van de router door een specifieke expert (bijv. het forceren van een "grijp"-expert in een context waar deze oorspronkelijk niet werd geselecteerd) resulteerde in het verwachte kwalitatieve gedrag. Dit bevestigt dat de experts beschikken over herbruikbare, generaliseerbare capaciteiten die onafhankelijk zijn van de standaard selectie van de router.
• Prestaties: De MoE-policy bereikt een taakprestatie die vergelijkbaar is met een dense, monolithische baseline die vanuit hetzelfde checkpoint is gefinetuned. Dit demonstreert dat skill-specialisatie kan worden bereikt zonder de taakbekwaamheid op te offeren.

Betekenis en Claims

Het papier claimt dat hiërarchisch, op vaardigheden gebaseerd leren voor robots niet noodzakelijkerwijs extra machinery vereist zoals high-level planners, options frameworks of pre-trained skill libraries. In plaats daarvan kan een eenvoudige MoE-architectuur toegepast op standaard imitation learning leiden tot:

1. Emergente Compositionaliteit: Het model leert taken te deconstrueren in een kleine set modulaire, herbruikbare primitieven.
2. Interpreteerbaarheid: Falen en succes kunnen worden begrepen als sequenties van bekende primitieven, wat de policy transparanter maakt.
3. Data-gedreven Modulariteit: De compositionele structuur emergeert puur uit demonstratiegegevens, gedreven door de interactie tussen een router en gespecialiseerde experts.

De auteurs erkennen beperkingen, waarbij zij opmerken dat sommige geleerde vaardigheden taakspecifiek of oninterpreteerbaar blijven, en dat de mapping tussen experts en primitieven niet altijd perfect nauwkeurig is. Desalniettemin vormt dit werk een stap naar modulaire, interpreteerbare robotische policies die louter uit data emergeren.