Technische Samenvatting: Per-groep Fout, Niet Totale MSE: Fine-tuning van Vision-Language-Action Modellen voor 11-DoF Mobiele Manipulatie

Probleemstelling

Het inzetten van vooraf getrainde Vision-Language-Action (VLA) modellen op mobiele manipulatoren brengt een unieke uitdaging met zich mee door de heterogeniteit van hun actieruimtes. Terwijl de meeste VLA's (bijv. OpenVLA, RT-2) zijn getraind op vaste armrobots met 6–7 Cartesiaanse vrijheidsgraden, vereisen platforms zoals de Toyota Human Support Robot (HSR) het aansturen van 11 gewrichten die een arm, grijper, hoofd en wielen omvatten.

Het kernproblek dat is geïdentificeerd, is dat standaard evaluatiemetrieken, specifiek de geaggregeerde Mean Squared Error (MSE), kritieke prestatiedynamiek in deze heterogene ruimtes maskeren. Wanneer 11 dimensies worden samengevoegd tot één enkele metriek, kunnen groepen gewrichten die gemakkelijk te voorspellen zijn (bijv. grijper of hoofd) groepen maskeren die ondergeschikt zijn (bijv. mobiele basis of arm). Bij consequentie kan een checkpoint met de laagste totale MSE niet noodzakelijkerwijs de modelversie zijn die het beste presteert op de fysieke robot, wat leidt tot contra-intuïtieve faalmomenten bij de inzetbaarheid waarbij een "beter" offline metriek resulteert in een "slechtere" real-world uitkomst.

Methodologie

Modellen en Opzet

De studie vergelijkt twee VLA-architecturen die zijn gefinetuned voor de 11-DoF HSR:

1. SmolVLA (450M parameters): Een lichtgewicht model gebaseerd op SmolVLM2-500M, geconfigureerd met een flow-matching action head voor een 11-dimensionale output. Het werd vooraf getraind op een subset van de LeRobot community data (109k episodes, alleen vaste arm) en vervolgens gefinetuned op HSR-specifieke teleoperatie data.
2. $\pi$0.5 (3.3B parameters): Een groter model gebaseerd op PaliGemma2 met een diffusie-gebaseerde expert action head. Het werd vooraf getraind op een diverse corpus inclusief mobiele manipulatie over meerdere embodiment-vormen.

Trainingsregimes

• SmolVLA: Getraind in twee fasen: (1) Pretraining op 109k HSR-episodes voor 20k stappen, en (2) Taakspecifieke fine-tuning op een pick-up taak (3.971 episodes) voor 50k stappen.
• $\pi$0.5: Geëvalueerd met vooraf getrainde baselines (80k en 100k stappen) en een expert-only fine-tuning regime waarbij de 3B-parameter backbone bevroren was en alleen de ~300M parameter action head werd getraind voor maximaal 5k stappen. Deze aanpak werd gekozen vanwege geheugenbeperkingen die volledige fine-tuning onmogelijk maakten.

Evaluatieprotocol

De auteurs stellen een per-groep foutdecompositie voor in plaats van te vertrouwen op geaggregeerde MSE. De 11-dimensionale actievector wordt gesplitst in vier functionele groepen:

• Arm (5 gewrichten)
• Grijper (1 gewricht)
• Hoofd (2 gewrichten)
• Basis (3 gewrichten)

Offline evaluatie omvatte het berekenen van de Mean Squared Error (MSE) voor elke groep afzonderlijk op een hold-out dataset. Real-robot validatie werd uitgevoerd op de Toyota HSR met 60 trials (20 per model) op een pick-up taak (mok en cracker box), beoordeeld volgens een 4-punts rubric.

Belangrijkste Resultaten

1. SmolVLA: De Bottleneck van de Mobiele Basis

• Convergentiedynamiek: Tijdens fine-tuning nam de fout van de grijper snel af (92,9% verbetering), terwijl de fout van de mobiele basis aanzienlijk langzamer verbeterde (57,8%).
• Prestatieplafond: De mobiele basis bleef de dominante bron van fouten, wat effectief het plafond bepaalde voor de totale MSE.
• Real-world Uitkomst: Het beste SmolVLA checkpoint (40k stappen) behaalde een gemiddelde real-robot score van 3,5/4. Falen werd gekenmerkt door nauwkeurige navigatie maar misgekalibreerde grijpbewegingen (het object naderen maar de greep missen met ~20 cm), wat consistent is met het feit dat de residuele armfout hoger was dan de basis-fout in sommige contexten, hoewel de basis de primaire trainingsbottleneck was.

2. $\pi$0.5: De Disconnect van de Expert-Only Training

• Baseline vs. Fine-tuned: De vooraf getrainde $\pi$0.5 baseline (80k stappen) behaalde de hoogste real-robot score van 4,0/4 (20/20 successen).
• Het Contra-intuïtieve Resultaat: Expert-only fine-tuning verminderde de totale MSE van 1,04 naar 0,95 (een verbetering van 9%). Echter, dit "betere" model presteerde slechter op de robot (3,75/4, 15/20 successen), met een statistisch significant verschil ($p=0,010$).
• Per-groep Analyse: De verbetering in totale MSE werd gedreven door winst in de gripper en basis groepen. Echter, de arm-groep fout degradeerde aanzienlijk (van 0,30 naar 0,59 MSE). De real-world fouten (falen om het object netjes op te tillen) correleerden direct met deze degradatie van de arm, en niet met de totale MSE of de basis-fout.

3. Betrouwbaarheid van de Metriek

• Falende Totale MSE: In het $\pi$0.5 experiment was het model met de laagste totale MSE (Expert-only 3k) het slechtst presterende model op de robot.
• Per-groep Succes: De offline metriek die consistent de real-robot rangschikking voorspelde, was de arm-groep fout.
• Statistische Significantie: Mann-Whitney tests bevestigden dat $\pi$0.5 80k significant beter presteerde dan beide gefinetunede varianten.

Belangrijkste Bijdragen

1. Identificatie van de "Geaggregeerde MSE Valstrik": Het paper demonstreert dat voor heterogene actieruimtes het minimaliseren van de totale MSE kan leiden tot de degradatie van kritieke gewrigsgroepen (zoals de arm) als hun foutmarges kleiner zijn dan andere groepen (zoals de grijper), waardoor de optimizer ze opoffert.
2. Per-groep Foutdecompositie: De auteurs introduceren een systematische evaluatiemethode die de fout decomponeert per gewrichtsgroep (arm, grijper, hoofd, basis), waardoor trainingsdynamiek zichtbaar wordt die in geaggregeerde metrieken verborgen blijft.
3. Real-Robot Validatie van Offline Signalen: Door middel van 60 real-robot trialserien valideert de studie empirisch dat per-groep fout een betrouwbaarder signaal is voor checkpoint selectie dan totale MSE.
4. Bottleneck Identificatie: Het werk benadrukt dat de "bottleneck" groep varieert per model en trainingsregime:
   • Voor SmolVLA was de bottleneck de mobiele basis (langzaamste convergentie door gebrek aan pretraining exposure).
   • Voor $\pi$0.5 expert-only was de bottleneck de arm (gedegradeerd door optimalisatie-trade-offs in het fine-tuning proces).

Betekenis en Claims

Het paper concludeert dat per-groep fout een betrouwbaardere indicator is dan totale MSE voor het selecteren van VLA checkpoints die bestemd zijn voor inzet op robots met heterogene actieruimtes.

De auteurs stellen dat de disconnect tussen offline metrieken en real-world prestaties een voorspelbaar gevolg is van het samenvoegen van heterogene gewrichtsgroepen in één enkele metriek. Zij stellen dat:

• Een checkpoint competitief kan lijken op geaggregeerde metrieken terwijl het faalt op deployment-kritieke groepen.
• De specifieke gewrichtsgroep die de prestaties beperkt, afhangt van de modelarchitectuur en het trainingsregime (bijv. de diversiteit van de pretraining corpus vs. de schaarste aan fine-tuning data).
• Voor praktijkgebruikers het rapporteren van per-groep fout essentieel is om te identificeren welke groep de huidige bottleneck is (of dat nu de basis is in een nieuw model of de arm in een gefinetuned expert) voordat men een model voor inzet vertrouwt.

De studie beweert niet de onderliggende optimalisatie-onbalans op te lossen (bijv. via onzekerheidsweging of gradiëntbalancering), maar identificeert dit als de waarschijnlijke drijfveer van de geobserveerde dynamiek, waarbij de toepassing van dergelijke technieken aan toekomstig werk wordt overgelaten. De vergelijking tussen SmolVLA en $\pi$0.5 is geformuleerd als een praktische vergelijking van beschikbare checkpoints in plaats van een gecontroleerde architecturale studie, waarbij rekening wordt gehouden met verschillen in pretraining corpora.