Technische Samenvatting: Primitieve Subruimten Mediëren Few-Shot Transfer in VLA's

Probleemstelling

Het inzetten van Vision-Language-Action (VLA) beleidsregels in industriële omgevingen wordt momenteel gehinderd door hoge kosten voor hertraining. Het standaard implementatie-recept bestaat uit het verzamelen van taakspecifieke demonstraties en het fine-tunen van de VLA voor elke nieuwe taak of productvariant. Deze aanpak schaalt lineair met de verzamellkosten en vereist aanzienlijke infrastructuur, wat onpraktisch is in contexten met continue proceswijzigingen. Dit onderzoek onderzoekt of VLA's nieuwe taken kunnen aanleren tijdens de testfase, geconditioneerd op een klein aantal demonstraties, zonder gewicht-updates. In het bijzonder vermoeden de auteurs dat de structuur van de trainingsdata ertoe doet: zij speculeren dat VLA's die getraind zijn met expliciete supervisie op primitiefniveau meer compositionele representaties leren dan die getraind op vlakke taak-trajecten, wat leidt tot betere few-shot transfer.

Methodologie

Experimenteel Ontwerp

De auteurs voerden een gecontroleerd experiment uit met een $2 \times 2$ design, gekruist met twee verschillende VLA-architecturen:

1. OpenVLA: Een autoregressief model met 7 miljard parameters gebaseerd op Llama-2.
2. $\pi_0.5$: Een flow-matching beleidsregel met 16-staps actie-chunks gebaseerd op PaliGemma.

Beide architecturen werden gefinetuned met bijbehorende LoRA-recepten (rank 32, $\alpha=64$, leersnelheid $5 \times 10^{-5}$) en hanteerden vaste hyperparameters over drie trainings-seeds. De enige variabele was de weergave van de trainingsdata:

• Flat Training: Episoden waren aaneengeslotenen taakparen (bijv. "pakken en insteken") met hoog-niveau taalprompts.
• Primitive Training: Episoden waren gesegmenteerd in enkele primitieve acties (bijv. "pakken" of "insteken") met primitief-specifieke taalprompts.

Datasets en Evaluatie

• Primaire Dataset: REASSEMBLE, een contact-rijke industriële assemblage-dataset gebaseerd op de NIST Assembly Task Board 1 benchmark.
• Replicatie-dataset: LIBERO-Long, een huishoudelijke manipulatie-benchmark met multi-step taakstructuren.
• Held-out Taken: Zes specifieke (object, taak-sequentie) combinaties werden volledig uitgesloten van training. Deze taken varieerden in object (objecten met primitieven die in de training voorkwamen, maar in nieuwe combinaties), taak-sequentie (primitieven in nieuwe ordeningen) en compositionele afstand. Een categorie buiten de vocabulaire (die een primitief-type vereiste dat afwezig was in de training) werd eveneys getest.
• Few-Shot Protocol: Tijdens de testfase ontvingen de modellen een hoog-niveau taakbeschrijving en $m \in \{0, 1, 3, 5, 10\}$ demonstratie-episoden. Demonstraties werden gecodeerd via vision-encoder kenmerken en voorafgevoegd aan de taalprompt. Modellen voerden acties uit zonder gewicht-updates.

Causale Interventie

Om causaliteit vast te stellen, gebruikten de auteurs een subspace-ablatie interventie:

1. Linear Probing: Zij trainden lineaire probes op verborgen toestanden om richtingen te identificeren die de identiteit van een primitief coderen.
2. Ablatie: Tijdens de inferentie projecteerden zij de verborgen toestanden op het orthogonale complement van de geïdentificeerde primitief-decodeerbare subruimte (laag 24), waardoor de primitief-informatie effectief werd verwijderd.
3. Controle: Een willekeurige subruimte van gelijke dimensionaliteit werd geablateerd om te waarborgen dat het effect specifiek was voor de primitieve representaties.

Methodologische Correctie

De auteurs identificeerden een "family-wise inflation" artefact bij het evalueren van chunked policies. Het toepassen van single-step actie-bereik gates elementgewijs op 16-staps chunks produceerde fout-falen ratio's van 40–42% tegenover de ground-truth menselijke demonstraties. Zij stelden een gecorrigeerde element-gewijze gate voor en implementeerden deze, gekalibreerd tegen de ground-truth chunk distributies om een eerlijke evaluatie te garanderen.

Belangrijkste Resultaten

Few-Shot Transfer Efficiëntie

Primitief-getrainde modellen vertoonden een significant voordeel in sample-efficiëntie ten opzichte van flat-getrainde modellen:

• Prestatiekloof: Bij $m=3$ demonstraties behaalden primitief-getrainde modellen succesratio's van 0,62–0,66, terwijl flat-getrainde modellen slechts 0,31–0,34 behaalden (een $\approx 2\times$ voordeel).
• Verzadiging: Primitief-getrainde modellen verzadigden bij $m=5$, waarbij ze 78% van de volledige fine-tuning upper bound bereikten. Flat-getrainde modellen hadden $m=10$ nodig om hetzelfde prestatieniveau te bereiken, wat wijst op een 3$\times$ sample-efficiëntie gat.
• Robuustheid: Dit voordeel werd gerepliceerd over beide architecturen (OpenVLA en $\pi_0.5$), drie trainings-seeds en de cross-dataset replicatie op LIBERO-Long.

Causaal Bewijs

De subspace-ablatie interventie bevestigde de noodzaak van primitieve representaties:

• Het ablateren van de primitief-decodeerbare subruimte veroorzaakte een daling van 32 procentpunt in de few-shot success (bijv. van 0,62 naar 0,30 voor OpenVLA).
• Het ablateren van een willekeurige subruimte van gelijke dimensionaliteit had een verwaarloosbaar effect (binnen de steekproefruis), wat bevestigt dat de primitief-decodeerbare representatie causaal noodzakelijk is voor transfer, en niet louter gecorreleerd.

Baseline Vergelijkingen

Primitief-bewuste few-shot transfer presteerde significant beter dan verschillende baselines bij $m=3$:

• Zero-shot primitive sequencing: +35 procentpunt.
• Octo-stijl demonstratie-geconditioneerde baseline: +21 tot 22 procentpunt.
• Diffusion Policy: Werd met een aanzienlijke marge overtroffen.

Beperkingen en Foutmodi

Het artikel merkt op dat primitief-bewuste training niet universeel de prestaties verbetert. Bij taken die out-of-vocabulary primitieven vereisen (bijv. een "draaien-om-vast te grijpen" actie die niet aanwezig was in de trainingsvocabulaire), presteerden primitief-getrainde modellen slechter dan flat-getrainde modellen. De auteurs hypothetiseren dat primitief-getrainde modellen proberen nieuwe demonstraties te mappen naar de dichtstbijzijnde bekende primitief, terwijl flat-getrainde modellen mogelijk flexibeler nieuw gedrag leren.

Betekenis en Claims

Het paper claimt de eerste gecontroleerde vergelijking te bieden die aantoont dat primitief-bewuste training een overdraagbaar artefact produceert: een bibliotheek van sub-vaardigheden die tijdens inferentie gecomponeerd kunnen worden.

• Mechanisme: De auteurs stellen vast dat expliciete primitieve supervisie tijdens de training de sub-vaardigheid representaties ontkoppelt van de taakcontexten, wat een "primitief-decodeerbare subruimte" creëert in de verborgen toestanden die causaal noodzakelijk is voor few-shot transfer.
• Praktische Impact: Voor industriële inzet suggereren de resultaten dat training met primitieve segmentatie een VLA in staat stelt om $\sim 90\%$ van de volledige fine-tuning prestaties te behalen met slechts 5 demonstraties, wat de kosten en downtime voor het hertrainen voor nieuwe taakvarianten drastisch vermindert.
• Scope: De bevindingen zijn bescheiden wat betreft generalisatie; het voordeel houdt stand voor taken die bekende primitieve typen hercombineren, maar keert om wanneer taken fundamenteel nieuwe primitieven vereisen die afwezig waren in de trainingsvocabulaire. De resultaten zijn momenteel beperkt tot simulatie (REASSEMBLE en LIBERO-Long) en twee specifieke architecturen.