Technische Samenvatting: BooST – Het overbruggen van semantiek en beweging voor efficiënt vaardigheidstransfer

Probleemstelling

Het artikel behandelt de uitdaging van efficiënt vaardigheidstransfer in robotleren. Hoewel vaardigheidsabstractie (het leren van herbruikbare, temporeel uitgebreide gedragingen) een veelbelovende weg biedt naar algemene agenten, worstelen bestaande methoden er vaak mee om tegelijkertijd drie cruciale vereisten voor implementatie in de echte wereld te vervullen: generalisatie, robuustheid en efficiëntie.

Huidige benaderingen leggen meestal slechts één aspect van een vaardigheid vast:

• Low-level methoden richten zich op bewegingsdynamiek (hoe) maar missen semantische gronding, wat transfer tussen verschillende robotische belichamingen en taken belemmert.
• High-level methoden richten zich op semantische intentie (wat), afgeleid van visie en taal, maar missen vaak de precisie van de beweging, waardoor ze gevoelig zijn voor visuele afleiders en grote schaalmodellen vereisen die computationeel te zwaar zijn voor real-time implementatie.

Deze onvolledigheid resulteert in zwakke priors voor policy-leren, wat substantiële in-domain data vereist voor adaptatie. De auteurs stellen dat een verenigde representatie die zowel semantiek als beweging vastlegt, vereist is om few-shot adaptatie, cross-domain transfer en robuustheid tegen dynamische visuele ruis mogelijk te maken.

Methodologie: BooST Framework

De auteurs stellen BooST voor (Bridging Semantics and Motions for Efficient Skill Transfer), een tweefasen-framework ontworpen om een verenigde vaardigheidsrepresentatie te leren en deze te distilleren voor efficiënt gebruik in de downstream fase.

Fase I: Unified Skill Pretraining

De eerste fase omvat het pretrainen van een cross-modale VQ-VAE op grootschalige, diverse offline datasets (specifiek de DROID-dataset). Het doel is om een discrete latente ruimte van herbruikbare vaardigheden te leren die zowel hoogwaardige semantiek als low-level bewegingsdynamiek gezamenlijk coderen. De architectuur maakt gebruik van twee complementaire paden:

1. Visuo-linguïstisch Pad: Gebruikt een voorgetraind CLIP-model en een cross-attention mechanisme om taakbewuste visuele kenmerken te extraheren uit huidige en toekomstige beelden ($I_t, I_{t+H}$), geconditioneerd op taalinstructies ($l$). Dit pad legt de vaardigheid vast in semantische intentie.
2. Action Pad: Codeert bewegingsdynamiek direct vanuit actietrajecten ($a_{t:t+H}$) om ervoor te zorgen dat de geleerde vaardigheden uitvoerbaar zijn en geworteld zijn in fysiek gedrag.

Deze paden voeden een gedeelde discrete codebook via Vector Quantization (VQ). Het model wordt getraind met een residual vector quantization schema met één enkel supervisiesignaal: actiereconstructie. De decoder reconstrueert actiesequenties vanuit de discrete skill-token en de huidige visuele kenmerken. De verliesfunctie combineert reconstructiefouten van beide paden en een regularisatieterm om de feature spaces uit te lijnen. Cruciaal is dat door acties te reconstrueren in plaats van pixels, het model wordt aangemoedigd om taakonrelevante visuele details te negeren, wat de robuustheid tegen dynamische afleiders verhoogt.

Fase II: Downstream Adaptation

De tweede fase richt zich op distillatie voor efficiënte implementatie. De rijke kennis van de voorgetrainde skill encoder ($q_\phi$) wordt overgedragen naar twee lichtgewicht componenten:

1. Een Causal Skill Prior ($p_\psi$) die de distributie van latente vaardigheden voorspelt op basis van eerdere observaties en taal.
2. Een Low-level Policy ($\pi_\theta$) die acties uitvoert geconditioneerd op gesamplede vaardigheden.

Deze fase wordt getraind op kleinschalige, in-domain datasets met behulp van een variationele objectief afgeleid van de Evidence Lower Bound (ELBO). De training minimaliseert een Prior Distillation Loss (het afstemmen van de prior op de voorspellingen van de bevroren encoder) en een Behavior Cloning Loss (het trainen van de policy om expert-acties te imiteren). Deze ontkoppelde aanpak stelt het systeem in staat om grootschalige pretraining te benutten terwijl een lichtgewicht architectuur behouden blijft die geschikt is voor real-time controle.

Belangrijkste Bijdragen

1. Unified Skill Representation: De introductie van BooST, dat semantische intentie en bewegingsdynamiek integreert in een gedeelde skill codebook, waarmee de beperkingen worden overwonnen van methoden die slechts één aspect vastleggen.
2. Ontkoppelde Tweefasen-pipeline: Een trainingsparadigma dat grootschalige pretraining verzoent met efficiëntie bij implementatie. Het scheidt het leren van een rijke, verenigde representatie van het trainen van lichtgewicht, taakspecifieke policies, wat few-shot adaptatie mogelijk maakt.
3. Robuustheid en Generalisatie: Het aangetoonde vermogen om sterke few-shot adaptatie te bereiken, cross-embodiment transfer (bijv. van Franka Panda naar UR3) en robuustheid tegen dynamische visuele afleiders en achtergrondvariaties.

Experimentele Resultaten

De auteurs evalueerden BooST in zowel simulatie (LIBERO benchmarks) als real-world settings (UR3 robot).

• Few-Shot Adaptation: Op de LIBERO benchmarks presteerde BooST consistent beter dan de baselines (inclusclusief Diffusion Policy, VQ-BeT, QueST, LISA en EXTRACT). Opvallend genoeg behaalde BooST met slechts 10 demonstraties per taak een relatieve verbetering van 140% ten opzien van de op één na beste methode op de diverse LIBERO-90 benchmark.
• Cross-Embodiment Transfer: In real-world experimenten slaagde een policy die was voorgetraind op een Franka Emika Panda er succesvol in te transfereren naar een UR3 robot met slechts vijf demonstraties per taak. Low-level baselines faalden in transfer vanwege mismatches in de actieruimte, terwijl de semantische gronding van BooST succesvolle adaptatie mogelijk maakte.
• Robuustheid tegen Afleiders: Wanneer voorgetraind op data verrijkt met dynamische menselijke afleiders, behield BooST een hoge succesratio op standaard benchmarks. In contrast hiermee leden latent action baselines (LAPA, UniVLA), die visuele transities reconstrueren, onder prestatieverlies, omdat hun representaties irrelevante achtergrondbewegingen codeerden.
• Efficiëntie: De gedestilleerde downstream modellen draaien op ongeveer 60 Hz, wat aanzienlijk sneller is dan vergelijkbare baselines (bijv. Diffusion Policy op 12 Hz), waardoor ze geschikt zijn voor real-world implementatie. Ablatie-studies bevestigden dat zowel het action pad als de taakbewuste encoder cruciaal zijn voor de prestaties.

Betekenis

Het artikel claimt dat BooST erin slaagt om de drie cruciale vereisten voor efficiënt vaardigheidstransfer te vervullen — generalisatie, robuustheid en efficiëntie — waar bestaande methoden hier niet simultaan aan voldoen. Door de kloof te overbruggen tussen "wat" (semantiek) en "hoe" (bewegingen), biedt BooST een sterke prior die de hoeveelheid data die nodig is voor downstream adaptatie drastisch vermindert. De auteurs stellen dat deze aanpak de transfer van vaardigheden, geleerd van grootschalige, heterogene datasets, naar nieuwe scènes, taken en robotische belichamingen mogelijk maakt met minimale in-domain data, terwijl het robuust blijft tegen de visuele ruis die inherent is aan real-world omgevingen. Het werk suggereert een pad naar praktische, algemene robotische agenten die kunnen leren van "in-the-wild" data zonder dat handmatige curatie of computationeel dure modellen voor real-time controle vereist zijn.