Technische Samenvatting: Actie met Visuele Primitieven (AVP)

Probleemstelling

Huidige Vision-Language-Action (VLA)-architecturen koppelen taalopdrachten en visuele waarnemingen doorgaans in één enkele forward pass aan robotacties. Hoewel dit ontwerp conceptueel eenvoudig is, verweeft het opdrachtbegrip, ruimtelijk scenebegrip en motorische controle binnen één leerdoel. Bijgevolg wordt de "actie-expert" (het component dat verantwoordelijk is voor het genereren van motorcommando's) gedwongen cognitieve en perceptieve vaardigheden die al aanwezig zijn in het vooringestelde Vision-Language Model (VLM), impliciet opnieuw te leren. Deze koppeling beperkt leerefficiëntie en generalisatie, vooral wanneer objecten, lay-outs of omgevingen tijdens het testen veranderen.

Bestaande pogingen om dit via intermediaire representaties aan te pakken, lopen tegen specifieke afwegingen aan:

• Planning-gerichte benaderingen (bijv. $\pi0.5$) gebruiken linguïstische subtaken, maar worstelen met fijnmazige ruimtelijke onderscheidingen in dichte scènes.
• Wereld-actie-modellen (bijv. $\pi0.7$) gebruiken voorspelde toekomstige frames, waarbij de actie-expert taakrelevante pixels opnieuw moet ontdekken.
• Visuele-prompt-methoden (bijv. Point-VLA, VP-VLA) vertrouwen op externe modellen (zoals SAM of Grounding DINO) om ruimtelijke markers te genereren. Dit creëert meerstapspijplijnen die inferentielatentie introduceren en het risico op foutpropagatie door upstream-locatiefouten met zich meebrengen.

Methodologie: AVP-architectuur

De auteurs stellen AVP (Action with Visual Primitives) voor, een end-to-end VLA-architectuur die de interface tussen het VLM en de actie-expert herdefinieert. In plaats van een impliciete, ongestructureerde grens, hanteert AVP een visueel-primitief-gecentreerd communicatieprotocol.

Kerncomponenten

1. Vooringesteld VLM & Autoregressieve Decoder: Gegeven een taalopdracht ($l$) en multi-view waarnemingen ($o_t$), analyseert het VLM de huidige subtaken. Een autoregressieve decoder voorspelt vervolgens een gediscretiseerde visuele primitief ($p_t$) die het doel van de volgende fase vertegenwoordigt (bijv. een punt, een omlijsting of een traject).
2. Projectie naar Visuele Ruimte: De voorspelde primitief wordt geprojecteerd vanuit de taalruimte naar de visuele tokenruimte ($z^{vp}_t$). Deze tokens worden overgelegd op de originele waarneming om een verrijkte multimodale representatie te creëren ($z^{aug}_t$).
3. Flow-Matching Actie-Expert: De actie-expert ontvangt de verrijkte tokens en de robottoestand ($s_t$) om een horizon van toekomstige acties te voorspellen ($a_{t:t+h}$).

Training en Supervisie

• End-to-End Optimalisatie: In tegenstelling tot gekaskadeerde benaderingen internaliseert AVP de visueel-primitief-interface. De generatie van primitieven en de actievoorspelling worden gezamenlijk geoptimaliseerd.
• Bron van Supervisie: De decoder voor visuele primitieven wordt gesuperviseerd met een hulpverlies ($L_{vp}$). Cruciaal worden de ground-truth visuele primitieven ($y^{vp}_t$) rechtstreeks afgeleid uit kinematica van het eind-effect (robotproprioceptie), waardoor de noodzaak voor handmatige annotatie of externe perceptiemodellen wordt geëlimineerd.
• Doel: Het totale verlies is een gewogen som van het verlies voor actievoorspelling en het supervisieverlies voor primitieven: $L = L_{act} + \lambda L_{vp}$.

Belangrijkste Bijdragen

1. Hergeconstrueerde Verdeling van Verantwoordelijkheden: Het artikel stelt een duidelijke taakverdeling voor waarbij het VLM redeneert over wat er moet gebeuren en waar (via visuele primitieven), terwijl de actie-expert zich uitsluitend richt op hoe dit moet worden uitgevoerd.
2. Visuele Primitieven als Expliciete Interface: AVP introduceert ruimtelijk verankerde tokens die intern door het VLM worden geproduceerd als communicatiemedium, waarmee de impliciete grenzen van huidige VLAs worden vervangen.
3. End-to-End Implementatie: Het systeem implementeert deze interface zonder externe detectoren of segmenteerders, en maakt gebruik van kinematica-gebaseerde supervisie om de primitiefgenerator te trainen.
4. Schaalbaarheid: De methode biedt een weg naar schaalbaarheid via goedkope trainingsdata (kinematica leveren automatische labels) en een compacte vorm die zich eenvoudig uitbreidt naar geheugenverrijkte taken of taken met een langere horizon.

Experimentele Resultaten

De auteurs evalueerden AVP op een dual-arm AgileX Piper-platform over drie real-world taken: manipuleren van Chinese schaken, dominoplacement en algemeen object-pick-and-place.

• Prestaties versus Baseline: In vergelijking met de $\pi0.5$-baseline behaalde AVP een algehele verbetering van 27,61% in de succesratio voor manipulatie over de taken.
  • Chinese Schaken: Verbeterde gemiddelde succesratio van 62,67% ($\pi0.5$) naar 90,28% (AVP).
  • Domino Placement: Verbeterde gemiddelde succesratio van 81,94% naar 88,19%, met aanzienlijke winst in oriëntatiesucces.
  • Algemeen Pick-and-Place: Verbeterde gemiddelde succesratio van 64,96% naar 86,18%.
• Generalisatie:
  • Ruimtelijk Compositorische Generalisatie: Op ongezette directe overgangen (A $\to$ B) die niet tijdens de training waren gezien (die alleen A $\to$ C $\to$ B toonden), faalde $\pi0.5$ volledig (0% succes), terwijl AVP hoge successpercentages behaalde (bijv. 100% op directe overgangen op het schaakbord).
  • Zero-Shot Objectoverdracht: Een model dat uitsluitend was getraind op Chinese schaakdata, generaliseerde succesvol naar ongezette objecten en achtergronden in een zero-shot setting, terwijl de baseline significant degradeerde onder distributieveranderingen.
• Efficiëntie: AVP toonde een lagere inferentielatentie (0,27s) in vergelijking met methoden die vertrouwen op externe LLM-API's (bijv. Point-VLA-varianten die ongeveer 37s nodig hebben).

Betekenis en Claims

Het artikel claimt dat AVP de doeltreffendheid demonstreert van het ontkoppelen van doelinferentie van bewegingsuitvoering. Door complexe ruimtelijke redenering uit te besteden aan het VLM en de actie-expert te voorzien van expliciete, visueel verankerde instructies, bereikt het systeem:

• Verbeterde Data-efficiëntie: Leren is efficiënter omdat de actie-expert ruimtelijke verankering niet opnieuw hoeft te leren.
• Versterkte Generalisatie: De expliciete visuele interface stelt het beleid in staat om geleerde bewegingspatronen te hercombineren voor nieuwe overgangen en objecten.
• Verminderde Annotatie- overhead: De afhankelijkheid van kinematica voor primitief-supervisie vermijdt de kosten en kwetsbaarheid van menselijke labeling of afhankelijkheid van externe detectoren.

De auteurs erkennen beperkingen, waarbij zij opmerken dat de sequentiële twee-staps inferentie (voorspelling van primitieven gevolgd door generatie van acties) iets hogere runtime-latentie introduceert dan single-pass beleidslijnen, en dat het systeem gevoelig blijft voor precieze hand-oog-calibratie. De resultaten suggereren echter dat visuele primitieven dienen als een robuuste en schaalbare interface voor generalistische robotmanipulatie.