Technische Samenvatting: TapSampling

Probleemstelling

Bestaand onderzoek in geïncorporeerde besturing heeft zich grotendeels gericht op het schalen van trainingsdata en modelgrootte om robotmanipulatiebeleid te verbeteren. Hoewel niet-deterministische generatieve modellen (bijvoorbeeld diffusiemodellen en autoregressieve Large Language Models) opmerkelijke vaardigheden hebben aangetoond, wordt hun prestatie fundamenteel beperkt door het single-shot inferentieparadigma. Vanwege de stochastische aard van deze modellen kunnen identieke omgevingscondities in sommige gevallen tot succesvolle uitkomsten leiden en in andere tot falen. Huidige inferentie-tijdstrategieën voor robotica lijden vaak onder twee hoofdbeperkingen:

1. Sampling-inefficiëntie of -trouw: Het herhaaldelijk direct samplen uit beleidsmodellen verhoogt de inferentielatentie aanzienlijk (met een orde van grootte), terwijl samplen uit eenvoudige Gaussische verdelingen inter-dimensionale correlaties in actiechunks negeert, wat leidt tot kandidaten die afwijken van de ware actieverdeling.
2. Verificatie-uitdagingen: Er ontbreken kant-en-klare modellen die in staat zijn om laag-niveau robotacties te begrijpen en te interpreteren. Bestaande verificatiemethoden vertrouwen vaak op handgemaakte functies, offline versterkend leren of voorkeursleren, wat kan leiden tot gebrek aan interpreteerbaarheid of een sterke koppeling aan specifieke beleidsarchitecturen, waardoor hun plug-and-play toepasbaarheid beperkt wordt.

Methodologie

De auteurs stellen TapSampling voor, een plug-and-play, beleids-onafhankelijk inferentie-tijd samplingkader dat is ontworpen om generalistische robotbeleid te verbeteren zonder verdere fine-tuning. Het kader werkt via twee primaire componenten:

1. Efficiënte Actiesampling met Geraakte Posterior

Om de afweging tussen sampling-efficiëntie en actie-kwaliteit aan te pakken, introduceert TapSampling een Action-VAE (Variational Autoencoder).

• Architectuur: De Action-VAE maakt gebruik van een op transformatoren gebaseerde encoder en decoder.
• Proces:
  • Een kleine set initiële acties ($N$) wordt gesampled uit het basisbeleid $\pi$.
  • De encoder comprimeert deze acties tot een latente Gaussische verdeling (gemiddelde $\mu$ en diagonale covariantie $\sigma^2$).
  • Een gemengde posteriorverdeling wordt geconstrueerd door de latente verdelingen van de initiële samples te middelen.
  • Een willekeurig aantal nieuwe latente samples wordt getrokken uit deze gecomprimeerde posterior en gedecodeerd tot kandidaat-acties.
• Voordeel: Deze benadering vangt intra-chunk correlaties tussen actiedimensies op, waardoor gegenereerde kandidaten dicht bij de ware beleidsverdeling blijven terwijl ze aanzienlijk sneller zijn dan herhaalde beleidsampling (ongeveer 5$\times$ sneller).

2. Interpreteerbare Actiekeuze via Taakvooruitgang-Verificatie

Om de optimale actie te selecteren onder kandidaten, maakt TapSampling gebruik van een Task-Progress-Understanding Verifier.

• Constructie van Trainingsdata: De verifier wordt getraind met behulp van de intrinsieke sequentiële structuur van expert robottrajecten. Door aan te nemen dat taakvooruitgang lineair over de tijd groeit, construeren de auteurs positieve samples (voorwaartse actiesequenties die leiden tot vooruitgang) en negatieve samples (omgekeerde actiesequenties die leiden tot regressie) direct uit bestaande datasets, zonder extra handmatige annotatie.
• Architectuur: De verifier is gebouwd op een Vision-Language-Action (VLA) backbone (specifiek Qwen2.5-0.5B). Het neemt de huidige staat, taakinstructie en een query-actie als invoer om de verwachte verandering in taakvooruitgang ($\Delta p$) te voorspellen.
• Selectiemechanisme: De voorspelde score draagt expliciete semantische betekenis (bijvoorbeeld een negatieve score duidt op belemmering, een grote positieve score op snelle vooruitgang). Tijdens inferentie worden kandidaten met scores onder een drempel verworpen, en wordt een score-gewogen gemiddelde van de overige kandidaten berekend om de uiteindelijke actie te produceren.
• Efficiëntie: De VLM-backbone wordt slechts één keer uitgevoerd per observatie-instructiepaar. Verborgen toestanden worden gedeeld over alle kandidaten, die vervolgens parallel worden geëvalueerd via een lichtgewicht actie-head, wat verificatie met hoge doorvoer mogelijk maakt.

Belangrijkste Bijdragen

1. Beleids-onafhankelijk Kader: Een plug-and-play systeem dat voorgeprogrammeerde generalistische beleid verbetert zonder extra fine-tuning.
2. Geraakte Posterior Sampling: Een op Action-VAE gebaseerde strategie die acties codeert in een gecomprimeerde verdeling, waardoor efficiënte generatie van diverse, hoogwaardige actie-kandidaten mogelijk is die adhereren aan de verdeling van het beleid.
3. Taakvooruitgang-Verificatie: Een verifier die is getraind om de impact van laag-niveau acties op taakvooruitgang te voorspellen, wat interpreteerbare actiekeuze mogelijk maakt op basis van expliciete semantische scores in plaats van ondoorzichtige beloningssignalen.
4. Empirische Validatie: Aantonen van aanzienlijke prestatieverbeteringen in diverse gesimuleerde en real-world omgevingen.

Experimentele Resultaten

De auteurs hebben TapSampling geëvalueerd op zowel gesimuleerde benchmarks (CALVIN, LIBERO) als real-world robotopstellingen.

• CALVIN Benchmark (Gesimuleerd): TapSampling verbeterde de gemiddelde succeslengte voor meerdere niet-deterministische beleid:
  • Diffusion Policy: Verhoogd van 2,41 naar 2,58.
  • OpenVLA: Verhoogd van 3,30 naar 3,51.
  • VPP: Verhoogd van 4,39 naar 4,46.
  • Verbeteringen waren consistent over verschillende taakstappen (1–5), wat wijst op betere stabiliteit op lange termijn.
• LIBERO-Long Benchmark (Gesimuleerd): Toegepast op het $\pi0.5$-beleid, verbeterde de methode het slagingspercentage van 96,8% naar 98,0%.
• Real-World Experimenten: Met behulp van een Franka Research 3-arm verbeterde TapSampling het gemiddelde slagingspercentage van het $\pi0$-beleid van 78,3% naar 83,3%. Opmerkelijk is dat het de precisie verbeterde in taken die ruimtelijke uitlijning en contactbewuste plaatsing vereisen (bijvoorbeeld stapelen en plaatsen van objecten).
• Efficiëntie-analyse:
  • Sampling: Geraakte Posterior Sampling veroorzaakte verwaarloosbare extra latentie (<0,01s) in vergelijking met Gaussische sampling, terwijl het aanzienlijk sneller was dan herhaalde beleidsampling.
  • Verificatie: TapSampling bereikte ongeveer een 12$\times$ versnelling in verificatielatentie in vergelijking met RoboMonkey (dat LLaVA-7B gebruikt) bij het evalueren van 16 kandidaten, dankzij zijn gebatchte evaluatiearchitectuur.
  • Trouw: Maximum Mean Discrepancy (MMD)-analyse bevestigde dat acties gegenereerd via Geraakte Posterior Sampling beter overeenkomen met de ware beleidsverdeling dan die van Gaussische sampling.

Betekenis en Claims

Het artikel stelt dat het toewijzen van rekenkracht aan inferentietijd een effectieve, model-onafhankelijke weg biedt om de betrouwbaarheid en prestaties van generalistische robotbeleid te verbeteren, dienend als een complementaire as tot het schalen van trainingsdata.

De auteurs claimen dat TapSampling de instabiliteit inherent aan single-shot inferentie aanpakt door:

1. Een mechanisme te bieden om fouten veroorzaakt door stochastische variantie te corrigeren zonder het beleid opnieuw te trainen.
2. Interpreteerbare actiekeuze mogelijk te maken via een verifier die taakvooruitgang begrijpt, in plaats van te vertrouwen op black-box scoring.
3. Efficiëntie en effectiviteit in evenwicht te brengen via de Geraakte Posterior Sampling-strategie, die de hoge latentie van herhaalde beleidsvragen vermijdt terwijl het hoge actie-trouw behoudt.

Het werk suggereert dat inferentie-tijdstrategieën, met name die gebaseerd op begrip van taakvooruitgang, een levensvatbare en noodzakelijke richting zijn voor het implementeren van robuuste robotmanipulatiesystemen in complexe, real-world scenario's.