Closing the Lab-to-Store Gap: A Data-Efficient Post-Training and Experience-Driven Learning VLA Framework for Retail Humanoids

Technische Samenvatting: Het dichten van de kloof tussen het lab en de winkel met DEED

Probleemstelling
Ondanks de opkomst van Vision-Language-Action (VLA) modellen als een dominant paradigma voor algemene robotische manipulatie, blijft er een aanzienlijke kloof bestaan tussen prestaties in benchmarks en betrouwbare inzetbaarheid in de echte wereld. Huidige VLA's worden doorgaans offline getraind en ingezet als vaste policies, waarbij ze een gebrek aan robuustheid vertonen tegen uitvoeringsfouten, distributieverschuivingen en omgevingsvariabiliteit. Het artikel stelt dat het overbruggen van deze "lab-naar-winkel"-kloof primair een uitdaging is op het gebied van systeemintegratie in plaats van architectuur. Het inzetten van vooraf getrainde modellen (zoals GR00T) faalt vaak door engineering-mismatches in datacuratie, besturingsfrequentie en actie-representatie, in plaats van een gebrek aan modelcapaciteit. Bovendien kunnen offline policies niet verbeteren van hun eigen inzetervaring, wat effectieve post-training strategieën noodzakelijk maakt.

Methodologie: Het DEED-framework
De auteurs stellen DEED voor (Data-Efficient Post-Training and Experience-Driven Learning), een framework op systeemniveau dat is geëvalueerd op een taak voor het bijvullen van chips in een supermarkt met behulp van een Unitree G1-Edu humanoïde robot en het GR00T N1.6 fundament-model. DEED bestaat uit drie kerncomponenten:

1. Data-efficiënt Post-Training Pipeline:
   Deze fase richt zich op het omzetten van een "out-of-the-box" foundation model checkpoint naar een betrouwbare policy door middel van specifieke engineering-beslissingen:

   • Frequentiehiërarchie: Het vaststellen van een strikte relatie tussen camerafrequentie ($f_{cam}$), teleoperatiefrequentie ($f_t$), opnamefrequentie ($f_r$) en inferentie-besturingsfrequentie ($f_{ctrl}$) om vloeiende, continue bewegingen te garanderen en te voorkomen dat er geleerd wordt van gedupliceerde observaties.
   • Data Curation Regels: Het implementeren van strikte richtlijnen om ruis te voorkomen, waaronder het waarborgen van een gebalanceerde state-coverage, het alleen opnemen van efficiënte, succesvolle gedragingen, het behouden van incidentele herstelacties (om foutcorrectie te leren), het maximaliseren van actie-consistentie, het minimaliseren van ongecontroleerde omgevingsvariatie en het vermijden van "no-operation" staten.
   • Taakrelevante Visuele Benadrukking: Het integreren van een aangepast IA-VLA framework waarbij een groot Vision-Language Model (VLM) segmentatiemaskers genereert om taakrelevante regio's te benadrukken (bijv. lege schaplocaties), waardoor de VLA gegronde visuele aanwijzingen krijgt in plaats van enkel te vertrouwen op post-training data.
   • Verminderde VLA-afhankelijkheid: Het gebruik van een binaire handcontroller voor discrete grijpacties en het toepassen van Butterworth-filtering op voorspelde actie-sequenties tijdens inferentie om overgangen te verzachten en de uitgevoerde acties binnen de trainingsdistributie te houden.
   • Continue Episoden: Het opnemen van volledige multi-subtaak demonstraties als continue episoden om de overgangen tussen subtaken te leren, in plaats van ze te segmenteren.

2. Ervaringsgestuurd Leren (RECAP Adaptatie):
   Om de policy in staat te stellen te leren van zijn eigen inzet, passen de auteurs de RECAP-methode (RL met ervaring en correcties via advantage-geconditioneerde policies) aan voor de ontkoppelde GR00T-architectuur (waarbij perceptie/redenering gescheiden is van controle).

   • Architectuur Adaptatie: In plaats van het model te wijzigen, wordt de policy geconditioneerd via een tekstgebaseerde advantage prefix ("Advantage=True/False") en een vision-language-only value function.
   • Value Function: Een lichtgewicht MLP-kop wordt getraind op een bevroren Eagle-3 VLM encoder om categorische return-distributies over visuele observaties en instructies te voorspellen.
   • Advantage Berekening: Multi-step advantage labels worden offline berekend met behulp van Monte Carlo returns. Menselijke correctieve interventies worden geforceerd als positief gelabeld om herstelgedrag te versterken.
   • Verfijningslus: De policy wordt iteratief verfijnd door te trainen op een mix van originele teleoperatie-data, succesvolle autonome rollouts en menselijke correcties. Cruciaal is dat elke verfijningsiteratie wordt geïnitialiseerd vanaf het originele base checkpoint om optimalisatie-drift te voorkomen.

3. Latente Ruimte In/Out-of-Distribution (OOD) Analyse:
   Een diagnostisch hulpmiddel wordt geïntroduceerd om te meten hoe ver de huidige staat van de robot afwijkt van de trainingsdistributie. Door een Gaussian Mixture Model (GMM) te fitten op de latente embeddings van de state encoder, berekent het systeem de Mahalanobis-afstanden. Dit maakt de detectie mogelijk van staten waarin de policy waarschijnlijk zal falen, waarbij onderscheid wordt gemaakt tussen bendigne variatie en echte afwijkingen van het gedemonstreerde manifold.

Belangrijkste Resultaten
Het framework werd geëvalueerd op een taak voor het bijvullen van chips die het grijpen, draaien van de romp en plaatsen omvat.

• Baseline Falen: Een naïeve fine-tuning van GR00T N1.6 (zonder DEED engineering) behaalde een succespercentage van 0%, waarbij het niet in staat was om items betrouwbaar te grijpen of te plaatsen.
• Data-efficiënte Fase: Het toepassen van de Data-Efficient recipe alleen verbeterde het succespercentage naar 32% (16/50 episoden) met een gemiddelde uitvoeringstijd van 24,30s per zak. Dit was de eerste configuratie die de volledige pick-rotate-place sequentie autonoom kon uitvoeren.
• Ervaringsgestuurde Fase: Een enkele RECAP-iteratie verbeterde het succespercentage naar 42% (21/50) en verkortte de uitvoeringstijd naar 22,37s.
• Degradatie in Tweede Iteratie: Een tweede verfijningsiteratie zorgde voor een daling van de prestaties naar 22%. Analyse toonde aan dat dit kwam door distributie-drift: zelfgegenereerde rollouts begonnen de trainingsset te domineren, waardoor de effectieve state-action distributie versmalde en de policy wegdriften van de robuuste gedragingen die door de originele teleoperatie-data werden verankerd.
• Reset Gedrag: Verfijnde policies hadden de neiging om na een enkele plaatsing te stoppen in plaats van terug te keren naar de startconfiguratie, aangezien de terminale successtaat een hogere waarde kreeg toegewezen dan de tussenliggende reset-poses.

Betekenis en Claims
Het artikel beweert dat de primaire barrière voor het inzetten van VLA-gebaseerde humanoids in echte retailomgevingen niet architecturale nieuwheid is, maar systeemintegratie. De auteurs demonstreren dat:

1. Data Kwaliteit boven Kwantiteit gaat: Zorgvuldige datacuratie en gerichte post-training kunnen een niet-functioneel foundation model checkpoint transformeren tot een competent real-world systeem met slechts één enkele GPU.
2. Complementaire Fasen: De Data-Efficient fase biedt de noodzakelijke basis voor functionaliteit, terwijl de Experience-Driven verfijning marginale winsten biedt in robuustheid.
3. Limieten van Iteratieve Verfijning: In scenario's met hoge variabiliteit bij humanoids kan iteratieve verfijning zonder een gebalanceerde mix van demonstraties en rollouts leiden tot prestatieverslechtering door distributie-drift.
4. Monitoring als een Eersteklas Burger: De voorgestelde latente ruimte-analyse biedt een model-agnostisch mechanisme om deployment-fouten te diagnosticeren en de grenzen van de trainingsdistributie van een policy te begrijpen.

De auteurs concluderen dat hoewel DEED de kloof voor een specifieke taak succesvol overbrugt, de voordelen van experience-driven learning afhankelijk zijn van de taakvariabiliteit en het handhaven van een gebalanceerde trainingsdistributie.