Technische Samenvatting: Robotcritici die oog hebben voor het kleinste detail

Probleemstelling

Large Vision-Language Models (VLM's) bezitten uitgebreide voorkennis over de fysieke wereld, wat hen veelbelovende kandidaten maakt om tijdens de inferentie robotbeleid aan te sturen als "critici". Er bestaat echter een kritische kloof in fijnmazig visueel redeneren. Hoewel standaard VLM's en bestaande methoden voor voortgangsdetectie onderscheid kunnen maken tussen de initiële en finale taakstaten of hoogwaardige subtaken kunnen identificeren, worstelen ze met het onderscheiden van subtiele visuele verschillen die succes van falen scheiden.

Bijvoorbeeld, een verkeerde uitlijning van de grijper van slechts 1 mm kan er visueel bijna identiek uitzien als een succesvolle greep, maar resulteert toch in taalfalen. Huidige methoden schieten tekort in dit "fijnmazige regime" waar het tijdsinterval tussen frames nauw is. In experimenten behaalde baseline-modellen zoals Gemini 3 slechts 54,7% nauwkeurigheid in het onderscheiden van succes van falen, terwijl gespecialiseerde methoden voor voortgangsdetectie (ROVER, ProgressLM) respectievelijk 72,1% en 61,0% behaalden, wat nauwelijks beter is dan een willekeurige kans (50%) in deze subtiele scenario's. Deze beperking verhindert dat VLM's effectief stochastische robotbeleid wegsturen van faalmodi tijdens closed-loop uitvoering.

Methodologie

De auteurs stellen een framework voor om VLM's specifiek te finetunen voor paarwijze voortgangs- en faaldiscriminatie, waarbij ze worden geïntegreerd in een closed-loop robotbeleid via een actie-geconditioneerd videomodel.

1. Het trainen van VLM-critici

De kerninnovatie is de constructie van een dataset voor paarwijze voortgangssupervisie afgeleid van robot-rollouts.

• Data-constructie: Het systeem genereert gepaarde trajecten vanuit dezelfde initiële condities: één succesvol ($S_s$) en één falend ($S_f$).
• Succes-Succes Paren: Achtereenvolgende frames uit een succesvol traject worden gepaard om het model geleidelijk voorwaartse progressie te leren (waarbij het latere frame wordt gelabeld als meer progressie vertonend).
• Succes-Falen Paren: Frames uit een falend traject worden gepaard met frames uit een succesvol traject op hetzelfde tijdstip. Het succesvolle frame wordt gelabeld als het frame met meer progressie. Dit is cruciaal om de critic te leren beleid-specifieke faalmodi te herkennen (bijv. specifieke manieren waarop de robot faalt gegeven zijn huidige beleid) in plaats van alleen generiek taalfalen.
• Finetuning: Een VLM (specifiek Qwen2.5-VL-7B) wordt via supervised fine-tuning getraind om een discrete beslissing $c(v_i, v_j) \in \{+1, -1\}$ te voorspellen die aangeeft welk frame meer progressie vertoont, waarbij de cross-entropy loss wordt geminimaliseerd.

2. In-the-Loop Beleidssturing

De gefinetunede critic wordt geïntegreerd in de executielus van de robot om de prestaties tijdens de testfase te verbeteren:

1. Sampling: Gegeven een observatie $x_t$, samplet het basis-stochastische beleid (bijv. Diffusion Policy of GR00T N1.5) $N$ kandidaat-actiesequenties.
2. Diversiteit-pruning: Een greedy farthest-point sampling (FPS) strategie selecteert een diverse subset van $K$ kandidaten.
3. Toekomstige Synthese: Een actie-geconditioneerd videomodel (HunyuanVideo 1.5, een Diffusion Transformer) synthetiseert de terminale visuele staat $x_{t+H}$ voor elke kandidaat-actiesequentie.
4. Critic Selectie: De critic voert alle paarwijze vergelijkingen uit tussen de $K$ gegenereerde terminale staten. De kandidaat wiens terminale staat de meeste "stemmen" verzamelt (wat duidt op grotere progressie), wordt geselecteerd voor uitvoering.
5. Herplanning: De geselecteerde actie wordt uitgevoerd, en het proces herhaalt zich tot voltooiing van de taak.

Belangrijkste Bijdragen

• Fijnmazige Critic Training: Een methode om VLM's te finetunen met gepaarde succes- en faaltrajecten, waardoor ze subtiele visuele verschillen kunnen detecteren (bijv. millimeter-schaal misalignments) die standaard VLM's missen.
• Beleid-specifiek Leermoment van Falen: Het aantonen dat trainen op faaldata die specifiek is voor het ingezette beleid essentieel is. Critici die alleen getraind zijn op succesvolle demonstraties, falen in het herkennen van de specifieke faalmodi van het beleid, wat leidt tot een aanzienlijke daling in nauwkeurigheid bij het onderscheiden van succes en falen.
• Closed-Loop Integratie: Een volledige pipeline die stochastische beleidssampling, generatieve videovoorspelling en VLM-gebaseerde paarwijze vergelijking combineert om robotacties in realtime aan te sturen.
• Generalisatie: De aanpak generaliseert naar out-of-distribution (OOD) objecten en onbekende taken, wat wijst op een levensvatbare pretraining-strategie voor toekomstig taalleerproces.

Experimentele Resultaten

De auteurs evalueerden de methode op zowel real-world hardware als in simulatieomgevingen.

Nauwkeurigheid Benchmarks

• RoboCasa (Simulatie): De gefinetunede critic behaalde een gemiddelde nauwkeurigheid van 93,6% op in-distribution taken en 91,4% op out-of-distribution taken, waarmee het baselines zoals Gemini 3 (54,7%) en ROVER (72,1%) aanzienlijk verslaat.
• LBM (Real-World): Op de LBM-dataset behaalde de methode een gemiddelde nauwkeurigheid van 90,0%, vergeleken met 62,9% voor ROVER en 55,4% voor Gemini 3.
• Fijnmazig Regime: Naarmate het temporele interval tussen de vergeleken frames kleiner werd (waardoor visuele verschillen subtieler werden), daalde de prestatie van de baseline van 73% naar 56%. De voorgestelde methode behield een hoge prestatie met slechts een daling van 2%, wat robuustheid demonstreert in fijnmazige discriminatie.

Verbetering van Beleidsprestaties

• Real-World Taken: Het gebruik van de critic-in-the-loop verbeterde het succespercentage van de basis Diffusion Policy met gemiddeld +11%. Specifieke winsten omvatten een toename van 18% voor "Stacking"-taken en een 2,3x verbetering in de gemiddelde Intersection over Union (mIoU) voor "Push-Bowl"-taken.
• Simulatie Taken (RoboCasa365): De methode verbeterde het succespercentage van het GR00T N1.5-beleid van 43,6% naar 49,5%, een gemiddelde winst van +5,9%. Significante verbeteringen werden waargenomen in taken die precieze manipulatie van knoppen, deuren en hendels vereisen.

Betekenis en Claims

Het artikel claimt dat hoewel VLM's waardevolle semantische voorkennis bieden, hun nut in robotica beperkt wordt door hun onvermogen om te redeneren over fijnmazige visuele progressie en beleid-specifieke fouten. Door critici expliciet te trainen op de nuances van succesvolle en falende trajecten, laten de auteurs zien dat VLM's kunnen worden getransformeerd tot effectieve "sweaters of the small stuff" (critici die oog hebben voor het kleinste detail).

De betekenis ligt in het vermogen om stochastische beleidsmodellen tijdens de testfase te verbeteren zonder het beleid zelf te hertrainen. De methode fungeert als een filter die de meest veelbelovende actiekandidaten selecteert uit een distributie van mogelijkheden. De auteurs benadrukken dat het herkennen van falen even belangrijk is als het herkennen van progressie; zonder faaldata kunnen critici beleid niet effectief wegsturen van de "naald in de hooiberg" van succesvolle acties die verborgen liggen tussen vele faalmodi. Deze aanpak overbrugt de kloof tussen het hoogwaardige redeneren van foundation models en de precisie op laag niveau die vereist is voor succesvolle robotmanipulatie.