🤖 machine learning

ProcVLM: Learning Procedure-Grounded Progress Rewards for Robotic Manipulation

Het artikel introduceert ProcVLM, een visueel-taalmodel dat procedure-gegronde voortgangsbeloningen leert door te redeneren over resterende atomaire acties en visuele veranderingen, getraind op een enorm dataset van 60 miljoen frames (ProcCorpus-60M) om dichte, discriminerende feedback te bieden voor robotmanipulatie op lange termijn.

Oorspronkelijke auteurs: Youhe Feng, Hansen Shi, Haoyang Li, Xinlei Guo, Yang Wang, Chengyang Zhang, Jinkai Zhang, Xiaohan Zhang, Jie Tang, Jing Zhang

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Youhe Feng, Hansen Shi, Haoyang Li, Xinlei Guo, Yang Wang, Chengyang Zhang, Jinkai Zhang, Xiaohan Zhang, Jie Tang, Jing Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Tijdsval"

Stel je voor dat je een robot leert om een taart te bakken.

De Oude Manier: De meeste robots leren door naar een video te kijken van het maken van een perfecte taart. Maar als de robot een taart probeert te maken en bloem laat vallen, zeggen de oude systemen vaak gewoon: "Je bent aan het einde gefaald." Ze weten niet waarom het mislukte of hoe ver de robot was gekomen voordat de fout werd gemaakt.
De "Tijds"val: Sommige systemen proberen vooruitgang te raden door naar de klok te kijken. Ze denken: "Als er 10 seconden zijn verstreken, moet de robot 50% klaar zijn!" Maar dit is verkeerd. Als de robot 10 seconden besteedt aan het proberen van het oppakken van een gladde lepel, heeft hij eigenlijk geen vooruitgang geboekt. Tijd verstrijken $\neq$ werk verzetten.

De auteurs van dit artikel zeggen: Robots hebben een leraar nodig die de stappen begrijpt, niet alleen de klok of het eindresultaat.

De Oplossing: ProcVLM (De "Stap-voor-Stap" Coach)

Het team heeft een nieuw AI-model gemaakt genaamd ProcVLM. Denk hierbij aan een zeer waakzame coach die een robot bij het werk observeert en constant feedback geeft over precies hoe het proces verloopt.

Hoe het werkt (De "Redeneren Eerst" Truc):
In plaats van gewoon een getal te raden (zoals "70% klaar"), handelt ProcVLM als een menselijke coach die nadenkt voordat hij spreekt:

Het kijkt naar de scène: "Oké, de robot houdt het blauwe bord vast."
Het redeneert over het plan: "Het doel is het bord in de rek te doen. De robot heeft het bord al gewassen. Het moet het nog oppakken, tillen en erin schuiven."
Het berekent de vooruitgang: "Aangezien het klaar is met wassen en momenteel aan het tillen is, is het ongeveer 80% klaar."

Deze "Eerst Redeneren, dan Schatten" aanpak betekent dat de robot krediet krijgt voor het voltooien van een sub-stap (zoals wassen), zelfs als het vastloopt op de volgende stap (zoals tillen).

De Trainingsdata: De "60 Miljoen Frames" Bibliotheek

Om ProcVLM zo'n goede coach te leren, moesten de onderzoekers een enorme bibliotheek met voorbeelden bouwen.

De Uitdaging: Echte robotvideo's hebben meestal alleen labels voor "Start" en "Einde". Ze hebben geen labels voor elke seconde van wat de robot doet.
De Oplossing: Ze gebruikten een super-slimme AI (een "Grote VLM Annotator") om 400.000 robotvideo's te bekijken en automatisch gedetailleerde notities te schrijven voor elk enkel frame.
- Wat heeft de robot net gedaan? (bijv. "Het kopje gepakt")
- Wat moet er nog gedaan worden? (bijv. "Kopje in de gootsteen doen")
- Is de taak voltooid? (Ja/Nee)
Het Resultaat: Ze creëerden ProcCorpus-60M, een dataset met 60 miljoen geannoteerde frames. Het is alsof je een boek van 400.000 pagina's met alleen hoofdstuktitels omzet in een boek met een gedetailleerde samenvatting op elke enkele pagina.

Het "VQA" Spel: Leren door Vragen te Stellen

Ze veranderden deze enorme bibliotheek in een spel genaamd ProcVQA. In plaats van alleen maar te kijken, moest de AI vragen beantwoorden zoals:

"Welke actie gebeurt er op dit moment?"
"Wat is de allerlaatste stap die de robot moet nemen?"
"Op basis van wat je ziet, welk percentage van de taak is voltooid?"

Door dit spel keer op keer te spelen met 60 miljoen voorbeelden, leerde ProcVLM de logica van een taak te begrijpen, niet alleen de afbeeldingen.

Waarom Dit Belangrijk Is: De "Dichte Beloning"

In de wereld van robotleren is een "beloning" als een traktatie.

Schaarse Beloning (Oude Manier): De robot krijgt een traktatie alleen als de taak 100% perfect is. Als het halverwege faalt, krijgt het niets. Dit maakt leren traag en frustrerend.
Dichte Beloning (ProcVLM): ProcVLM geeft de robot een "traktatie" (feedback) bij elke stap. "Goed gedaan dat je het blok oppakte!" "Oké, je liet het vallen, maar je bent nog steeds in het juiste gebied."

Omdat ProcVLM de stappen begrijpt, kan het het verschil zien tussen:

Stagnatie: De robot zit vast en doet niets.
Mislukking: De robot liet het object vallen.
Vooruitgang: De robot worstelt maar komt vooruit.

De Resultaten: Werkt Het?

Het artikel testte ProcVLM op drie hoofdmanieren:

Taken Begrijpen: Het werd beter in het raden op welke stap de robot zat en wat er als volgende moest gebeuren, vergeleken met andere top-AI-modellen.
Snel Aanpassen: Wanneer het slechts één voorbeeld van een nieuwe taak werd getoond (zelfs een mislukte), kon ProcVLM direct begrijpen hoe het vooruitgang moest beoordelen voor die specifieke taak. Andere modellen hadden moeite om zich aan te passen met zo weinig data.
Robots Leren: Toen ze ProcVLM gebruikten om een echte robot te helpen trainen (kommen stapelen), leerde de robot sneller en stabieler dan wanneer het werd getraind met standaardmethoden. Het was beter in het omgaan met rommelige, real-world fouten.

Samenvattende Analogie

Stel je voor dat je autorijden leert.

Oude AI: Je krijgt alleen een "Geslaagd" of "Niet Geslaagd" cijfer aan het einde van de test. Als je halverwege de motor laat stallen, krijg je geen feedback over hoe je het moet oplossen.
ProcVLM: Het is als een rijinstructeur die op de bijrijdersstoel zit. Het zegt: "Je hebt de sleutel omgedraaid, goed. Nu druk je te hard op het gas, laat iets los. Je bent 60% door de kruising, blijf kijken naar het licht."

ProcVLM geeft robots datzelfde soort continue, stap-voor-stap begeleiding, waardoor ze slimmer en betrouwbaarder worden in het leren van nieuwe taken.

Technische Samenvatting: ProcVLM

Probleemstelling

Robotmanipulatie op lange termijn vereist dichte feedbacksignalen die de voortgang van een taak door procedurele fasen nauwkeurig weerspiegelen, in plaats van uitsluitend te vertrouwen op binaire succes/mislukking-uitkomsten op trajectniveau. Bestaande beloningsmodellen zijn vaak afhankelijk van schaarse terminale labels of tijdsgebaseerde interpolatie. De auteurs betogen dat deze benaderingen kritieke staten zoals onvoltooide stappen, stagnatie en herstel van mislukkingen niet vastleggen, aangezien de verstreken tijd niet noodzakelijkerwijs correleert met echte taakvoortgang in complexe manipulatieopdrachten. Bovendien ontbreken in de meeste grootschalige robotdatasets expliciete annotaties van de procedurele structuur (bijv. subtaakgrenzen en resterende acties), waardoor beloningsmodellen gedwongen zijn om te vertrouwen op indirecte supervisie die temporale proxies verward met semantische voortgang.

Methodologie

1. Synthese van Procedurele Supervisie (ProcCorpus-60M)

Om het gebrek aan dichte procedurele supervisie aan te pakken, ontwikkelden de auteurs een schaalbaar proces om frame-niveau annotaties te synthetiseren uit ruwe robottrajecten.

Hiërarchische Annotatie: Met behulp van grote Vision-Language Models (VLM's) als annotatoren, infereert het proces eerst hoog-niveau taakplannen en temporele spannen van subtaken vanuit de volledige video. Vervolgens worden deze segmenten uitgebreid tot frame-voor-frame toewijzingen, waarbij redeneerhints (stateredenering, voltooiingsstatus, resterende acties) worden gegenereerd op visueel gededupliceerde sleutelframes.
Datasetconstructie: Dit proces is toegepast op 30 embodied datasets (waaronder DROID, BridgeData V2, Fractal en simulatiebenchmarks), wat resulteerde in ProcCorpus-60M, met meer dan 400.000 trajecten en 60 miljoen geannoteerde frames.
Voortgangslabeling: Continue voortgangsdoelen worden afgeleid door de structuur op subtaakniveau te combineren met visuele beweging binnen subtaken. Er wordt een voortgangsbudget toegewezen aan elke subtaak op basis van zijn relatieve duur, en dit budget wordt over de tijd verdeeld volgens lokale visuele veranderingen ( $\|\dot{\phi}(\tau)\|$ ), waardoor eenvoudige lineaire tijdsinterpolatie wordt vermeden.

2. ProcVQA en Trainingsparadigma

De annotaties worden omgezet in ProcVQA, een trainingscorpus van 20 miljard tokens dat draait om het schatten van taakvoortgang. De training volgt een "redeneren-voordat-je-schat"-paradigma, waarbij het model eerst de huidige uitvoeringsfase en resterende atomaire acties moet afleiden voordat het een continue voortgangsscore voorspelt.

Taakfamilies:
- Voortgangsvoorspelling met subtaakstructuur: Het model geeft resterende atomaire subtaken uit, gevolgd door een percentage voltooiing (continue waarde) omhuld door <progress>-tags.
- Actiesegmentatie: Het voorspellen van temporele grenzen van atomaire acties.
- Toekomstplanning: Het voorspellen van de reeks resterende acties die nodig zijn om de taak te voltooien.
Architectuur: ProcVLM is gebouwd op een Qwen3-VL-2B-Instruct-ruggengraat. Het maakt gebruik van een standaard autoregressieve taalmodelleringshoofd voor tekstgeneratie en een dedicated progress value head (een MLP van 3 lagen) voor continue regressie.
Trainingsdoelen: Een gezamenlijke verliesfunctie combineert het taalmodelleringverlies ( $L_{LM}$ ) met een regressieverlies ( $L_{value}$ ) voor de voortgangsscore. Een schakelmechanisme activeert de value head alleen wanneer voortgangssupervisie aanwezig is.
Tweestaps Training:
1. Pretraining: Grootschalige training op het volledige ProcVQA-dataset (~20 miljard tokens) om algemene procedurele representaties te leren.
2. Verfijning: Fijne afstemming op een gecureerde, hoogwaardige subset (~2,8 miljard tokens) om de afstemming op subtaken en de schatting van voortgang te verscherpen.

Belangrijkste Bijdragen

ProcVLM: Een voortgangsgevoelig embodied VLM dat dichte, procedure-gegronde beloningen voorspelt. Het koppelt continue voortgangsschatting aan subtaaksemantiek, resterende acties en vooruitgang binnen een fase via een "redeneren-voordat-je-schat"-paradigma.
Schaalbaar Supervisieproces: Een methode om ruwe manipulatietrajecten om te zetten in frame-niveau, subtaak-gestructureerde annotaties, wat resulteert in ProcCorpus-60M en de ProcVQA-benchmark.
Systematische Evaluatie: Uitgebreide evaluatie op procedure-gevoelig begrip, beloningsmodellering, aanpassing over taken heen en downstream beleidsoptimalisatie.

Experimentele Resultaten

Embodied Procedureel Begrip (ProcVQA)

Geëvalueerd op splitsingen binnen de verdeling (ID) en buiten de verdeling (OOD), presteerde ProcVLM beter dan mainstream VLM's (waaronder GPT-5.4, Gemini 3.1 Pro en Qwen3.5) op actiesegmentatie, toekomstplanning en taakvoortgangsschatting. Het behaalde de hoogste scores voor BF1@5, Success, VOC (Value-Order Correlation) en EPR@50 (Effective Progress Resolution).

Evaluatie van Generaliseerbare Voortgangsbeloning

Zero-Shot Vergelijking: Op de ProcVQA-OOD-subset behaalde ProcVLM de beste VOC, wat wijst op superieure interne voortgangsordening binnen trajecten in vergelijking met baselines zoals Robometer en RoboDopamine.
One-Shot Aanpassing: Op de RoboFAC-benchmark (analyse van mislukkingen bij echte robots) verbeterde het toevoegen van één succesvolle demonstratie de VOC van ProcVLM met 85,7% en de MCC met 18,8%. In tegenstelling hieraan toonden baselines zoals Robometer minimale verbetering, wat suggereert dat schaarse preferentiesupervisie minder effectief is voor aanpassing op basis van één demonstratie.
Ablatiestudies: Het verwijderen van procedure-gevoelige pretraining veroorzaakte een ernstige degradatie (bijv. -88,8% in MAE voor foutlokalisatie), wat bevestigt dat grootschalige pretraining essentieel is voor overdraagbare voortgangswaarneming. Het verwijderen van supervisie in redeneervorm leidde ook tot consistente dalingen, wat het belang van expliciete subtaakstructuur onderstreept.

Downstream Beleidsoptimalisatie

In experimenten met beloningsgeleide fijne afstemming (RFT) met het Evo-RL-framework:

Simulatie (LIBERO-10): RFT met ProcVLM-beloningen leverde gematigde winsten op (+0,4 tot +1,2 procentpunten) ten opzichte van supervised fine-tuning (SFT).
Echte Robot (Stack Bowls): RFT toonde significante verbeteringen, met succespercentages die met +25,0% stegen bij 5k stappen en met +12,5% bij 10k stappen in vergelijking met SFT. De auteurs schrijven dit toe aan het vermogen van ProcVLM om ruisachtige segmenten (bijv. herhaalde grijp-pogingen) in telebediende data te verzwakken, waardoor beleidsoptimalisatie wordt gestabiliseerd.

Betekenis en Beweringen

Het artikel beweert dat voortgangsschatting gebaseerd op procedure een cruciale mogelijkmaker is voor overdraagbare beloningsmodellering in de robotica. Door voortgang te gronden in procedurele structuur in plaats van temporale proxies, biedt ProcVLM discriminerende feedback die stabiele beleidsverbetering ondersteunt, met name in scenario's met ruisachtige data van echte robots en taken op lange termijn. Het werk suggereert dat grootschalige procedure-gevoelige pretraining een veelbelovende route is voor het ontwikkelen van beloningsmodellen die zich kunnen aanpassen over taken en mislukkingsmodi heen, waardoor beloningsgeleide beleidsoptimalisatie verder gaat dan offline demonstraties.

De auteurs erkennen beperkingen, waarbij zij opmerken dat schattingen afhankelijk zijn van de kwaliteit van de subtaakdecompositie en dat het huidige werk zich richt op een specifieke set van beloningsgeleide optimalisatie-instellingen in plaats van exhaustief alle integraties met beleidsgradiënten of preferenties te bestrijken.