🤖 AI

Recurrent Reasoning with Vision-Language Models for Estimating Long-Horizon Embodied Task Progress

Deze paper introduceert $\text{R}^2$ VLM, een recurrente redeneringsarchitectuur voor Vision-Language Models die door het iteratief verwerken van lokale videofragmenten met een evoluerende Chain of Thought, de computatiekosten verlaagt en de prestaties bij het schatten van de voortgang van langdurige, embodied taken aanzienlijk verbetert.

Oorspronkelijke auteurs: Yuelin Zhang, Sijie Cheng, Chen Li, Zongzhao Li, Yuxin Huang, Yang Liu, Wenbing Huang

Gepubliceerd 2026-03-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuelin Zhang, Sijie Cheng, Chen Li, Zongzhao Li, Yuxin Huang, Yang Liu, Wenbing Huang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot hebt die een complexe taak moet uitvoeren, zoals "een kop koffie maken" of "een omelet bakken". Dit zijn geen één-stap-taken; het is een lange reeks van handelingen: eerst de koelkast openen, dan de eieren pakken, dan de pan op het vuur zetten, enzovoort.

Het grootste probleem voor deze robot is: "Hoe weet ik hoe ver ik al ben?"

Als de robot alleen maar naar het begin en het einde van de video kijkt, raakt hij de draad kwijt. Als hij elke seconde van de video opnieuw moet analyseren, wordt hij overweldigd door de hoeveelheid informatie en wordt het te traag.

De auteurs van dit paper hebben een slimme oplossing bedacht, genaamd R2VLM. Laten we dit uitleggen met een paar creatieve analogieën.

1. De "Gedachtenkrant" (Chain of Thought)

Stel je voor dat je een lange reis maakt. In plaats van dat je elke seconde naar de hele kaart kijkt (wat vermoeiend is), houd je een reisdagboek bij.

Je schrijft op: "Ik ben bij de eerste afslag geweest."
Vervolgens: "Ik heb de brug overgestoken."
En dan: "Ik ben nu bij de benzinepomp."

R2VLM doet precies dit. Het model heeft een Chain of Thought (CoT), wat we kunnen zien als een digitaal dagboek. Dit dagboek bevat een lijst van wat er al is gedaan en wat er nog moet gebeuren.

Het slimme trucje: Het model kijkt niet naar de hele video van begin tot eind. Het kijkt alleen naar het nieuwe stukje video dat er net is bijgekomen (bijvoorbeeld de laatste 2 seconden).
Het combineert dit nieuwe stukje met zijn dagboek uit de vorige seconde.
Het update zijn dagboek: "Ah, ik zie dat de robot nu de pan vasthoudt. Dat betekent dat 'pan pakken' is afgerond. Ik schrijf het in het dagboek en bereken opnieuw hoe ver we zijn."

2. Waarom is dit zo slim? (De "Bliksem" vs. de "Slak")

Vroeger probeerden robots om de hele video van een uur lang in één keer te bekijken om te zien hoe ver ze waren.

De Slak: Dit is als proberen een heel boek te lezen door alle pagina's tegelijk op je hoofd te leggen. Het duurt eeuwen en je krijgt een hoofdpijn (rekenkracht is te duur).
De Bliksem (R2VLM): R2VLM is als een slimme verslaggever die alleen kijkt naar wat er nu gebeurt, maar die zich perfect herinnert wat er eerder is gebeurd dankzij zijn dagboek. Hierdoor is hij supersnel en hoeft hij niet de hele geschiedenis opnieuw te lezen.

3. De "Distractor" (De Verkeerde Weg)

Om de robot echt slim te maken, hebben de onderzoekers hem getraind met "verkeerde" opdrachten.
Stel je voor dat je een robot leert om "eieren te bakken". Je geeft hem een video waar iemand eieren bakt, maar je zegt tegen de robot: "Je moet een sandwich maken."

De eerste stap (brood pakken) lijkt misschien op eieren pakken.
Maar als de robot echt zou denken, zou hij zien: "Wacht, er komen geen eieren in de pan, dus ik ben niet aan het brood bakken."
Door dit te oefenen, leert de robot niet alleen te kijken naar beelden, maar echt te redeneren over wat er gebeurt, in plaats van alleen te gissen op basis van wat hij ziet.

4. Wat kan deze robot nu doen? (De Toepassingen)

Dit systeem is niet alleen handig om te zeggen "je bent 43% klaar". Het opent deuren voor drie coole dingen:

De Slimme Coach (Proactieve Hulp):
Stel je voor dat je een ouder iemand helpt met koken. De robot kijkt mee en zegt: "Je hebt de pan al op het vuur gezet, maar je bent vergeten de olie erin te doen. Doe dat nu maar, anders brandt het." Hij weet precies welke stap er nu aan de beurt is.
De Trainer voor Robots (Beloningssysteem):
Als je een robot wilt leren een taak te doen, moet je hem belonen als hij iets goed doet. Vroeger kreeg hij pas een beloning als hij alles klaar had (te laat!). Met R2VLM krijgt de robot een klein "lekkerigheidje" (beloning) voor elke stap die hij goed doet. Dit maakt het leren veel sneller en stabieler.
De Beter Leerling (Beleidsoptimalisatie):
Robots die deze technologie gebruiken, worden beter in het plannen van hun acties. Ze weten precies of ze nog tijd hebben of dat ze sneller moeten werken, omdat ze een realistisch beeld hebben van hun voortgang.

Samenvatting

Kortom, R2VLM is een slimme robot-hulp die niet probeert de hele wereld in één keer te bevatten. In plaats daarvan houdt hij een dagboek bij, kijkt hij alleen naar wat er nu gebeurt, en gebruikt hij zijn verstand om te begrijpen hoe ver hij is in een lange taak. Hierdoor is hij snel, slim en kan hij ons echt helpen bij complexe klusjes in de echte wereld.

1. Het Probleem

Voor embodied agents (robots of virtuele agenten) is het nauwkeurig inschatten van de voortgang van een taak cruciaal voor het plannen en uitvoeren van complexe, meerstaps taken met een lange horizon (long-horizon tasks). Bestaande methoden die Vision-Language Models (VLM's) gebruiken, hebben echter twee belangrijke beperkingen:

Onderschatting van redeneervermogen: Huidige benaderingen vertrouwen voornamelijk op het video-interpretatievermogen van VLM's en negeren hun complexe redeneercapaciteiten. Dit maakt het moeilijk om complexe temporale afhankelijkheden tussen subtaken te begrijpen.
Rekenkundige onhaalbaarheid: Het verwerken van volledige, lange videotrajecten met VLM's is computergewijs te duur en te traag voor real-time toepassing in de echte wereld. Daarnaast leiden zeer lange contextvensters vaak tot "attention dispersion" en hallucinaties in de modellen.

2. Methodologie: R2VLM

De auteurs introduceren R2VLM (Recurrent Reasoning Vision-Language Model), een model dat ontworpen is om deze uitdagingen aan te pakken door een iteratieve, recurrente redeneerframework te combineren met lokale videofragmenten.

Kernarchitectuur

Recurrente Redenering: In plaats van de volledige video in één keer te verwerken, ontvangt het model korte video-snippets (lokale frames) en een historische "Chain of Thought" (CoT) van de vorige iteratie.
Chain of Thought (CoT): Het model genereert expliciet een CoT voordat het een voortgangsinschatting doet. Deze CoT bevat:
1. Een decompositie van de lange-termijn taak in subtaken.
2. Een analyse van welke stappen zijn waargenomen en voltooid versus welke nog uitstaan.
3. Een inschatting van de voortgang gebaseerd op het percentage voltooide stappen.
Iteratief Updaten: Bij elke tijdstap $t$ update het model de CoT ( $c_t$ ) door de historische CoT ( $c_{t-1}$ ) te integreren met de nieuwe visuele observatie ( $v_t$ ). Hierdoor behoudt het model een globale context zonder de volledige video opnieuw te hoeven verwerken.

Dataset en Training

Data Generatie: De auteurs hebben een geautomatiseerde pijplijn ontwikkeld om grote datasets te genereren uit ALFRED (simulatie) en Ego4D (real-world). Ze gebruiken grote modellen om hoogwaardige CoT-data te genereren die de taakdecompositie en voortgang koppelen aan video-snippets.
Distractor Taken: Om te voorkomen dat het model oppervlakkige visuele cues als shortcuts gebruikt, worden "distractor" taakbeschrijvingen gegenereerd die de eerste stappen overeenkomen met de echte taak, maar daarna afwijken.
Twee-staps Training:
1. Supervised Fine-Tuning (SFT): Het model leert redeneerpatronen voor taakdecompositie en voortgangsschatting.
2. Reinforcement Learning (RL): Gebruikmakend van PPO (Proximal Policy Optimization) om het model te optimaliseren voor multi-turn redenering.
Beloningssysteem (Reward Design): De RL-fase maakt gebruik van een complexe beloningsfunctie die bestaat uit:
- Format Reward: Controleert de outputstructuur.
- Bin Reward: Belooft als de voortgang binnen het juiste interval valt (bijv. 1-2 stappen voltooid).
- MAE Reward: Straft de absolute fout in de voortgangsinschatting.
- Improvement Reward: Belooft het model als de fout in de huidige iteratie kleiner is dan in de vorige (moedigt zelfcorrectie aan).
- Finish Reward: Belooft nauwkeurige detectie van taakvoltooiing.

3. Belangrijkste Bijdragen

Nieuwe Architectuur: R2VLM is het eerste model dat recurrente redenering met een evoluerende CoT toepast op lokale video-snippets voor voortgangsschatting, waardoor het globale context behoudt zonder de kosten van volledige video-verwerking.
Grootschalige Dataset: Het creëren van een automatisch gegenereerde dataset met multi-turn video-interacties en bijbehorende CoT-data voor zowel simulatie als real-world scenario's.
State-of-the-Art Prestaties: Het model bereikt nieuwe records op de benchmarks ALFRED en Ego4D, met name wat betreft nauwkeurigheid en generalisatie.
Toepassingsbreedte: De auteurs demonstreren dat de voortgangssignalen nuttig zijn voor diverse downstream taken, waaronder beleidsleren (policy learning), beloningsmodellering voor reinforcement learning, en proactieve assistentie.

4. Resultaten

De experimenten tonen aan dat R2VLM significant beter presteert dan bestaande methoden (zoals GVL, ROVER, en grote API-modellen zoals GPT-5 en Gemini):

Nauwkeurigheid: Op het ALFRED-dataset bereikt R2VLM een Mean Absolute Error (pMAE) van 2.19, vergeleken met 27.87 voor de basis Qwen2.5-VL-7B en 18.35 voor GPT-5.
Efficiëntie: Het gebruik van video-snippets in plaats van volledige video's zorgt voor een constante inferentietijd, ongeacht de videolengte, terwijl methoden met volledige video's lineair langzamer worden.
Generalisatie: Het model toont sterke prestaties op zowel gesimuleerde als real-world data (Ego4D), hoewel de prestaties op de real-world data iets lager zijn door de complexiteit en ruis in de omgeving.
Ablatie Studies: Het verwijderen van de "Improvement Reward" leidt tot een significante daling in prestaties, wat aantoont dat het vermogen tot iteratieve zelfcorrectie essentieel is voor lange-termijn taken.

5. Betekenis en Toekomst

Deze studie is significant voor het veld van Embodied AI omdat het een praktische oplossing biedt voor het probleem van "lange horizon" taken. Door het combineren van visuele waarneming met expliciete redenering en geheugen (via CoT), kunnen agents niet alleen zeggen wat ze zien, maar ook waarom ze ergens zijn en hoe ver ze zijn gekomen.

De toepasbaarheid van R2VLM gaat verder dan alleen schatting:

Beleidsoptimalisatie: Agents kunnen beter leren door voortgangssignalen te gebruiken in plaats van alleen tijd-gebaseerde signalen.
Dichte Beloningen: Het biedt een manier om dichte, nauwkeurige beloningen te genereren voor reinforcement learning in complexe omgevingen, wat vaak een bottleneck is.
Proactieve Assistentie: Het systeem kan in real-time menselijke gebruikers of andere agents informeren over de status van taken, wat waardevol is voor toepassingen in onderwijs, gezondheidszorg en slimme thuisomgevingen.

Kortom, R2VLM beweegt het veld vooruit van puur visuele perceptie naar een systeem dat structureel redeneert over tijd en taakvoortgang, wat essentieel is voor het creëren van autonome robots die complexe taken in de echte wereld kunnen voltooien.