Video-Based Reward Modeling for Computer-Use Agents

Dit paper introduceert ExeVRM, een model-agnostisch reward model dat op basis van uitvoervideo's en gebruikersinstructies de succesvolheid van computergebruiksagenten evalueert en hiermee state-of-the-art prestaties behaalt die zelfs proprietary modellen als GPT-5.2 en Gemini-3 Pro overtreffen.

De kern

Stel je voor dat je een nieuwe, slimme robot-assistent hebt die voor je computerwerk kan doen. Hij kan e-mails schrijven, bestanden verplaatsen en websites doorzoeken. Maar hoe weet je of hij het werk écht goed heeft gedaan?

Dit is het probleem waar deze wetenschappelijke paper over gaat. De auteurs hebben een slimme oplossing bedacht: een "video-bewerker" die kijkt naar het scherm van de computer en vertelt of de robot zijn taak heeft volbracht.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Zwarte Doos" van de Robot

Vroeger keken mensen naar de gedachten van de robot (wat hij in zijn hoofd dacht) of naar de code die hij schreef om te zien of hij goed werkte. Dat is als kijken naar het recept van een kok terwijl hij kookt. Maar wat als de kok het recept verkeerd leest, maar het eten er toch goed uitziet? Of wat als hij het recept perfect volgt, maar het eten verbrandt?

De auteurs zeggen: "Kijk niet naar wat hij denkt, kijk naar wat hij doet."
Ze kijken alleen naar het videobewijs: een reeks screenshots van het computerscherm terwijl de robot werkt. Het maakt niet uit welke robot het is; als je naar het scherm kijkt, zie je of het werk af is.

2. De Uitdaging: Een Film vol Ruis

Het probleem met het kijken naar computerschermen is dat ze vaak saai en vol ruis zijn.

• De Ruis: Stel je voor dat je een video bekijkt van iemand die een document bewerkt. 90% van de video is saai: het bureaublad, de balk bovenin, de randen van het venster. Die veranderen nooit.
• De Belangrijke Momenten: Maar de echte actie gebeurt in kleine details: een muis die op een knop klikt, een tekstje dat verschijnt, of een venster dat opent.

Als je een hele lange film bekijkt om één klein moment te vinden, word je moe en vergeet je het belangrijke detail. Computers hebben ook moeite met zo'n lange, saaie video; het kost te veel rekenkracht.

3. De Oplossing: De Slimme "Schermknipper"

De auteurs hebben een nieuwe techniek bedacht die we kunnen vergelijken met een slimme filmredacteur:

• Ruimtelijke Knippen (STP): De redacteur kijkt naar één frame en zegt: "Die grote, saaie achtergrond en die toolbalk veranderen nooit. Laten we die wegknippen." Zo houdt hij alleen de belangrijke delen over, zoals het tekstveld waar de robot in typt.
• Tijdelijke Knippen (TTP): De redacteur kijkt naar de hele film en zegt: "In deze 10 seconden gebeurt er niets nieuws. Het venster staat open en verandert niet. Laten we die 10 seconden samenvoegen tot één seconde."

Door deze twee technieken samen te gebruiken, krijgen ze een korte, strakke samenvatting van de video. Alle saaie ruis is weg, maar de cruciale momenten (waar de robot een fout maakt of de taak voltooit) blijven scherp zichtbaar.

4. De Leermeester: Een Trucje met "Valse Vragen"

Om hun "video-bewerker" (het AI-model) slim te maken, hadden ze veel voorbeelden nodig van zowel geslaagde als mislukte taken. Maar in de echte wereld zijn mislukte taken zeldzaam; mensen delen meestal alleen hun successen.

Dus bedachten ze een slim trucje, genaamd "Adversarial Instruction Translation":
Stel je voor dat je een video hebt van iemand die een koffiezetapparaat bedient. De AI kijkt naar de video en zegt: "Dit is een video van iemand die koffie zet."
Maar de AI bedenkt dan een valse opdracht: "Kijk, dit is een video van iemand die thee maakt."
De AI moet dan uitleggen: "Nee, dat klopt niet! Op minuut 2 zie je dat hij koffiebonen gebruikt, geen theebladeren. Hier is de fout."

Door dit te oefenen met duizenden voorbeelden, leert het model heel goed te zien waar en waarom iets fout gaat, zelfs als de video er heel veelbelovend uitziet.

5. Het Resultaat: De Super-Bewerker

Het resultaat is een model genaamd ExeVRM.

• Het is getraind op 53.000 video-voorbeelden.
• Het is slimmer dan de duurste, beroemde AI-modellen van bedrijven zoals Google en OpenAI als het gaat om het beoordelen van computerwerk.
• Het kan niet alleen zeggen "Ja, het is goed" of "Nee, het is fout", maar het kan ook precies aangeven: "Op seconde 14 heeft de robot op de verkeerde knop gedrukt."

Samenvatting

In plaats van te proberen te raden wat de robot in zijn hoofd heeft, kijken deze onderzoekers naar het videobewijs van het scherm. Ze gebruiken slimme technieken om de saaie delen van de video weg te knippen en een "valse vraag"-truc om het model te leren fouten te vinden. Het resultaat is een super-slimme beoordelaar die ziet of een computer-robot zijn werk écht goed doet, net als een ervaren supervisor die naar het scherm kijkt en precies weet waar de fout zit.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Video-Based Reward Modeling for Computer-Use Agents" in het Nederlands.

Titel: Video-Based Reward Modeling for Computer-Use Agents

Auteurs: Linxin Song et al. (USC, University of Washington, MBZUAI, Amazon AGI)

---

1. Het Probleem

Computer-Use Agents (CUA's) worden steeds capabeler in het uitvoeren van complexe taken op desktops, browsers en mobiele apparaten. Echter, het evalueren van of een agent een gebruikersinstructie daadwerkelijk succesvol heeft voltooid, blijft een grote uitdaging.

• Beperkingen van bestaande methoden: Huidige benchmarks vertrouwen vaak op handgeschreven scripts of taalspecifieke regels om voltooiing te verifiëren. Dit is niet schaalbaar en moeilijk te transfereren naar nieuwe taken of omgevingen.
• Afhankelijkheid van interne logica: Veel reward-modellen vereisen toegang tot de interne redenering, tool-calls of code-traces van de agent. Dit maakt ze niet model-agnostisch en moeilijk toepasbaar op verschillende agent-architecturen.
• Data-uitdagingen:
  • Redundantie: CU-trajecten bevatten veel statische UI-elementen (toolbars, achtergronden) die weinig informatie toevoegen, terwijl de succesindicatoren vaak subtiele, lokale veranderingen zijn (bijv. cursorfocus, kleine tekstwijzigingen).
  • Gebrek aan negatieve supervisie: Publieke datasets bevatten voornamelijk succesvolle trajecten. Falende gevallen zijn zeldzaam en ontberen vaak gedetailleerde annotaties over waarom en wanneer een traject faalt.

2. Methodologie

De auteurs introduceren een nieuwe aanpak die uitsluitend vertrouwen op uitvoeringsvideo's (een reeks keyframes van de interface-estado's) in plaats van interne agent-logboeken.

A. Dataset: ExeVR-53k

Om het data-tekort aan te pakken, hebben de auteurs ExeVR-53k samengesteld, een dataset van 53.000 hoogwaardige triplets bestaande uit: Instructie – Uitvoeringsvideo – Reward.

• Bronnen: Data is geaggregeerd uit AgentNet, ScaleCUA en OSWorld, gedekt op Windows, macOS, Ubuntu en Android.
• Representatie: Elke interactie wordt omgezet in een compacte video (1 FPS) waarbij per stap een representatieve keyframe wordt geëxtraheerd.
• Adversarial Instruction Translation: Om negatieve voorbeelden (fouten) te genereren, gebruiken ze een Vision-Language Model (VLM) om plausibele maar semantisch inconsistente instructies te synthetiseren voor een gegeven succesvol traject. Het model moet ook de stap identificeren waar het misgaat, wat dient als tijdsgebonden attributie-label.

B. Spatiotemporal Token Pruning (STP + TTP)

Om lange, hoog-resolutie video's (720p) efficiënt te verwerken zonder de token-budget te overschrijden, ontwikkelen ze een dubbele pruning-strategie:

1. Spatial Token Pruning (STP): Verwijdert ruimtelijk homogene gebieden binnen een frame (zoals statische achtergronden) door een graaf van verbonden componenten te bouwen op basis van feature-similariteit. Het behoudt kleine, lokale UI-elementen die cruciaal zijn.
2. Temporal Token Pruning (TTP): Verwijdert tokens die over opeenvolgende frames nauwelijks veranderen. Het houdt alleen tokens bij die een state-overgang vertegenwoordigen (bijv. een geopend menu of een verschoven cursor).

• Resultaat: Deze combinatie reduceert redundantie aanzienlijk terwijl subtiele visuele aanwijzingen voor succes of falen behouden blijven.

C. Model: ExeVRM

Het Execution Video Reward Model (ExeVRM) is een fijngefineerde versie van Qwen3-VL (4B en 8B).

• Input: Een gebruikersinstructie en de gepruneerde uitvoeringsvideo.
• Output: Een voorspelling of het traject succesvol was (binair) en, indien van toepassing, de tijdsinterval waar de eerste fout optreedt (temporal attribution).

3. Belangrijkste Resultaten

Het model werd geëvalueerd op ExeVR-Bench, een testset met 789 instances over verschillende besturingssystemen.

• Prestaties: ExeVRM 8B bereikte 84,7% nauwkeurigheid en 87,7% recall.
• Vergelijking met concurrenten: Het presteerde beter dan sterke proprietaire modellen zoals GPT-5.2 (75,0% acc / 66,5% recall) en Gemini 3 Pro (75,1% acc / 76,7% recall), evenals open-source baselines zoals InternVL-3.5 en Qwen3-VL.
• Temporale Attributie: ExeVRM localiseerde fouten aanzienlijk nauwkeuriger (hoger tIoU-score) dan andere modellen, wat betekent dat het beter kan aangeven wanneer in het proces de fout werd gemaakt.
• Resolutie-impact: Experimenten toonden aan dat het gebruik van 720p (in plaats van 360p) in combinatie met STP/TTP leidt tot betere resultaten, vooral voor het detecteren van subtiele fouten die bij lagere resoluties verloren gaan.

4. Betekenis en Impact

• Model-Agnostisch Evaluatiekader: Omdat het model alleen kijkt naar de visuele uitvoering (video) en niet naar de interne logica van de agent, kan het worden gebruikt om elke CUA te evalueren, ongeacht de onderliggende architectuur.
• Schaalbaarheid: De combinatie van de synthetische dataset (ExeVR-53k) en de token-pruning techniek maakt het mogelijk om reward-modellen te trainen op lange, realistische trajecten zonder dat de rekentijd of geheugengebruik onbeheersbaar wordt.
• Debugging en Verbetering: De mogelijkheid om de exacte tijdsinterval van een fout te lokaliseren (temporal attribution) biedt waardevolle inzichten voor ontwikkelaars om agents te verbeteren, in plaats van alleen een binair "succes/falen" oordeel te geven.
• Toekomstige Richting: Het werk legt de basis voor proces-gerichte reward modeling (PRM) in plaats van alleen outcome-based, hoewel de auteurs erkennen dat langere trajecten met veel trial-and-error nog uitdagingen vormen voor huidige modellen.

Conclusie: Dit paper presenteert een robuuste, schaalbare en model-agnostische oplossing voor het evalueren van computer-gebruiksagenten door gebruik te maken van videobewaking, geavanceerde token-pruning en een groot, synthetisch gegenereerd dataset van foutgevallen.