💬 NLP

Scaling Agents for Computer Use

Het artikel introduceert Behavior Judge (BJudge), een framework dat de betrouwbaarheid van computergebruikende agenten verbetert door te evalueren en te selecteren tussen meerdere executie-rollouts met behulp van gedragsnarratieven, waarmee het een staat van de kunst prestatie op OSWorld bereikt die menselijke capaciteiten overtreft.

Oorspronkelijke auteurs: Gonzalo Gonzalez-Pumariega, Vincent Tu, Chih-Lun Lee, Jiachen Yang, Ang Li, Xin Eric Wang

Gepubliceerd 2026-02-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Gonzalo Gonzalez-Pumariega, Vincent Tu, Chih-Lun Lee, Jiachen Yang, Ang Li, Xin Eric Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren om jouw was te doen, het avondeten te koken en jouw rekeningen te betalen door naar een computerscherm te kijken. Dit is wat "Computer-Use Agents" (CUAs) zouden moeten doen. Het zijn AI-programma's die knoppen kunnen aanklikken, tekst kunnen typen en software kunnen navigeren net zoals een mens dat doet.

Er is echter een groot probleem: deze robots zijn fragiel. Als ze één kleine fout maken in het begin — zoals op het verkeerde venster klikken of een pop-up missen — dan sneeuwt die fout een sneeuwbal in. Tegen de tijd dat ze bij stap 50 zijn, zijn ze de weg volledig kwijt. Het is alsof je een kaartenhuis probeert te bouwen in een winderige kamer; één klein wiebelmoment en het hele ding stort in.

De Oude Manier: "Eén en Klaar"

Voorheen probeerden onderzoekers dit op te lossen door de robot te vertellen om "dieper na te denken" voordat hij een enkele beweging maakt. Ze vroegen de AI om vijf verschillende ideeën te generen voor de volgende klik en kozen de beste uit. Maar dit is alsof je één persoon vraagt om vijf verschillende routes naar de supermarkt te bedenken, de beste te kiezen, en dan ook daadwerkelijk te gaan lopen. Als die ene persoon bij de eerste kruising in de war raakt, mislukt de hele reis.

Het Nieuwe Idee: "De Race" (Wide Scaling)

De auteurs van dit paper stellen een andere strategie voor genaamd Wide Scaling. In plaats van te vertrouwen op één robot die het goed moet doen, sturen ze tegelijkertijd tien verschillende robots uit om dezelfde taak uit te voeren.

Denk aan een race met tien hardlopers. Zelfs als Loper #3 struikelt en Loper #7 verdwaalt, vindt Loper #5 misschien een kortere route en wint de race. Het doel is om tien verschillende pogingen parallel te laten lopen en vervolgens de winnaar te kiezen.

De Bottleneck: Hoe Kies Je de Winnaar?

Hier komt het lastige deel: hoe weet je welke van de tien robots daadwerkelijk geslaagd is?

Het Probleem: Het bekijken van tien uur durende video's van een robot die een taak uitvoert, is overweldigend. Het grootste deel van de video is saai of irrelevant (zoals de robot die naar een leeg scherm staart). Bovendien hebben veel taken meer dan één "juiste" manier om te voltooien. Een simpel script kan niet gemakkelijk bepalen of een robot geslaagd is of gefaald is door alleen naar de ruwe schermopnames te kijken.
De Analogie: Stel je voor dat je een kookwedstrijstrijd beoordeelt door tien video's van drie uur te bekijken waarin chefs aan het koken zijn. Je zou moe worden en de belangrijke momenten missen. Je hebt een manier nodig om de actie samen te vatten.

De Oplossing: "Behavior Judge" (BJudge)

De auteurs introduceren een nieuw systeem genaamd Behavior Judge (BJudge). Zo werkt het, stap voor stap:

De Race: Ze laten de taak tien keer gelijktijdig uitvoeren met verschillende AI-modellen.
De Vertaler (Behavior Narrative Generator): In plaats van de rechter de ruwe video van het scherm te tonen, fungeert dit systeem als een vertaler. Het kijkt naar elke poging van de robot en schrijft een kort, helder verhaal (een "narratief") van wat er is gebeurd.
- In plaats van: "De robot bewoog de muis naar pixel 400, 200, klikte, het scherm ververste, een nieuw venster opende..."
- Schrijft het: "De robot klikte op 'Opslaan' en het document werd succesvol opgeslagen in de map."
- Het filtert de ruis eruit en focust alleen op de oorzaak en gevolg: "Ik deed X, en Y gebeurde."
De Rechter (Comparative Evaluator): Nu, in plaats van tien uur aan video te bekijken, leest de rechter tien korte verhalen. Hij vergelijkt ze zij aan zij. "Verhaal A zegt dat het bestand is opgeslagen. Verhaal B zegt dat het bestand is verwijderd. Verhaal A wint."

De Resultaten

Toen ze dit testten op een benchmark genaamd OSWorld (een verzameling real-world computer-taken):

De Oude Beste: De vorige beste methode voltooide ongeveer 63,4% van de taken correct.
Menselijk Niveau: Mensen voltooien ongeveer 72,36% correct.
De Nieuwe Methode (BJudge): Hun systeem bereikte 72,6%.

Ze hebben niet alleen de vorige robots verslagen; ze hebben zelfs mensen verslagen.

Waarom Dit Belangrijk Is

Het paper laat zien dat de sleutel tot het betrouwbaar maken van AI-agenten niet alleen ligt in het individueel slimmer maken van de AI; het gaat erom dat je er veel tegelijkert uitslaat en een slim systeem hebt om het beste resultaat te kiezen.

Ze hebben dit ook getest op verschillende besturingssystemen (Windows en Android) en ontdekten dat het daar ook goed werkte, wat bewijst dat deze "race en judge"-strategie een universele manier is om computergebruikende AI robuuster te maken.

Kortom: Om de "fragiele" natuur van AI-computers te repareren, moet je niet alleen één perfecte robot maken. Maak er tien, laat ze racen, vertaal hun rommelige pogingen naar eenvoudige verhalen, en laat een slimme rechter de winnaar kiezen. Deze eenvoudige verandering maakte het mogelijk om menselijke prestaties op complexe digitale taken te overtreffen.

Technische Samenvatting: Schalen van Agents voor Computergebruik via Behavior Judge

Probleemstelling

Computer-gebruik agents (CUAs) bieden grote belofte voor het automatiseren van alledaagse digitale taken over verschillende besturingssystemen. De prestaties op lange termijn bij complexe problemen blijven echter onbetrouwbaar. De kernuitdaging ligt niet enkel in het oplossen van individuele stappen, maar in het handhaven van correctheid over tientallen of honderden interacties. Kleine fouten stapelen zich in de loop van de tijd op, feedback is vaak vertraagd en omgevingsruis (zoals UI-wijzigingen of latentie) leidt tot een hoge variantie in uitkomsten.

Hoewel eerdere studies hebben geprobeerd de prestaties binnen een enkele rollout te schalen (bijv. stap-voor-stap Best-of-N), hebben deze benaderingen beperkte winst opgeleverd voor taken met een lange horizon. Een alternatief is "brede schaling" (wide scaling)—het genereren van meerdere rollouts parallel en het selecteren van de beste. Echter, deze aanpak staat voor een fundamentele bottleneck: evaluatie. Agent-trajecten zijn informatie-intensief, multimodaal en laten vaak meerdere geldige oplossingen toe. Het betrouwbaar bepalen welke van verschillende trajecten met een lange horizon correct is, is moeilijk omdat de meeste details irrelevant zijn voor het slagen van de taak, en gescripte automatische evaluatie moeite heeft met de nuance van computergebruik-taken.

Methodologie: Behavior Judge (BJudge)

Om de evaluatie-bottleneck aan te pakken en effectieve brede schaling mogelijk te maken, introduceren de auteurs Behavior Judge (BJudge). Dit framework transformeert dichte, ruwe agent-trajecten naar compacte, interpreteerbare representaties om een principiële selectie tussen kandidaten te faciliteren.

1. Het Paradigma van Brede Schaling

In tegenstelling tot single-rollout schaling, genereert BJudge meerdere kandidaat-trajecten ( $\tau$ ) met behulp van een set basis-policies $\{\pi_m\}$ . Deze policies kunnen verschillende modellen bevatten of stochastische decodering van hetzelfde model gebruiken om diversiteit te crekken. Het doel is om het traject $\hat{\tau}$ te selecteren dat de taakbeloning $R(\tau, I)$ maximaliseert.

2. Generatie van Behavior Narratives

De eerste belangrijke component is de Behavior Narrative Generator. In plaats van ruwe screenshots en acties direct naar een judge te voeden, zet het systeem elke transitie $(s_i, a_i, s_{i+1})$ om in een "behavior narrative" ( $\phi_i$ ).

Feit-extractie: Een Vision-Language Model (VLM) analyseert de staat vóór en na een actie om feiten af te leiden die beschrijven wat de agent daadwerkelijk heeft gedaan en hoe dit de omgeving heeft beïnvloed.
Visuele Augmentatie: Om nauwkeurigheid te garanderen, met name voor pointer-interacties (klikken, slepen), legt de generator markers over de pre-actie screenshot en extraheert uitvergrote crops uit de post-actie screenshot. Dit helpt bij het verifiëren van pixel-niveau veranderingen en vermindert hallucinaties over de vraag of een actie is geslaagd.
Narrative Constructie: Het uiteindelijke narratief $\tilde{\tau}$ bestaat uit de initiële staat, de sequentie van afgeleide feiten en de finale staat. Dit filtert irrelevante details weg terwijl relevante actie-effect samenvattingen behouden blijven.

3. Comparatieve Behavior Evaluator

De tweede component is de Comparative Behavior Evaluator. In plaats van trajecten onafhankelijk te rangschikken, voert dit module een directe vergelijking uit van de behavior narratives.

Mechanisme: Een VLM-evaluator wordt geprompt om alle kandidaat-narratieven simultaan te vergelijken met behulp van een single-round multiple-choice question (MCQ) format.
Voordeel: Deze aanpak stelt de judge in staat om specifieke feiten tussen kandidaten te citeren en te contrasteren, wat een meer geïnformeerde selectie mogelijk maakt dan onafhankelijke rangschikking. Het is ontworpen om token-efficiënt en sneller te zijn dan multi-round tournament vergelijkingen.

4. Verbeterd Agentic Framework (Agent S3)

Om BJudge te ondersteunen, introduceren de auteurs Agent S3, een verbeterd baseline framework gebouwd op Agent S2. Belangrijke architecturale wijzigingen zijn:

Flat Policy: Verwijdering van hiërarchische planning ten gunste van een platte policy die op elk moment kan herplannen op basis van de huidige instructie en historie, gebruikmakend van de sterke context-behoud eigenschappen van moderne foundation modellen.
Geïntegreerde Coding Agent: Een gespecialiseerde coding agent is inherent geïntegreerd in de actieruimte van de GUI-agent. Deze kan worden aangeroepen voor programmatische bewerkingen (bijv. bulk bestand-operaties, gestructureerde parsing) wanneer dit efficiënter is dan directe GUI-manipulatie. Het opereert in een begrensde inner loop met een gesandboxed VM, waarbij uitvoering-feedback wordt gegeven aan de GUI-policy.

Belangrijkste Bijdragen

Brede Schalingsparadigma: Het paper stelt vast dat het zorgvuldig selecteren uit meerdere parallelle trajecten de robuustheid en dekking van CUAs substantieel verbetert, mits er een effectief selectiemechanisme aanwezig is.
Behavior Judge Framework: Een nieuw systeem dat dichte trajecten omzet in compacte behavior narratives en een comparatieve evaluatie gebruikt om de optimale oplossing te selecteren, waarmee de evaluatie-bottleneck van brede schaling wordt aangepakt.
Nieuwe State-of-the-Art (SoTA): Door BJudge te combineren met de Agent S3 baseline, bereiken de auteurs een nieuwe SoTA op de OSWorld benchmark.
Generalisatie: De methode demonstreert sterke zero-shot generalisatie naar verschillende besturingssystemen (Windows en Android).

Experimentele Resultaten

OSWorld Prestaties

Op de OSWorld benchmark (361 taken, 100-stappen limiet) bereikt de voorgestelde methode een succespercentage van 72,6%.

Dit vertegenwoordigt een absolute verbetering van 9,2% ten opzichte van de vorige SoTA (63,4%).
Het overtreft de gerapporteerde menselijke prestaties van 72,36%.
Door een ensemble van GPT-5 en Opus 4.5 te gebruiken, laat het systeem zien dat effectieve schaling de capaciteiten van agents voorbij menselijke benchmarks op deze taken kan duwen.

Efficiëntie en Ablatie

Agent S3 Efficiëntie: Vergeleken met de hiërarchische Agent S2 vermindert Agent S3 de LLM-aanroepen per taak met 52,3% en de taakvoltooiingstijd met 62,4%, terwijl het het succespercentage met 13,8% verbetert.
Representatie Ablatie: Behavior narratives presteren aanzienlijk beter dan andere representaties. Vergeleken met een "Screenshot Only" baseline (56,0%) en een "Trajectory Summary" baseline (55,0%), behaalde Behavior Narratives een succespercentage van 60,2% (met GPT-5 Mini), een absolute winst van 3,4%.
Selectiestrategie: BJudge presteert beter dan aangepaste onafhankelijke rangschikkingsmethoden (zoals WebJudge) over variërende rollout-budgetten, wat aantoont dat comparatieve evaluatie noodzakelijk is voor schaalbare selectie.

Generalisatie

WindowsAgentArena: BJudge (N=3) behaalde een verbetering van 6,4% ten opzichte van de Agent S3 baseline (56,6% vs 50,2% bij 100 stappen).
AndroidWorld: BJudge (N=3) behaalde een verbetering van 3,5% ten opzichte van de Agent S3 baseline (71,6% vs 68,1%).

Model Ensembling

Experimenten met mixture-of-models ensembles toonden aan dat diversiteit essentieel is voor taakdekking. De combinatie van GPT-5 en Claude Opus 4.5 leverde het hoogste succespercentage op (71,6%), terwijl de meest diverse mix (inclusief alle geteste modellen) de hoogste taakdekking (Pass@N) bereikte van 80,5%.

Betekenis en Claims

Het paper claimt dat de primaire barrière voor het schalen van computer-gebruik agents niet de generatie van oplossingen is, maar de evaluatie en selectie van die oplossingen. Door de introductie van Behavior Judge biedt de auteur een praktisch framework dat brede schaling effectief maakt.

De auteurs benadrukken dat effectieve schaling gestructureerd begrip van trajecten en selectie vereist. Het simpelweg genereren van meer rollouts zonder een robuust mechanisme om ze te vergelijken, levert slechts afnemende meeropbrengsten op. BJudge lost dit op door ruwe, luidruchtige trajecten te abstraheren naar high-level behavior narratives, waardoor het systeem het juiste pad kan identificeren, zelfs in complexe omgevingen met een lange horizon.

De resultaten onderstrepen dat met het juiste framework, CUAs niet alleen menselijke prestaties kunnen evenaren, maar deze zelfs kunnen overtreffen bij complexe desktop automatiseringstaken. Het paper merkt op dat deze resultaten steunen op gecontroleerde omgevingen (virtuele machines) waar onafhankelijke rollouts mogelijk zijn, waarbij wordt erkend dat directe implementatie op live desktops extra uitdagingen met zich meebrengt wat betreft staat-isolatie.