SCALECUA: Scaling Computer Use Agents with Verifiable Task Synthesis and Efficient Online RL
ScaleCUA is een verenigd framework dat open-source computergebruik-agenten naar state-of-the-art prestaties brengt door gegevensschaarste en trainingsinefficiëntie aan te pakken via VeriGen voor verifieerbare taaksynthese, Frontier Sampling voor geoptimaliseerde steekproefallocatie en Visual Context Segmentation voor versnelde training.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een robot probeert te leren een computer te gebruiken precies zoals een mens dat doet. De robot moet naar het scherm kijken, op knoppen klikken, commando's typen in terminals en uitzoeken hoe hij software installeert of bestanden organiseert. Dit is de wereld van Computer Use Agents (CUAs).
Lamaag was het aanleren van deze robots als het proberen te leren spelen van een nieuwe videogame zonder scorebord. Je kunt wel spelen, maar je weet niet of je daadwerkelijk gewonnen hebt totdat een mens het hele proces heeft bekeken en zegt: "Goed gedaan!" of "Probeer het opnieuw." Dit maakt het leren super traag en duur, omdat je niet zomaar duizenden spellen tegelijk kunt draaien als je voor elk enkel spel een mens nodig hebt om te beoordelen.
Maak kennis met SCALECUA, een nieuw framework dat fungeert als een superkrachtige, zelfcorrigerende trainingskamp voor deze robot-agents. Het lost twee grote problemen op: het vinden van genoeg oefentaken met een duidelijke "win"-voorwaarde, en het maken van het trainingsproces snel genoeg om daadwerkelijk te werken.
Het Scorebord-probleem: Ontmoet VERIGEN
De eerste hindernis was dat de meeste computertaken niet beschikken over een ingebouwd "Game Over, Je Hebt Gewonnen"-signaal. Om dit op te lossen, hebben de onderzoekers VERIGEN gebouwd.
Zie VERIGEN als een team van drie robot-coaches die werken in een gigantische, oneindige speeltuin van virtuele computers (Docker-containers).
- De Proposer stelt een taak voor, zoals: "Installeer dit specifieke thema voor je computer."
- De Judger controleert of de instructies logisch zijn en of de "win"-voorwaarde logisch is.
- De Checker probeert de taak daadwerkelijk uit te voeren in de virtuele computer om te zien of het mogelijk is en of de "win"-voorwaarde daadwerkelijk wordt geactiveerd.
Als de taak door een van deze controles faalt, wordt deze weggegooid. Als hij slaagt, wordt het een geverifieerde trainings-taak. Het coolste deel? Dit team van coaches werkt parallel. Ze kunnen 100+ van deze coaches tegelijkertijd laten draaien, terwijl ze met 100+ virtuele computers tegelijkertijd interageren.
Het resultaat? Ze genereerden meer dan 24.000 geverifieerde taken en bijna 3.000 hoogwaardige taken specifiek voor training. Dit is een enorme sprong vergeleken met eerdere methoden, die vaak vertrouwden op kleine, handmatig geschreven lijsten met taken.
De Trainingsstrategie: Frontier Sampling
Zodra je een berg aan taken hebt, hoe kies je dan welke je gaat oefenen? Een veelgemaakte fout is het willekeurig kiezen van taken. Maar stel je voor dat je leert fietsen:
- Als je een taak kiest die te makkelijk is (fietsen op vlak terrein), leer je niets.
- Als je een taak kiest die te moeilijk is (fietsen een steile afgrond af), crash je en raak je ontmoedigd.
- Het ideale punt is de "learning frontier" (de leerfrontlijn): de taken die je net begint te begrijpen.
SCALECUA gebruikt een slimme strategie genaamd Frontier Sampling. Het houdt een voortlopende score bij van hoe goed de robot presteert op elke enkele taak. Vervolgens richt het de oefentijd op de taken waarbij de robot rond de 50% succesratio zweeft. Dit zorgt ervoor dat de robot altijd zijn grenzen verlegt zonder vast te lopen op onmogelijke uitdagingen of zich te vervelen bij makkelijke taken.
De Snelheidstruc: Visual Context Segmentation
Hier komt het lastige gedeelte: computertaken kunnen lang duren. Een enkele taak kan 47 stappen bevatten (zoals het voorbeeld in het paper waar de robot een thema installeert). Als je probeert elke screenshot van stap 1 tot en met stap 47 te onthouden, raakt je brein (of het geheugen van de computer) overweldigd, en vertraagt de training enorm.
De onderzoekers losten dit op met Visual Context Segmentation. Stel je voor dat je een lang verhaal leest, maar in plaats van het hele boek open te houden, houd je alleen de laatste paar pagina's zichtbaar op je bureau. Je herinnert je de plot van de eerdere pagina's als een samenvatting, maar je kijkt alleen naar de recente pagina's om je volgende beslissing te nemen.
Deze techniek houdt een "sliding window" (schuivend venster) van de meest recente screenshots (ongeveer 5 tot 8 afbeeldingen) vast, terwijl de oudere afbeeldingen als tekst worden samengevat. Dit houdt het geheugen van de robot fris en snel. Het paper toonde aan dat deze techniek het trainingsproces 2,83 keer sneller maakte dan de oude methode van het proberen te onthouden van elke stap tegelijk, zonder dat de robot het vermogen verloor om het probleem op te lossen.
De Resultaten: Werkte het?
Het team testte dit nieuwe systeem op een model genaamd Qwen3.5-9B (een vision-language model met 9 miljard parameters).
- Op OSWorld (een benchmark voor algemene desktoptaken), behaalde de robot een succesratio van 68,7%.
- Op ScienceBoard (een benchmark voor complexe wetenschappelijke software), bereikte het een score van 54,0%.
Deze cijfers zijn significant. Het paper merkt op dat dit 9-miljard-parameters model andere open-source modellen die vier keer groter zijn (zoals de 32-miljard-parameters EvoCUA) versloeg. Het presteerde ook beter dan sommige propriëtaire modellen, wat suggereert dat de methode van training even belangrijk is als de grootte van het robotbrein.
Wat dit NIET doet
Het is belangrijk om te weten wat dit paper niet beweert.
- Het is nog geen toverstaf voor alle computers. De tests werden uitgevoerd op Ubuntu-gebaseerde desktops (een specifiek type Linux-computer). De auteurs geven toe dat ze dit nog niet op Windows of macOS hebben getest, dus we weten niet of het daar ook werkt.
- Het heeft een tijdslimiet. De trainingssessies waren beperkt tot 50 interactierondes. Hoewel dit de meeste taken dekt, suggereren de auteurs dat dit mogelijk niet genoeg is voor ultra-lange, complexe workflows die honderden stappen in beslag nemen.
- Het is geen opgelost probleem. Het paper presenteert dit als een nieuw framework dat een "state-of-the-art" vestigt onder open-source agents, maar erkent dat generalisatie naar andere systemen en schalen nog steeds toekomstig werk is.
Kortom, SCALECUA is een slim recept om robots te leren een computer te gebruiken door zijn eigen oefentoetsen te genereren, zich te concentreren op het "precies juiste" moeilijkheidsniveau, en net genoeg van het verleden te onthouden om snel te blijven. Het laat zien dat met de juiste trainingsinstrumenten zelfs een kleiner robotbrein een veel grotere robot kan overtreffen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.