SeekJudge: A Practical Reward Framework for Reinforcement Learning in Computer-Use Agents
Het artikel introduceert SeekJudge, een praktisch modelgebaseerd beloningsframework dat gebruikmaakt van vier rolgespecialiseerde agenten en een gedestilleerde 9B-backbone die regelgebaseerd toezicht evenaart of overtreft bij het trainen van computergebruik-agenten, terwijl het op stapniveau oordeelt, lagere kosten biedt en schaalbaarheid heeft voor taken met een lange horizon.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een robot leert navigeren in een videogame wereld, maar in plaats van knoppen op een controller in te drukken, moet de robot net als een mens op een echt computerscherm te klikken, te typen en te scrollen. Dit is de wereld van "computer-use agents". Al een tijdje proberen wetenschappers deze robots te onderwijzen door ze een doel te tonen — zoals "boek een hotel" — en vervolgens te controleren of ze zijn geslaagd. De oude manier van controleren was als het gebruik van een rigide checklist: als de robot op de juiste knop klikte op het juiste moment, kreeg hij een punt; als hij op de verkeerde klikte, kreeg hij nul. Maar computers zijn rommelig en veranderen voortdurend. Een checklist kan zeggen "je bent gezakt" omdat de robot op een knop klikte die er net iets anders uitzag dan op de checklist, ook al heeft de robot de taak eigenlijk perfect voltooid. Het is alsof een leraar een leerling faalt voor het schrijven van het woord "kleur" in plaats van "couleur", terwijl het essay briljant was.
Om dit op te lossen, begonnen onderzoekers AI-modellen te gebruiken om als rechters te fungeren, in de hoop dat zij de geest van de taak zouden begrijpen in plaats van alleen de strikte regels. Echter, deze AI-rechters raken vaak in de war wanneer ze een hele film van de acties van de robot tegelijkertijd moeten bekijken. Het is alsof je probek een specifieke typefout in een 500 pagina's tellende roman te vinden door het hele boek in één seconde te lezen; de belangrijke details gaan verloren in de ruis. De grote vraag werd: Hoe bouwen we een rechter die slim genoeg is om menselijke doelen te begrijpen, goedkoop genoeg om duizenden keren te draaien terwijl de robot leert, en snel genoeg om lange, ingewikkelde verhalen aan te kunnen zonder hoofdpijn te krijgen?
Ontmoet SeekJudge, een nieuw framework dat fungeert als een team van vier gespecialiseerde detectives die samenwerken om een mysterie op te lossen, in plaats van één overwerkte detective die alles tegelijk probeert te doen. De onderzoekers ontdekten dat wanneer je een AI dwingt om te veel screenshots van een computerscherm tegelijkertijd te bekijken, de AI begint te hallucineren of de belangrijkste aanwijzingen mist. Het is alsof je iemand vraagt om een verdachte in een menigte van 100 mensen te identificeren; ze kunnen worden afgeleid door de opvallende hoed van een vreemde en de werkelijke crimineel missen. Maar als je ze slechts één foto van de verdachte zou laten zien, zouden ze hem direct herkennen.
SeekJudge lost dit op door de taak te splitsen. Eerst scannen twee "verkenners" (de Condense en Ground agents) snel de lange reis van de robot en schrijven ze een korte, gemakkelijk leesbare samenvatting van wat er is gebeurd, stap voor stap. Vervolgens leest een "detective" (de Seek agent) deze samenvatting en besluit: "Hm, ik moet de foto van stap 42 zien om zeker te zijn." Hij roept dan een vierde agent aan, de Analyze agent, om alleen naar die specifieke screenshot te kijken en een precieze vraag over deze te beantwoorden. Deze heen-en-weer loop gaat door totdat de detective genoeg vertrouwen heeft om een definitief oordeel te vellen.
Het paper laat zien dat deze "zoek-en-analyse"-aanpak een gamechanger is. Toen ze het testten, presteerde SeekJudge als eerste AI-gebaseerde rechter die even goed of zelfs beter presteerde dan de oude rigide regel-checkers bij het helpen van robots om nieuwe taken te leren. Sterker nog, wanneer het werd gebruikt om een robot te trainen, leerden de robots sneller en slaagden ze vaker met SeekJudge dan met de traditionele methoden.
Wat echt cool is, is hoe efficiënt dit is. Omdat de AI slechts één afbeelding tegelijk bekijkt in plaats van een hele stapel, heeft het geen superdure, enorme computer nodig om te draaien. De onderzoekers ontdekten dat hun systeem een fractie kost van wat andere AI-rechters kosten — honderden keren goedkoper dan het gebruiken van een gesloten bron van een gigantisch model. Het is als het verschil tussen het inhuren van een team lokale experts die elk voor een paar dollar naar één aanwijzing kijken, versus het inhuren van één celebrity-detective die een fortuin vraagt om het hele dossier in één keer te lezen.
Het team heeft ook een nieuwe "trainingsgrond" gebouwd genaamd CUAStepBench, een collectie van 278 verschillende computertaken waarbij mensen elke individuele stap van de reis van de robot zorgvuldig hebben gelabeld. Dit hielp hen om hun "detective"-team ongelooflijk scherp te trainen. Ze bewezen dat door het probleem op te splitsen in het vinden van het juiste moment (lokalisatie) en vervolgens het lezen van de details (extractie), ze veel langere en complexere taken konden afhandelen dan eerdere methoden.
Kortom, SeekJudge probeert geen superintelligente, alziende oog te zijn; in plaats daarvan fungeert het als een slim, efficiënt team dat precies weet wanneer het moet inzoomen op de belangrijkste aanwijzing. Dit maakt het mogelijk om computergebruikende robots in de echte wereld te trainen, waar taken lang zijn, schermen veranderen en strikte regelboeken simpelweg niet werken. Het paper suggereert dat deze aanpak de sleutel kan zijn tot het maken van AI-assistenten die ons daadwerkelijk kunnen helpen bij onze dagelijkse computerzaken, van het boeken van vluchten tot het organiseren van bestanden, zonder dat ze een supercomputer nodig hebben om hun huiswerk te nakijken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.