ISE: An Execution-Grounded Recipe for Multi-Turn OS-Agent Trajectories
Het artikel introduceert ISE, een driefasig syntheseparadigma dat hoogwaardige, executie-gegronde multi-turn OS-agenttrajecten genereert om de tool-gebruiksprestaties in gefinetunede modellen aanzienlijk te verbeteren, waarbij het grotere zero-shot baselines overtreft.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een zeer slimme maar onervaren robot probeert te leren hoe hij een computer moet gebruiken. Je wilt dat de robot complexe taken kan uitvoeren, zoals "organiseer mijn bestanden, schrijf een rapport op basis daarvan en mail het naar mijn baas."
Het probleem is, volgens dit artikel, dat de "leerboeken" (trainingsdata) die we gebruiken om deze robots te onderwijzen, op drie specifieke manieren gebrekkig zijn:
- Ze beginnen bij de gereedschappen, niet bij de gebruiker: De meeste data zijn opgebouwd door te kijken naar een lijst met beschikbare computeropdrachten (zoals "bestand verwijderen" of "e-mail verzenden") en vervolgens een reden te verzinnen om ze te gebruiken. Het is alsof je een chef leert door te zeggen: "Hier is een mes, stel nu een reden voor om iets te hakken," in plaats van te beginnen met "Ik heb honger, maak me een broodje."
- Ze zijn te kort: Het echte leven bestaat uit een heen-en-weer gesprek. Als een robot een fout maakt, corrigeer je hem. Als hij slaagt, vraag je om de volgende stap. De meeste trainingsdata zijn slechts één vraag en één antwoord, zoals een transactie bij een verkoopautomaat, in plaats van een echt gesprek.
- Ze zijn nep: Robots worden meestal getraind op "gesimuleerde" resultaten. De computer doet alsof hij een bestand verwijdert of raadt wat de foutmelding zou zijn. Hij raakt nooit een echte computer aan, waardoor hij nooit leert wat hij moet doen als er in de echte wereld iets misgaat.
De Oplossing: ISE (Intent → Simulate → Execute)
De auteurs stellen een nieuw driestappenrecept voor genaamd ISE om deze problemen op te lossen. Zie het als een hoogwaardige culinaire school voor robots.
Stap 1: Het Menu (Intent)
In plaats van te beginnen met een lijst met gereedschappen, beginnen ze met echte menselijke behoeften.
- De Analogie: Stel je een chef voor die een menu samenstelt op basis van wat verschillende soorten mensen daadwerkelijk willen eten, en niet alleen op basis van welke ingrediënten er in de voorraadkast staan.
- Hoe ze het deden: Ze creëerden 50.000 unieke "persona's" (zoals een drukke financiële manager, een creatieve schrijver of een student) en mengden deze met verschillende soorten taken en moeilijkheidsgraden. Dit zorgt ervoor dat de robot leert om een breed scala aan echte verzoeken af te handelen, en niet alleen de makkelijke, veelvoorkomende taken.
Stap 2: Het Rollenspel (Simulate)
Dit is waar ze het probleem van "te kort" oplossen. Ze gebruiken een speciale AI om de rol van de menselijke gebruiker aan te nemen.
- De Analogie: Stel je een methode-acteur voor die de rol speelt van een gefrustreerde klant. Deze acteur zegt niet alleen "Maak een broodje" en stopt dan. Als de robot het brood laat vallen, zegt de acteur: "Hé, je liet het brood vallen, pak het op!" Als de robot zijn werk goed doet, zegt de acteur: "Goed zo, doe nu de kaas erop."
- Het Geheime Ingrediënt: De auteurs zorgden ervoor dat deze "acteur"-AI in zijn rol blijft. De AI verandert niet per ongeluk in een behulpzame assistent (wat de training zou verpesten). De AI blijft strikt in de rol van de gebruiker en reageert op wat de robot daadwerkelijk doet, niet op wat de robot denkt dat hij heeft gedaan.
Stap 3: De Echte Keuken (Execute)
Dit is de meest cruciale stap. De robot raadt niet alleen wat er gebeurt; hij voert het werk daadwerkelijk uit op een echte, geïsoleerde computer.
- De Analogie: In plaats van dat een chef doet alsof hij groenten hakt op een snijplank die niet echt is, hakt de chef daadwerkelijk echte groenten. Als het mes uitschiet en de tafel beschadigt, registreert het systeem deze echte fout.
- Waarom dit belangrijk is: Wanneer de robot een opdracht probeert uit te voeren en dit mislukt (bijv. "Bestand niet gevonden"), ziet de "acteur"-gebruiker de echte foutmelding en reageert daarop. Dit leert de robot hoe hij moet herstellen van echte rampen, iets wat nep simulaties niet kunnen.
De Resultaten
Ze hebben deze nieuwe "leerstof" (genaamd ISETrace) gebruikt om een robot te trainen (specifiek een model genaamd Qwen3-8B).
- Vóór: Zonder deze nieuwe training kon de robot slechts ongeveer 19% van de complexe, meerstaps computer-taken oplossen.
- Ná: Met deze nieuwe training loste de robot 37% van de taken op.
- De Vergelijking: Deze getrainde robot met 8 miljard parameters presteerde beter dan:
- Een veel grotere robot (32 miljard parameters) die niet met deze data was getraind.
- Een zeer beroemde, dure commerciële robot (GPT-4o) die niet met deze data was getraind.
De Kernboodschap
Het artikel betoogt dat hoe je trainingsdata creëert even belangrijk is als wat voor data je creëert. Door te beginnen met echte menselijke behoeften, langere gesprekken af te dwingen en de robot te laten oefenen op echte computers (inclusclusief de fouten), hebben ze een veel slimmere agent gecreëerd.
Ze bewezen ook dat het "lange gesprek"-gedeelte de sleutel was. Wanneer ze de trainingsdata beperkten tot enkelvoudige vragen (het weglaten van het heen-en-weer gesprek), daalde de prestaties van de robot aanzienlijk. Dit toont aan dat het leren om een gesprek te voeren essentieel is om een robot echt nuttig te maken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.