SkillGate: Training In-Policy Skill Selection in Long-Horizon Agents

In het moderne landschap van kunstmatige intelligentie zijn large language models geëvolueerd van passieve tekstgeneratoren naar actieve agenten die in staat zijn om complexe digitale omgevingen te navigeren. Deze systemen beschrijven de wereld niet alleen; ze interageren ermee door softwaretools te gebruiken om code te repareren, bestanden te beheren en problemen op te lossen via een reeks redeneerstappen en acties. Om de enorme reeks taken die ze onder ogen krijgen aan te kunnen, zijn ontwikkelaars begonnen met het verpakken van procedurele kennis in herbruikbare modules die 'skills' worden genoemd. Stel je een digitale bibliotheek voor die duizenden van deze skills bevat, elk met een naam en een korte beschrijving, wachtend om door de agent geopend te worden wanneer dat nodig is. De cruciale uitdaging voor deze agenten is niet alleen het hebben van toegang tot deze bibliotheek, maar weten welk specifiek bestand op het juiste moment geopend moet worden. Deze beslissing moet midden in een taak worden genomen, vaak op basis van een enkele regel beschrijving, voordat de agent de volledige inhoud van het bestand kan zien. Als de agent de verkeerde skill kiest, kan de hele inspanning mislukken, en toch was er tot nu toe geen betrouwbare manier om de agent te leren deze keuze correct te maken.

Onderzoekers gingen er lang van uit dat de standaardmethode voor het trainen van deze agenten voldoende zou zijn: presenteer de agent een lijst met kandidaat-skills, laat hem een taak proberen op te lossen, en beloon hem alleen als de uiteindelijke uitkomst succesvol is. Het idee was dat de agent vanzelf zou leren de juiste skill te kiezen omdat die keuze leidt tot een goed resultaat. Echter, een nieuwe studie onthult dat deze aanpak een fundamentele fout bevat die voorkomt dat agenten effectief leren om skills te selecteren, vooral bij lange en complexe taken. De onderzoekers ontdekten dat wanneer een agent er niet in slaagt een taak te voltooien, het trainingssignaal dat vertelt wat er misging, gelijkmatig over elk afzonderlijk woord dat de agent genereerde, wordt uitgezonden. In een lange sequentie van acties worden de weinige woorden die de gekozen skill benoemen, overstemd door de duizenden woorden die worden gebruikt voor redenering en uitvoering. Gevolgelijk krijgt de agent bijna geen feedback over zijn initiële keuze. Erger nog, als de agent de juiste skill koos maar later faalde door een andere fout, straft het trainingssysteem de initiële keuze af, waardoor de agent leert dat de juiste beslissing eigenlijk fout was. Dit fenomeen, dat de auteurs "selector credit starvation" noemen, betekent dat de meest waardevolle beslissing in een lange sequentie vaak de beslissing is die de minste en meest misleidende instructie ontvangt.

Om dit op te lossen, ontwikkelde het onderzoeksteam een nieuwe trainingsmethode genaamd SkillGate. In plaats van de gehele sequentie van acties als één enkel blok te behandelen, splitst SkillGate het leerproces op in twee aparte kanalen. Eén kanaal evalueert de uitvoering van de taak, waarbij de agent wordt beloond of gestraft op basis van de vraag of het uiteindelijke doel is bereikt. Het andere kanaal richt zich uitsluitend op het moment dat de agent een skill benoemt. Dit tweede kanaal kijkt alleen naar de specifieke woorden die worden gebruikt om het gekozen bestand te identificeren en stelt een eenvoudige vraag: was dit het enige juiste bestand voor de klus? Als de agent de juiste skill koos en dit slechts één keer deed, ontvangt hij positieve feedback voor die specifieke keuze, ongeacht of de rest van de taak slaagde of faalde. Als hij het verkeerde bestand koos of meerdere bestanden koos, ontvangt hij negatieve feedback. Door de beslissing om een skill te benoemen te isoleren van de uitkomst van de taak, zorgt het systeem ervoor dat de agent leert te onderscheiden tussen een goede keuze die tot een slecht resultaat leidde en een slechte keuze die tot een slecht resultaat leidde.

De resultaten van deze aanpak werden getest over vijf verschillende benchmarks met complexe agent-taken. De onderzoekers trainden een model met 9 miljard parameters met deze nieuwe methode en vergeleken dit met modellen die getraind waren met de traditionele outcome-only aanpak. Het met SkillGate getrainde model behaalde een succespercentage van 53,2 procent, waarmee het aanzienlijk beter presteerde dan het model met een succespercentage van 47,0 procent dat alleen op uiteindelijke uitkomsten werd getraind. Deze verbetering was niet slechts een kwestie van het model dat algemeen slimmer werd; het gedrag veranderde op een specifieke en meetbare manier. Het SkillGate-model was veel minder geneigd om misleidende of irrelevante skills te lezen, waardoor de blootstelling aan slechte opties met twee derde werd verminderd, en het las minder skills in totaal, wat wijst op een meer besluitvaardig en accuraat selectieproces. De studie toonde ook aan dat het simpelweg groter maken van het model het probleem niet oploste; zelfs veel grotere modellen slaagden er niet in om de taak van skillselectie even effectief te leren als het kleinere model getraind met SkillGate.

De betekenis van dit werk ligt in de demonstratie dat de manier waarop een agent leert net zo belangrijk is als de data die hij ziet. De onderzoekers verifieerden hun diagnose door de trainingsdata van modellen te auditeren die met de oude methode waren getraind. Ze ontdekten dat naarmate taken langer werden, het aandeel van het leersignaal dat de woorden die de skill benoemden bereikte, drastisch kromp en bijna onzichtbaar werd. Bovendien was het signaal dat wel aankwam vaak het tegenovergestelde van wat het had moeten zijn, waarbij correcte keuzes werden gestraft simpelweg omdat de taak uiteindelijk faalde. Door een systeem te construeren waarin de keuze van een skill op zijn eigen verdiensten wordt beoordeeld, los van de uitvoering van de taak, hebben de onderzoekers deze structurele barrière weggenomen. De nieuwe methode stelt de agent in staat om te leren dat het kiezen van het juiste instrument een afzonderlijke en waardevolle skill op zich is, een die zijn eigen duidelijke en directe instructie verdient. Deze bevinding suggereert dat voor agenten om echt betrouwbaar te worden in complexe omgevingen, hun training nauwkeurig genoeg moet zijn om te onderscheiden tussen de beslissing om te handelen en het resultaat van de handeling.