STEP-VERIFIER: Learning to Verify Intermediate Agent Behavior with Process Reward Models
STEP-VERIFIER is een process reward model dat leert om individuele agentacties te verifiëren door middel van automatisch gesynthetiseerde paarwijze vergelijkingen, waarbij tijdens de training dichte intermediaire feedback wordt geboden om de prestaties van de agent op complexe taken met gereedschapsgebruik aanzienlijk te verbeteren zonder dat er tijdens de inzet afhankelijkheid van de verifier nodig is.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van kunstmatige intelligentie is er een groeiende klasse programma's bekend als agenten. In tegenstelling tot een standaard chatbot die simpelweg een vraag beantwoordt, is een agent ontworpen om actie te ondernemen. Het kan het web doorzoeken, externe tools aanroepen of bestanden manipuleren om complexe problemen op te lossen. Om dit te leren, worden deze agenten vaak getraind via een proces dat lijkt op vallen en opstaan. Ze proberen een taak, en als ze aan het einde slagen, worden ze beloond. Als ze falen, gebeurt dat niet. Dit werkt goed voor eenvoudige taken, maar voor lange, ingewikkelde missies die tientallen stappen bevatten, creëert dit een aanzienlijke blinde vlek. De agent kent alleen het eindresultaat, niet welke specifieke stap de fout heeft veroorzaakt. Eén verkeerde beweging vroeg in het proces kan de hele poging verruïneren, maar het leersysteem behandelt die mislukking hetzelfde als een poging die op elk afzonderlijk punt fout ging. Dit gebrek aan detail maakt het voor de agent moeilijk om efficiënt van zijn fouten te leren.
Onderzoekers aan de Universiteit van Hong Kong en Xiaomi hebben een nieuwe methode ontwikkeld om dit probleem op te lossen, genaamd STEP-VERIFIER. In plaats van te wachten tot het einde van een taak om de prestaties van een agent te beoordelen, leert dit systeem de kwaliteit van elke individuele actie te evalueren terwijl deze plaatsvindt. De innovatie ligt in de manier waarop het leert dit te doen zonder menselijke docenten nodig te hebben om elke stap te beoordelen. Het team realiseerde zich dat ze de eigen eerdere pogingen van de agent konden gebruiken om de noodzakelijke feedback te genereren. Wanneer een agent vele malen probeert hetzelfde probleem op te lossen, volgt hij vaak dezelfde route voor de eerste paar stappen voordat hij in verschillende richtingen afbuigt. Door de uiteindelijke uitkomsten van deze verschillende vertakkingen te vergelijken, kan het systeem afleiden welke vroege keuze beter was. Als één pad tot succes leidt en een ander tot falen, leert het systeem dat het beslissingspunt waar ze splitsten cruciaal was.
De onderzoekers bouwden een apart "verifier"-model dat fungeert als een rechter voor deze individuele stappen. Ze trainden deze verifier met een enorme collectie gelogde interacties, waarbij elke poging werd gemarkeerd als een succes of een mislukking. Het systeem zoekt naar momenten waarop twee verschillende pogingen tot een bepaald punt dezelfde geschiedenis deelden, maar daarna verschillende acties ondernamen. Het berekent het verschil in hun uiteindelijke succespercentages om een vergelijking te maken. Bijvoorbeeld, als één actie in 80% van de gevallen tot een succesvolle uitkomst leidde en een andere actie slechts in 20% van de gevallen tot succes leidde, leert de verifier de eerste actie een hogere score te geven. Dit proces creëert een dichte stroom van feedback, die de agent precies vertelt welke zetten goed waren en welke slecht, lang voordat de taak is voltooid.
Cruciaal is dat deze verifier alleen wordt gebruikt tijdens de trainingsfase. De onderzoekers ontwierpen een schema waarbij de invloed van de verifier het sterkst is aan het begin, wanneer de agent veel willekeurige gissingen doet en de uiteindelijke resultaten ruis bevatten. Naarmate de agent beter wordt en zijn eigen uiteindelijke uitkomsten betrouwbaarder worden, wordt de feedback van de verifier geleidelijk verminderd totdat deze volledig verdwijnt. Dit zorgt ervoor dat de uiteindelijke, ingezette agent de verifier niet nodig heeft om te functioneren; hij heeft de lessen geïnternaliseerd en kan onafhankelijk opereren. Bij tests op drie verschillende benchmarks die webbrowsen, het gebruik van tools en meerstapsplanning omvatten, presteerde deze aanpak aanzienlijk beter dan methoden die alleen op eindscores vertrouwden. De agent leerde sneller en maakte minder fouten.
De studie vergeleek deze nieuwe methode ook met andere manieren om tussenliggende stappen te beoordelen. Sommige eerdere benaderingen gebruikten eenvoudige ja-of-nee-labels voor elke stap, terwijl andere probeerden de hele poging als één enkele eenheid te beoordelen. De STEP-VERIFIER-aanpak, die een meer genuanceerd rankingsysteem gebruikt om paren acties te vergelijken, bleek de meest effectieve. De scores kwamen veel nauwer overeen met menselijke oordelen over wat een goede stap inhoudt. Sterker nog, wanneer mensen de acties van de agent beoordeelden, stemden zij in 81,5% van de gevallen in met de beoordeling van de verifier, een veel hoger percentage dan andere geautomatiseerde methoden. Dit suggereert dat het systeem de subtiele logica heeft gevangen die nodig is om complexe taken te navigeren.
Een van de belangrijkste bevindingen is dat het systeem werkt zonder extra menselijke inspanning of nieuwe gegevensverzameling. Het vertrouwt volledig op de gegevens die al zijn gegenereerd tijdens de standaardtraining. De onderzoekers ontdekten dat het systeem zich van nature concentreert op de stappen waar de agent de meeste tijd doorbrengt, omdat dat de stappen zijn waar het over de meeste data beschikt om te vergelijken. Ze merkten echter ook een beperking op: voor zeer moeilijke stappen die de agent zelden probeert, is er niet genoeg data om een betrouwbare beoordeling te maken. In die zeldzame gevallen is het systeem minder geïnformeerd. Ondanks deze grens vormt de methode een belangrijke stap voorwaarts in het leren van agenten om kritisch over hun eigen acties na te denken. Door de eigen geschiedenis van de agent in een leraar te veranderen, hebben de onderzoekers een manier gecreëerd waarop deze systemen in realtime van hun fouten kunnen leren, wat leidt tot meer capabele en betrouwbare kunstmatige intelligentie.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.