PROOF-Gen: From Optimized Data to Better Distillation
Het artikel introduceert PROOF-Gen, een methode die per scenario-geoptimaliseerde prompts gebruikt om succesvolle trajecten te herstellen uit fouten van het docentmodel, waardoor de prestaties van gedestilleerde tool-calling agents op benchmarks en in toegepaste pipelines aanzienlijk worden verbeterd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van kunstmatige intelligentie is een veelvoorkomende manier om een kleiner, sneller computerprogramma complexe taken te leren, door een veel groter, slimmer programma te laten demonstreren hoe het moet. Dit proces, bekend als distillatie, werkt als een meesterambachtsman die een leerling een perfecte techniek laat zien. De leerling kijkt naar de succesvolle pogingen van de meester en leert deze na te bootsen. Deze methode heeft echter een blinde vlek. Als de meester een fout maakt, negeert de leerling die poging simpelweg en wacht op de volgende succesvolle demonstratie. In het specifieke veld van tool-calling — waarbij een AI moet beslissen welke digitale tools te gebruiken zijn om een probleem op te lossen, zoals het controleren van een database of het versturen van een bericht — creëert dit een aanzienlijke kloof. De moeilijkste problemen zijn vaak de problemen waarbij de meester bijna slaagt, maar faalt bij de allerlaatste stap. Omdat de standaard leerwijze deze bijna-succesvolle pogingen wegwerpt, leert de leerling nooit hoe hij het specifieke beslissingspunt moet navigeren dat de fout veroorzaakte, waardoor de AI niet in staat is om de meest moeilijke scenario's op te lossen.
Onderzoekers bij Apple hebben een nieuwe methode ontwikkend genaamd PROOF-Gen om deze kloof te dichten. In plaats van de mislukte pogingen weg te gooien, behandelen zij deze als waardevolle leermomenten. Wanneer het masterprogramma een taak niet voltooit, treedt een tweede, nog geavanceerder programma op als een reflecterende coach. Deze coach analyseert precies waar de meester het misging, door te kijken naar de reeks acties en de uiteindelijke fout. Vervolgens schrijft de coach een specifieke set instructies, of een "gids", ontworpen om de meester door exact datzelfde probleem te leiden. Het masterprogramma probeert de taak nogmaals, dit keer door het nieuwe advies van de coach te volgen. Als het slaagt, wordt dit succesvolle pad opgeslagen als een nieuwe les. Cruciaal is dat voordat de leerling deze nieuwe les te zien krijgt, de gids wordt verwijderd. De leerling leert alleen van de zuivere, succesvolle reeks acties, en niet van de extra instructies die hielpen om deze te creëren. Dit zorgt ervoor dat de leerling de vaardigheid zelf leert, en niet slechts een specifieke set aanwijzingen uit het hoofd leert.
De resultaten van deze aanpak zijn opmerkelijk. In tests met een benchmark die ontworpen is om klantenservice-interacties te simuleren, betekende de standaardmethode van het wegwerpen van fouten dat het masterprogramma slechts in ongeveer 7 procent van de gevallen slaagde. De nieuwe methode herstelde succesvolle oplossingen voor 93 procent van de taken waarvan de meester oorspronkelijk was gefaald. Toen kleinere AI-modellen werden getraind op deze uitgebreide collectie lessen, verbeterde hun vermogen om taken te voltooien drastisch. Eén model sprong van het oplossen van 13 procent van de taken naar het oplossen van 53 procent, terwijl een ander model een vergelijkbare sprong in prestaties zag. De onderzoekers bevestigden dat deze verbetering voortkwam uit het leren van het juiste pad door moeilijke beslissingspunten, en niet alleen door beter te worden in de gemakkelijke delen van de taak. Sterker nog, het trainen op enkel de makkelijke, vooraf geselecteerde successen verbeterde het vermogen van de modellen om individuele tool calls te doen, maar hielp hen niet om de totale taak te voltooien. Alleen door de herstelde, moeilijke voorbeelden toe te voegen, leerden de modellen de volledige taak te voltooien.
Deze methode biedt ook een praktisch voordeel voor bedrijven die hun AI-systemen willen upgraden zonder de manier waarop de AI klinkt of zich gedraagt te veranderen. Omdat de definitieve lessen zijn ontdaan van de coachinginstructies, leert de AI de probleemoplossende capaciteit van de krachtige coach, terwijl de natuurlijke stem en stijl van het oorspronkelijke masterprogramma behouden blijven. De onderzoekers testten dit in een echt productiesysteem dat wordt gebruikt voor klantenservice, waar de methode het succespercentage van de AI met 6,3 procentpunten verbeterde. Deze winst bleef standhouden over tientallen verschillende talen en regio's, wat aantoont dat het vermogen om te herstellen van falen een universele vaardigheid is die niet afhankelijk is van een specifieke taal of culturele context. Door falen om te zetten in een gestructureerd leerproces, hebben de onderzoekers aangetoond dat de weg naar een slimmere AI niet alleen ligt in het vinden van meer perfecte voorbeelden, maar in het begrijpen en corrigeren van de imperfecte.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.