AutoSaddler: Automatic Harness Optimization with Durable Updates from Agent Execution Traces
AutoSaddler is een automatisch framework dat LLM-agent-harnesses optimaliseert door iteratief foutsporen uit executielogs te diagnosticeren en gestructureerde codepatches te genereren, wat de robuustheid en prestaties van agenten op langdurige taken over meerdere benchmarks aanzienlijk verbetert.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de snel evoluerende wereld van kunstmatige intelligentie bouwen onderzoekers steeds vaker systemen die meer doen dan alleen vragen beantwoorden; ze handelen. Deze "agenten" zijn softwareprogramma's die worden aangedreven door grote taalmodellen en die een reeks stappen kunnen plannen, digitale hulpmiddelen kunnen gebruiken en met een computeromgeving kunnen interageren om complexe problemen op te lossen. Stel je voor dat je een computer vraagt om een week aan reizen te organiseren, vluchten te boeken en hotels te reserveren. De agent geeft je niet alleen een lijst; hij logt in, zoekt, vergelijkt prijzen en maakt de boekingen. Deze systemen worstelen echter vaak wanneer taken lang of ingewikkeld worden. Een kleine fout in een vroeg stadium van het proces, zoals het verkeerd interpreteren van een enkele instructie, kan uitmonden in een totale mislukking uren later. Om dit te voorkomen, bouwen ingenieurs een beschermende laag code rond de agent, een zogenaamde "harness" (tuig). Deze harness fungeert als een supervisor die het werk van de agent controleert, de hulpmiddelen beheert en ervoor zorgt dat hij op koers blijft. Jarenlang was het ontwerpen van deze harness een traag, handmatig proces waarbij menselijke experts instructies en instellingen handmatig moesten bijsturen, een proces dat moeilijk schaalbaar is en het systeem vaak kwetsbaar laat.
Een team van onderzoekers heeft een nieuwe methode geïntroduceerd genaamd AutoSaddler die dit hele ontwerpproces automatiseert. In plaats van te vertrouwen op menselijke intuïtie om de supervisorcode te repareren, behandelt het systeem de harness zelf als een stuk software dat verbeterd kan worden door middel van een rigoureuze cyclus van testen en leren. De onderzoekers formuleerden het probleem als een offline leeropdracht, wat betekent dat het systeem leert van een verzameling eerdere fouten in plaats van te proberen dingen in realtime uit te zoeken. Ze voerden batches taken in die de agent eerder niet had kunnen voltooien. Het systeem analyseerde vervolgens de gedetailleerde verslagen van deze mislukkingen, bekend als executie-traces, om precies te begrijpen waar en waarom de agent fout ging. Het gokte niet zomaar; het zocht diep in de code en de logs om de grondoorzaak te vinden, net zoals een monteur een automotor diagnosticeert door naar het geluid te luisteren en de onderdelen te controleren, in plaats van alleen maar te gokken welke bout hij moet aandraaien.
Zodra het systeem het probleem had geïdentificeerd, genereerde het een specifieke, gestructureerde oplossing, of "patch", voor de harness-code. Deze patches waren geen willekeurige wijzigingen; ze waren zorgvuldig gecategoriseerd in drie typen: wijzigingen aan de instructies van de agent, wijzigingen aan de hulpmiddelen die hij kan gebruiken, en wijzigingen aan de logica die zijn gedrag stuurt. Het systeem testte deze patches vervolgens onmiddellijk op dezelfde batch taken om te zien of ze daadwerkelijk werkten. Als een patch het directe probleem oploste zonder iets anders te breken, ging het systeem over naar een tweede, cruciale stap: controleren of de fix zou werken op nieuwe, onbekende taken. Deze stap was essentieel om te garanderen dat het systeem niet simpelweg de antwoorden op de spece problemen die het had gezien uit het hoofd leerde, maar daadwerkelijk slimmer werd op een algemene manier. De onderzoekers bouwden een geheugensysteem, een gerichte graaf die de geschiedenis van elke wijziging, elke succeservaring en elke mislukking bijhield, waardoor het systeem kon leren van zijn volledige geschiedenis in plaats van alleen van de meest recente poging.
De resultaten van deze aanpak waren significant. Wanneer getest op drie verschillende benchmarks met betrekking tot complexe taken, presteerde het systeem consequent beter dan de oorspronkelijke, handmatig ontworpen harnesses. Op een set algemene assistent-taken verbeterde het geautomatiseerde systeem het succespercentage met negen procentpunten. Op een benchmark voor software engineering-taken verbeterde het met bijna tien punten, en op een terminal-gebaseerde probleemoplossingstest won het ook tien punten. Deze winsten waren aanzienlijk genoeg om niet alleen de oorspronkelijke handmatige ontwerpen te overtreffen, maar ook andere geautomatiseerde methoden die probeerden het systeem te optimaliseren. De onderzoekers ontdekten dat de sleutel tot dit succes niet alleen het proberen van veel willekeurige wijzigingen was, maar het focussen op diepe diagnose, het maken van gerichte structurele wijzigingen en het rigoureus selecteren van alleen die wijzigingen die breed bruikbaar bleken te zijn.
De studie sloot expliciet verschillende veelvoorkomende benaderingen uit die intuïtief zouden kunnen lijken maar ineffectief bleken. De onderzoekers toonden aan dat het simpelweg reflecteren op een fout zonder diep onderzoek in de code en logs leidde tot oppervlakkige oplossingen die niet standhielden. Ze demonstreerden ook dat het toestaan van het systeem om onbeperkte, willekeurige wijzigingen aan de code aan te brengen, resulteerde in een chaotische zoektocht die zelden de juiste oplossing vond en vaak bleef steken op kleine tekstuele aanpassingen terwijl belangrijke structurele verbeteringen werden genegeerd. Bovendien ontdekten ze dat het optimaliseren voor enkel de specifieke taken die tijdens de training werden gezien, leidde tot overfitting, wat betekende dat het systeem uitstekend werd in die specifieke taken maar faalde wanneer het geconfronteerd werd met nieuwe variaties. Het systeem slaagde alleen wanneer het werd gedwongen om zijn wijzigingen te valideren tegen een aparte set onbekende taken, wat ervoor zorgde dat de verbeteringen duurzaam en algemeen waren.
Door uitgebreid testen bevestigden de onderzoekers dat hun methode robuust en efficiënt was. Het systeem bereikte hoge prestatieniveaus met veel minder computerbronnen dan concurrerende methoden, waarbij het ongeveer tien keer minder pogingen nodig had om dezelfde lessen te leren. Deze efficiëntie kwam voort uit het vermogen van het systeem om diep te leren van elke fout, in plaats van alleen maar te proberen een oplossing door middel van brute force te vinden via miljoenen willekeurige gissingen. De studie suggereert dat de toekomst van betrouwbare AI-agenten ligt in deze geautomatiseerde, zelfverbeterende frameworks die systematisch hun eigen operationele instructies kunnen debuggen en verfijnen. Door de harness te behandelen als code die kan evolueren door middel van bewijsgestuurde diagnose en gestructureerde reparatie, hebben de onderzoekers een pad geopend naar meer capabele en betrouwbare kunstmatige intelligentiesystemen die de lange, complexe taken van de echte wereld kunnen afhandelen zonder constante menselijke tussenkomst.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.