Evolver: Turning Agent Exploration into Evolving Capabilities
Evolver is een ervaringgestuurd framework dat transiënte agent-exploratie transformeert naar persistente, herbruikbare capaciteiten zonder de parameters van het basismodel bij te werken, waardoor de succespercentages van taken en de executie-efficiëntie over meerdere benchmarks worden verbeterd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van kunstmatige intelligentie is er een groeiende klasse programma's ontstaan die bekend staan als agents. In tegen tegenstelling tot eenvoudige chatbots die vragen beantwoorden, zijn deze agents ontworpen om actie te ondernemen. Ze kunnen bestanden openen, code uitvoeren, het internet doorzoeken en interageren met complexe digitale omgevingen om meerstaps-problemen op te lossen, net zoals een menselijke ingenieur of onderzoeker dat zou doen. Om te slagen, moeten deze agents hun omgeving verkennen, verschillende tools uitproberen en leren van fouten. Er is echter een aanzienlijke flessenhals ontstaan: telkens wanneer een agent een moeilijk probleem oplost, gaat de waardevolle les die het heeft geleerd vaak verloren. Zodra de taak is voltooid, wordt het gedetailleerde verslag van hoe het worstelde, wat het probeerde en wat uiteindelijk werkte, weggegooid. De volgende keer dat een vergelijkbaar probleem zich voordoet, begint de agent opnieuw vanaf nul, waarbij dezelfde verkennende inspanningen worden herhaald en computationele middelen worden verspild. De centrale vraag waar onderzoekers voor staan, is hoe ze deze vluchtige ervaring kunnen vastleggen en kunnen omzetten in een blijvende bron die de agent helpt om in de loop van de tijd beter te worden, zonder de onderliggende 'hersenen' fundamenteel te hoeven hertrainen.
Een team van onderzoekers heeft een systeem geïntroduceerd genaamd Evolver om dit probleem op te lossen. In plaats van te proberen de kernsoftware die de agent aanstuurt te veranderen — wat een moeilijk en kostbaar proces is — fungeert Evolver als een externe geheugenbank die slimmer wordt bij elke taak. Het systeem werkt volgens een eenvoudig principe: het transformeert de ruwe, rommelige geschiedenis van de exploratie van een agent naar georganiseerde, herbruikbare instructies. Wanneer een agent een taak voltooit, analyseert Evolver de sessie om de meest nuttige strategieën te extraheren. Vervolgens verpakt het deze strategieën in gestructureerde eenheden, die de onderzoekers "Gene assets" noemen. Dit zijn geen genetische codes in biologische zin, maar compacte, heldere beschrijvingen van een procedure, inclusief de exacte bepaling van wanneer deze gebruikt moet worden en welke stappen zij omvat. Het systeem houdt ook een verslag bij van mislukte pogingen, waardoor een lijst ontstaat van zaken die vermeden moeten worden, zodat de agent niet dezelfde fouten uit het verleden herhaalt.
De ware kracht van Evolver ligt in de manier waarop het deze geaccumuleerde kennis gebruikt. Wanneer een nieuwe taak arriveert, laat het systeem de agent niet blind ronddwalen. In plaats daarvan doorzoekt het de bibliotheek met Gene assets op zoek naar relevante strategieën die passen bij de huidige situatie. Het voert deze instructies vervolgens in de workflow van de agent in, waardoor de beslissingen worden gestuurd voordat de agent zelfs maar begint met handelen. Dit proces vindt plaats zonder de fundamentele programmering van de agent te wijzigen. De agent blijft hetzelfde, maar is nu uitgerust met een gecureerde set historische wijsheid die hels helpt om het probleem efficiënter aan te pakken. De onderzoekers testten deze aanpak met behulp van twee verschillende soorten geavanceerde programmeer-agents en vier onderscheidende benchmarks die prestaties meten op gebieden zoals softwareherstel en terminal-operaties. Ze vergeleken de prestaties van de agents wanneer ze alleen werkten tegenover hun prestaties wanneer ze werden bijgestaan door de bibliotheek van eerdere ervaringen van Evolver.
De resultaten suggereren dat deze methode om exploratie in evolutie om te zetten zeer effectief is. In een reeks van 3 bepaalde tests (320 gepaarde tests) voltooiden de agents die Evolver gebruikten vaker succesvol taken dan de agents die alleen werkten, waarbij het succespercentage steeg van 83,13% naar 87,50%. Deze verbetering was consistent over verschillende soorten taken en verschillende onderliggende agent-modellen. Misschien nog wel opmerkelijker was de winst in efficiëntie. De door Evolver gestuurde agents gebruikten aanzienlijk minder computationele middelen om hun doelen te bereiken. Gemiddeld daalde de hoeveelheid verwerkte data, gemeten in tokens, met 24,24%. Deze reductie was niet alleen een bijeffect van minder vaak falen; zelfs in de gevallen waarin zowel de gestuurde als de ongestuurde agents slaagden, gebruikte de gestuurde versie 17,57% minder middelen. Dit geeft aan dat de historische ervaring de agents hielp om kortere, directere paden naar de oplossing te vinden, waardoor onnodige omwegen en redundante berekeningen werden vermeden.
De onderzoekers illustreerden deze winsten met specifieke voorbeelden. In een taak die het tellen van datatokens betrof, voltooide een door Evolver bijgestane agent de klus met 86,5% minder middelen en deed hij veel minder pogingen om een beroep te doen op het AI-model vergeleken met zijn onbijgestane tegenhanger. In een ander geval, waarbij een complexe softwarebug betrokken was, loste de gestuurde agent het probleem op met 58,2% minder dataverbruik. Deze gevallen demonstreren dat het systeem niet alleen helpt dat agents slagen waar ze anders zouden falen; het helpt hen ook om met meer elegantie en snelheid te slagen. De studie concludeert dat door het verleden van exploratie te behandelen als een persistente, herbruikbare activa, het mogelijk is om agents te creëren die hun capaciteiten continu verbeteren. Deze aanpak biedt een praktisch pad voorwaarts, waardoor AI-systemen hun geschiedenis kunnen leren kennen en hun vaardigheden kunnen evolueren zonder de zware kosten van het hertrainen van hun kernmodellen, waardoor elke voltooide taak effectief een opstapje wordt voor de volgende.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.