Evo-Harness: Context-to-Harness Skill Compilation for Self-Evolving Agents
Evo-Harness introduceert een zelf-evoluerend agent-framework dat de uitdaging van leren van ruisende, one-shot interacties in nieuwe real-world taken aanpakt door middel van context-naar-harness skill compilatie om ervaringen te distilleren tot herbruikbare, gestructureerde skill harnesses voor continue cross-domein verbetering.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de snel evoluerende wereld van kunstmatige intelligentie is een specifiek soort software, bekend als een large language model agent, opgekomen als een krachtig hulpmiddel voor het oplossen van complexe problemen. Deze agenten kunnen instructies lezen, stappen plannen, digitale hulpmiddelen gebruiken en interageren met websites of computersystemen, veel zoals een mens dat zou doen. Echter, een hardnekkige uitdaging heeft hun potentieel beperkt: wanneer deze agenten falen bij een taak, behandelen ze die mislukking vaak als een doodlopende weg. Ze leren niet van nature van de fout om herhaling later te voorkomen. Traditionele methoden voor het onderwijzen van deze systemen omvatten meestal het verzamelen van duizenden eerdere pogingen en het offline analyseren daarvan om patronen te vinden, een proces dat traag is en vaak losstaat van de real-time workflow. In veel praktische situaties komt een agent slechts één keer een nieuwe, moeilijke taak tegen, met een enkele kans om te slagen of te falen, waardoor er weinig ruimte is voor de langzame accumulatie van gegevens die traditioneel leren vereist.
Onderzoekers hebben nu een nieuwe manier voorgesteld waarop deze digitale werkers on the fly kunnen verbeteren, een methode die zij online harness learning noemen. In plaats van te proberen de kernhersenen van de agent te hertrainen, die vaak vaststaand en onveranderlijk zijn, koppelen ze een externe gids aan die evolueert met elke nieuwe ervaring. Deze gids, of "harness", fungeert als een gestructureerde collectie lessen die zijn geleerd uit eerdere pogingen. Wanneer de agent faalt, slaat het systeem de fout niet alleen op; het compileert de rommelige details van die mislukking actief tot een heldere, herbruikbare regel. Deze regel wordt vervolgens toegevoegd aan de gids, klaar om de agent in de toekomst bij soortgelijke uitdagingen te helpen navigeren. Het doel is om een ruizige, eenmalige fout te transformeren in een zuiver, actiegericht stuk wijsheid dat kan worden toegepast op verschillende soorten taken.
Om dit idee te testen, bouwden de onderzoekers een systeem genaamd Evo-Harness en zetten dit op de proef op vijf verschillende en veeleisende benchmarks. Deze tests varieerden van het navigeren door complexe websites en het beheren van software code-repositories tot het uitvoeren van precieze opdrachtregelinstructies en het gebruik van diverse digitale hulpmiddelen. In elk scenario kreeg de agent een stroom van taken, één na de andere, zonder de mogelijkheid om te pauzeren en de onderliggende modellen te hertrainen. Het systeem werd ontworpen om de ruwe context van elke poging te nemen — de gegeven instructies, de ondernomen acties, de uitkomst en de ontvangen feedback — en deze te distilleren tot een gestructureerde les. Als de agent faalde, zou een gespecialiseerd proces reflecteren op wat er misging, waarbij een nieuwe regel of een modificatie van een bestaande regel werd voorgesteld. Een ander proces zou vervolgens beslissen of deze nieuwe regel toegevoegd, samengevoegd met bestaande kennis, of verworpen moest worden als deze te specifiek was voor die ene mislukte poging.
De resultaten van dit experiment waren opmerkelijk. De agenten die de evoluerende gids gebruikten, presteerden consequent beter dan de agenten die dat niet deden, en ze versloegen ook andere methoden die vertrouwden op het simpelweg ophalen van eerdere voorbeelden of het opslaan van ongestructureerde herinneringen. Op een benchmark gericht op opdrachtregel-taken was de verbetering bijzonder spectaculair, waarbij de succespercentages sprongen van ongeveer 63 procent naar meer dan 73 procent. Dit suggereert dat het vermogen om ruizige, single-shot ervaringen te compileren tot gestructureerde begeleiding bijzonder waardevol is wanneer taken een sequentie van precieze operaties vereisen, zoals het inspecteren van bestanden of het herstellen van fouten. De studie toonde ook aan dat het type begeleiding dat het systeem genereerde varieerde afhankelijk van de taak. Voor webnavigatie vulde de gids zich met workflow-procedures; voor software engineering richtte het zich op verificatie- en herstelstappen; en voor redeneertaken legde het domeinspecifieke logica vast. Deze aanpasbaarheid geeft aan dat het systeem niet alleen antwoorden onthoudt, maar de onderliggende structuur van het oplossen van problemen leert.
Een cruciaal inzicht uit het onderzoek is dat niet alle feedback gelijk is. Het systeem presteerde het best wanneer het duidelijke, gegronde feedback ontving vanuit de omgeving, zoals een specifieke foutmelding of een testresultaat, in plaats van wanneer het gevraagd werd om zijn eigen succes te beoordelen. Wanneer de agent probeerde zijn eigen feedback te genereren zonder extern bewijs, daalde de prestatie zelfs onder de baseline, wat suggereert dat zelfbeoordeling verwarring kan introduceren. Bovendien onthulde de studie dat de omvang en capaciteit van de hersenen van de agent ertoe deden. Sterkere modellen waren beter in het interpreteren en volgen van de geëvolueerde begeleiding en haalden aanzienlijk meer uit het systeem dan zwakkere modellen. Interessant genoeg kon een kleiner model soms een gids schrijven die een groter, krachtiger model hielp, maar het omgekeerde was niet altijd waar. Als de agent die de taak oploste niet verfijnd genoeg was om de begeleiding te begrijpen, hielp de extra informatie niet en kon het de prestaties zelfs hinderen.
De onderzoekers verkenden ook hoe deze geleerde vaardigheden konden worden overgedragen. Ze ontdekten dat een gids die door één model was gemaakt, nuttig kon zijn voor een ander, en dat vaardigheden die zijn geleerd op een reeks trainings-taken de prestaties op onbekende test-taken konden verbeteren. De meest effectieve aanpak was echter om de gids continu bij te werken terwijl de agent door de stroom van taken werkte. Deze real-time adaptatie stelde het systeem in staat zich aan te passen aan de specifieke eigenaardigheden en foutmodi van de huidige omgeving, waarbij het zelfs de beste vooraf getrainde gidsen versloeg. De studie concludeert dat de sleutel tot zelfverbeterende agenten niet ligt in het constant hertrainen van hun kernmodellen, maar in het bouwen van een robuust, extern systeem dat de chaos van real-world fouten kan omzetten in een heldere, georganiseerde set instructies. Door de gids te behandelen als een levend document dat met elke interactie groeit en zichzelf verfijnt, kunnen deze digitale agenten leren om de onvoorspelbare aard van complex, echt werk aan te kunnen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.