HyperSkill: Self-Evolving LLM Agents via Hypergraph-Structured Skill Memory
HyperSkill is een nieuw framework dat de prestaties van LLM-agenten op complexe taken verbetert door de ervaringsgerelateerde geheugenstructuur te representeren als een hypergraaf van subtaken en herbruikbare vaardigheden, wat effectievere opslag, relationele retrieval en zelfevoluerend onderhoud mogelijk maakt die aanzienlijk beter presteren dan bestaande baselines.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een computerprogramma voor dat is ontworpen om te fungeren als een menselijke assistent, in staat om het internet te navigeren, hulpmiddelen te gebruiken en complexe, meerstaps-problemen op te lossen. Deze programma's, bekend als AI-agenten, beantwoorden niet alleen vragen; ze ondernemen acties, observeren de resultaten en proberen het opnieuw als ze falen. Om deze agenten in de loop van de tijd beter te laten worden, hebben ze een manier nodig om te onthouden wat ze eerder hebben gedaan. Net zoals een mens leert van een fout uit het verleden of een succesvolle strategie, heeft een agent een manier nodig om zijn ervaringen op te slaan zodat hij ze later kan hergebruiken. De uitdaging ligt in de vraag hoe deze herinnering te organiseren. Als een agent simpelweg een lange lijst opslaat van elke actie die hij ooit heeft ondernomen, wordt de informatie een rommelige bende van ruis. Als hij alleen het uiteindelijke antwoord opslaat, verliest hij de stapsgewijze logica die tot de oplossing leidde. De sleutel tot het bouwen van een werkelijk zelfverbeterende agent ligt in het vinden van een manier om niet alleen de ruwe data van een gebeurtenis op te slaan, maar ook de relaties tussen de kleine stappen die zijn gezet en de vaardigheden die werden gebruikt om ze op te lossen.
Onderzoekers proberen dit probleem op te lossen door verschillende systemen voor het geheugen van de agent te creëren. Sommige systemen slaan volledige verhalen van eerdere interacties op, terwijl andere proberen die verhalen te distilleren tot korte samenvattingen of lijsten van "vaardigheden". Deze bestaande methoden behandelen elk stuk informatie echter vaak als een geïsoleerd item. Ze kunnen zich misschien herinneren dat een specifieke taak werd opgelost, maar ze falen in het vastleggen van hoe de kleine stappen van die taak verbonden zijn met de herbruikbare vaardigheden die het mogelijk maakten. Ze hebben ook moeite met het efficiënt bijwerken van hun geheugen, omdat ze vaak simpelweg nieuwe informatie toevoegen zonder te controleren of oude informatie nutteloos is geworden of dat twee vergelijkbare vaardigheden eigenlijk hetzelfde zijn. Deze beperking voorkomt dat agenten werkelijk evolueren, omdat ze niet gemakkelijk de patronen kunnen zien die verschillende taken aan elkaar linken.
Om deze hiaten aan te pakken, heeft een team van onderzoekers een nieuw framework ontwikkeld genaamd HYPERSKILL. In plaats van herinneringen op te slaan als een platte lijst of een eenvoudige keten van verbindingen, organiseert dit systeem de ervaringen van een agent in een complex web waarbij één geheumeneenheid meerdere gerelateerde stukken informatie tegelijkertijd koppelt. Denk aan een geheugen niet als een enkel bestand, maar als een groepsfoto die een specifieke reis, de individuele stappen onderweg en de specifieke hulpmiddelen of strategieën die zijn gebruikt om daar te komen, allemaal samen in één pakket vastlegt. Wanneer de agent voor een nieuw probleem komt te staan, zoekt hij niet naar een vergelijkbaar verhaal uit het verleden. In plaats daarvan breekt hij het nieuwe probleem af in kleinere delen en zoekt naar eerdere reizen die diezelfde delen delen, ongeacht of het algemene verhaal er aan de oppervlakte anders uitziet.
Het systeem werkt door twee soorten geheugennodes te creëren: één voor de specifieke stappen van een taak en een andere voor de herbruikbare vaardigheden die op veel verschillende taken kunnen worden toegepast. Deze nodes zijn verbonden door een speciale link die een volledige reis vertegenwoordigt die de agent heeft afgelegd. Wanneer een nieuwe taak arriveert, gebruikt de agent een dual-path zoekopdracht om de meest behulpzame ervaringen uit het verleden te vinden. Eerst zoekt hij naar eerdere reizen die dezelfde kleine stappen delen als de huidige taak. Ten tweede zoekt hij naar reizen die overeenkomen met de algemene beschrijving van de taak. Door deze twee zoekopdrachten te combineren, kan het systeem relevante ervaringen vinden die een simpelere zoekopdracht zou missen. Zodra het deze eerdere reizen vindt, rangschikt het de gebruikte vaardigheden op basis van hoe vaak ze samen voorkwamen in succesvolle resultaten. Dit stelt de agent in staat om de meest betrouwbare strategieën te prioriteren in plaats van simpelweg te gokken op basis van hoe vergelijkbaar de woorden klinken.
Terwijl de agent blijft werken en meer ervaringen verzamelt, verfijnt het systeem automatisch zijn geheugen om het bruikbaar te houden. Het controleert regelmatig de opgeslagen informatie om vaardigheden of stappen te verwijderen die ondoeltreffend zijn gebleken of die niet langer nodig zijn. Het kijkt ook naar vaardigheden die in essentie hetzelfde zijn en voegt deze samen tot één enkele, sterkere vermelding. Dit proces zorgt ervoor dat het geheugen compact en van hoge kwaliteit blijft, waardoor de agent niet wordt overweldigd door redundante of laagwaardige informatie. De onderzoekers testten dit systeem op drie verschillende benchmarks die complexe webnavigatie, meerstaps-redeneren en het gebruik van hulpmiddelen omvatten. Ze vergeleken HYPERSKILL met tien andere geheugensystemen met behulp van twee verschillende grote taalmodellen. De resultaten toonden aan dat het nieuwe framework de anderen consequent overtrof, waarbij het hogere succespercentages behaalde op moeilijke taken. Zo verbeterde het op één specifieke test de succesratio met meer dan elf procentpunten vergeleken met het niet hebben van enig geheugen, en dat deed het zonder aanzienlijk meer rekenkracht of tijd te vereisen.
De studie suggereert dat de manier waarop het geheugen gestructureerd is even belangrijk is als het geheugen zelf. Door de relaties tussen taken, stappen en vaardigheden te bewaren, en door het systeem toe te staan zijn eigen kennisbasis te laten evolueren, stelt HYPERSKILL agenten in staat om effectiever te leren van hun eigen geschiedenis. De onderzoekers ontdekten dat het simpelweg toevoegen van meer geheugen zonder een slimme manier om het te organiseren en op te schonen, de prestaties zelfs kon schaden, wat leidde tot verwarring en fouten. Hun aanpak, die een gestructureerd web van verbindingen combineert met een gedisciplineerd proces voor het snoeien en samenvoegen, biedt een pad naar agenten die werkelijk competenter kunnen worden met elke ervaring die ze opdoen. Hoewel het systeem momenteel vertrouwt op de agent om taken af te breken en lessen te extraheren, wat een kleine kostenpost met zich meebrengt in de operatie, suggereren de winsten in nauwkeurigheid en efficiëntie dat deze methode van kennisorganisatie een belangrijke stap voorwaarts is voor autonome systemen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.