HyMem: Hierarchical Context Management for Long-Horizon Agents via Information Isolation
HyMem is een hiërarchisch contextbeheerkader dat de prestaties van LLM-agenten over lange perioden verbetert door hoogwaardige planning te isoleren van executietracés en gestructureerde samenvattingen te gebruiken om focus en nauwkeurigheid te behouden, waarbij het state-of-the-art resultaten behaalt op de GAIA- en Browsecomp-plus-benchmarks.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een briljante assistent voor die kan lezen, redeneren en op het internet kan zoeken om ongelooflijk moeilijke problemen op te lossen. Jarenlang hebben wetenschappers deze digitale helpers gebouwd met behulp van grote taalmodellen, in de hoop dat ze complexe, meerstapsuitdagingen zouden kunnen aanpakken, zoals het plannen van een wetenschappelijke expeditie of het navigeren door een website om een specifieke historische feit te vinden. Echter, een hardnekkig probleem heeft hen tegengehouden: naarmate deze assistenten langer werken en meer informatie verzamelen, wordt hun "geheugen" van het gesprek een rommelige bende. De assistent begint te verdrinken in de details van zijn eigen acties — de ruwe tekst van elk zoekresultaat, elke mislukte poging en elke tussenliggende gedachte — totdat hij het oorspronkelijke doel vergeet dat hij probeerde te bereiken. Het is alsof een bibliothecaris, terwijl hij probeert één enkel boek te vinden, begraven raakt onder een berg van elke pagina die hij ooit heeft omgeslagen, waardoor hij het spoor van de titel waarnaar hij op zoek was, kwijtraakt.
Onderzoekers aan het Instituut voor Automatisering van de Chinese Academie van Wetenschappen hebben een nieuwe manier voorgesteld om dit digitale geheugen te organiseren om dat probleem op te lossen. Ze noemen hun systeem HyMem, een methode die is ontworpen om langdurige taken op koers te houden door verschillende soorten informatie strikt van elkaar te scheiden. In plaats van elke stukje data in één lange lijst te laten mengen, bouwt HyMem een structuur waarbij hoogwaardige planning plaatsvindt in een schone, stille kamer, terwijl het luidruchtige, rommelige werk van zoeken en testen plaatsvindt in aparte, geïsoleerde ruimtes. Deze aanpak stelt de assistent in staat om zich te concentreren op het grote plaatje zonder afgeleid te worden door de rommel van zijn eigen dagelijkse operaties.
De kern van dit werk is dat niet alle informatie gelijk is. Wanneer een agent aan een langdurige taak werkt, genereert hij twee zeer verschillende soorten data. Het ene type is het strategische plan: de doelen, de geverifieerde feiten en de stappen die nodig zijn om de klus te klaren. Het andere type is het uitvoeringstraject: de ruwe, vaak repetitieve en soms mislukte pogingen om hulpmiddelen te gebruiken, websites te browsen of details te controleren. In oudere systemen werden deze twee soorten informatie gemengd in een enkele stroom. Naarmate de taak vorderde, zou het enorme volume aan rommelige uitvoeringstrajecten de schaarse, cruciale planningssignalen overstemmen. De assistent zou zijn weg kwijtraken, niet in staat om het belangrijke doel te onderscheiden van de ruis van zijn eigen geschiedenis.
Om dit op te lossen, ontwierpen de onderzoekers een framework dat fungeert als een strikte poortwachter voor informatie. Ze creëerden een "Planner"-laag die de hoofdstrategie vasthoudt en een aparte "Executor"-laag die de daadwerkelijke uitvoering van het gebruik van hulpmiddelen afhandelt. Wanneer de Planner een feit moet controleren of een zoekopdracht moet uitvoeren, stuurt hij een specifieke instructie naar de Executor. De Executor gaat aan de slag met het werk, verzamelt alle ruwe data, maar stort die ruwe data niet terug in het hoofdgeheugen van de Planner. In plaats daarvan verwerkt de Executor de informatie, filtert de ruis eruit en geeft alleen een schone, gestructureerde samenvatting terug van wat hij heeft gevonden. Deze samenvatting wordt vervolgens aan het geheugen van de Planner toegevoegd, terwijl de rommelige details worden weggegooid.
Het systeem bevat ook een speciale "Isolated Reasoning"-module voor bijzonder lastige deelproblemen. Als een taak diep nadenken of het controleren van tegenstrijdig bewijs vereist, stuurt de Planner dat specifieke probleem naar deze geïsoleerde module. De module werkt het probleem zelfstandig uit, waarbij de eigen interne gedachten en tussenstappen verborgen blijven voor de hoofdplanner. Zodra de module tot een conclusie komt, stuurt zij alleen het antwoord en het belangrijkste bewijs terug, waardoor het geheugen van de hoofdplanner vrij blijft van het lange, kronkelige pad dat is afgelegd om daar te komen. Dit zorgt ervoor dat de belangrijkste beslisser nooit wordt belast door de complexiteit van de gedelegeerde subtaken.
Om het systeem over langere perioden soepel te laten draaien, gebruikt HyMem ook een gestructureerd geheugensysteem dat werkt als een archiefkast. Het organiseert voorgaande gebeurtenissen, huidige doelen en geleerde lessen over het gebruik van hulpmiddelen in nette, compacte samenvattingen. Wanneer het systeem zich iets moet herinneren, raadpleegt het deze georganiseerde bestanden in plaats van te proberen elk enkel detail uit het verleden te herinneren. Dit stelt de assistent in staat om een duidelijk gevoel van voortgang en continuïteit te behouden, zelfs na vele uren werk, zonder dat het geheugen te groot wordt om te beheren.
De onderzoekers testten deze nieuwe aanpak op twee uitdagende reeksen taken: één die betrekking had op algemene redenering en het gebruik van hulpmiddelen, en een andere die gericht was op diepgaand onderzoek naar specifieke feiten op internet. Ze vergeleken hun systeem met verschillende andere methoden, waaronder oudere benaderingen die simpelweg probeerden de volledige geschiedenis van een gesprek samen te vatten in een kortere samenvatting. De resultaten toonden aan dat door de planning en uitvoering gescheiden te houden, het HyMem-systeem aanzienlijk succesvoller was. Op de algemene redeneertaken loste het ongeveer 66,7% van de problemen correct op, terwijl het op de diepgaande onderzoeks-taken 61,3% oploste. Deze cijfers waren opvallend hoger dan die van de best presterende alternatieve methoden, die moeite hadden om de focus te behouden naarmate de taken langer en complexer werden.
De studie keek ook naar de hoeveelheid informatie die het systeem moest verwerken om deze antwoorden te bereiken. De onderzoekers ontdekten dat het HyMem-systeem de problemen niet simpelweg oploste door meer rekenkracht te gebruiken of meer tekst te lezen. In plaats daarvan loste het ze efficiënter op door de aandacht alleen te richten op de informatie die er toe deed. Het hoofdplanninggeheugen groeide zeer traag en bleef gefocust op het doel, terwijl de geïsoleerde ruimtes de zware taken van exploratie en analyse afhandelden. Dit suggereert dat de sleutel tot het oplossen van lange, moeilijke problemen niet alleen het hebben van een groter geheugen is, maar een slimmere manier om het te organiseren.
Hoewel de resultaten veelbelovend zijn, merken de onderzoekers op dat het systeem afhankelijk is van het vermogen van de onderliggende kunstmatige intelligentie om strikte instructies op te volgen en goed georganiseerde samenvattingen te produceren. Als het model niet in staat is deze regels te volgen, zullen de voordelen van het systeem mogelijk niet zichtbaar worden. Echter, voor taken die aanhoudende aandacht en het vermogen vereisen om complexe informatie over een langere tijd te navigeren, biedt deze hiërarchische aanpak een duidelijke weg vooruit. Door het signaal van de ruis te scheiden, stelt HyMem digitale agenten in staat om helder te denken, zelfs wanneer het werk dat ze doen ongelooflijk ingewikkeld is.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.