QUMem: Personalized Memory for Query-Conditioned User-State Inference in LLM Agents
QUMem is een gestructureerd geheugenframework dat de personalisatie van LLM-agenten verbetert door interactiegeschiedenissen te segmenteren in semantische episodes, deze te decomponeren in onafhankelijk ophaalbare geheugentypen, en een multi-agent retrieval-proces toe te passen om temporeel en contextueel geldige gebruikersstatussen af te leiden, waardoor het state-of-the-art prestaties op personalisatiebenchmarks bereikt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de snel evoluerende wereld van kunstmatige intelligentie is een nieuwe generatie computerprogramma's opgekomen die meer kunnen dan alleen vragen beantwoorden; ze kunnen fungeren als persistente assistenten, die zich eerdere gesprekken herinneren en hun gedrag in de loop van de tijd aanpassen. Deze systemen, bekend als agenten, vertrouwen op een vorm van digitaal geheugen om effectief te kunnen functioneren. Net zoals een menselijke assistent de favoriete koffiebestelling van een klant onthoudt of zich herinnert dat een projectdeadline vorige week is verplaatst, moeten deze agenten informatie kunnen opslaan en ophalen uit lange geschiedenissen van interactie. Menselijk geheugen is echter geen eenvoudige archiefkast waar elk gesprek wordt opgeslagen als één onveranderlijk blok. In plaats daarvan scheiden wij van nature feiten van gevoelens, onderscheiden we een tijdelijke stemming van een blijvende voorkeur, en begrijpen we dat de context van een gesprek verandert naarmate de tijd verstrijkt. Om een persoon echt te begrijpen, moet kunstmatige intelligentie hetzelfde kunnen doen: door jaren aan dialoog te zeven, de relevante details van de ruis te scheiden, en een helder beeld te reconstrueren van wie de gebruiker op dit moment is.
Al een lange tijd proberen onderzoekers dit op te lossen door betere manieren te bouwen om deze digitale gesprekken op te slaan en te doorzoeken. De gangbare aanpak is geweest om geheugen te behandelen als een bibliotheek waarbij de zoekopdracht van een gebruiker fungeert als een zoekterm die de meest vergelijkbare tekstfragmenten naar voren haalt. Hoewel dit werkt voor eenvoudige vragen, heeft het moeite wanneer de situatie complex is. Als een gebruiker gedurende meerdere weken van mening verandert over een onderwerp, of als een enkel gesprek zowel een vluchtige klacht als een permanente regel bevat die de gebruiker wil volgen, raken standaard systemen vaak in de war. Ze kunnen ongerelateerde gebeurtenissen bij elkaar mengen of er niet in slagen te zien hoe een beslissing uit het verleden verbonden is met een huidig verzoek. Het resultaat is een assistent die de woorden onthoudt maar de betekenis mist, niet in staat om het verschil te zien tussen een tijdelijke voorkeur en een kernwaarde.
Een team van onderzoekers aan de Xi'an Jiaotong Universiteit heeft een nieuwe manier voorgesteld om deze uitdaging aan te pakken door een systeem genaamd QUMem te introduceren. In plaats van simpelweg naar vergelijkbare tekst te zoeken, is dit systeem ontworpen om de structuur van een gesprek en de specifieke rol van de informatie daarin te begrijpen. De onderzoekers stellen dat om een werkelijk gepersonaliseerde assistent te bouwen, de computer eerst de ruwe geschiedenis van interacties moet organiseren in betekenisvolle verhalen, of "episoden", gebaseerd op de natuurlijke loop van het gesprek. Vervolgens breekt het systeem deze verhalen af in drie verschillende soorten informatie: concrete feiten over wat er is gebeurd, specifieke voorkeuren of regels die de gebruiker heeft geuit, en bredere inzichten of principes die op nieuwe situaties kunnen worden toegepast. Door deze elementen te scheiden, kan het systeem de volledige context van een gebeurtenis behouden terwijl het de assistent toch in staat stelt om precies dat specifieke detail te selecteren dat nodig is voor het huidige moment.
De kerninnovatie ligt in de manier waarop het systeem een nieuw verzoek verwerkt. In plaats van de computer te vragen te raden waar hij naar moet zoeken, gebruikt QUMem een driestaps redeneerproces. Eerst analyseert een agent de huidige vraag van de gebruiker om te bepalen welke informatie precies nodig is om deze er goed te kunnen beantwoorden. De agent vraagt zich af of de taak een specifiek feit, een eerdere voorkeur of een algemene regel vereist. Vervolgens plant een tweede agent een zoekopdracht, waarbij het systeem de instructie krijgt om in de specifieke "planken" te zoeken waar dat type informatie is opgeslagen, in plaats van de gehele geschiedenis in één keer te doorzoeken. Ten slotte neemt een derde agent de opgehaalde bewijsstukken en weeft deze samen tot een samenhangend beeld van de huidige staat van de gebru over. Dit uiteindelijke beeld is niet slechts een lijst met oude herinneringen; het is een gesynthetiseerd begrip van wie de gebru in dit specifieke moment is, rekening houdend met hoe de voorkeuren zijn geëvolueerd en welke regels nog steeds van toepassing zijn.
Om deze aanpak te testen, vergeleken de onderzoekers hun systeem met verschillende bestaande methoden aan de hand van twee verschillende benchmarks die meten hoe goed een AI kan onthouden en zich aanpassen aan een gebruiker. In één test moest het systeem vragen beantwoorden over de veranderende voorkeuren van een gebruiker tijdens lange gesprekken. De nieuwe methode presteerde aanzienlijk beter dan de andere, waarbij het de state-of-the-art prestaties op de PersonaMem-benchmark bereikte. Met het GPT-4o-mini model verbeterde QUMem de algehele nauwkeurigheid naar 61,02%, en met Gemini-3.5-flash bereikte het 70,58%, vergeleken met respectievelijk ongeveer 53% en 63% voor de op één na beste systemen. De verbetering was nog prominenter wanneer de taak de assistent vereiste om bij te houden hoe een voorkeur in de loop van de tijd was veranderd of om een les uit het verleden toe te passen op een volledig nieuw scenario. In een tweede test, waarbij een mobiele assistent betrokken was die taken moest uitvoeren op basis van gebruikersgewoonten, behaalde het systeem opnieuw het hoogste succespercentage, wat bewees dat deze gestructureerde manier van denken over geheugen de computer helpt om beter actie te ondernemen, niet alleen betere antwoorden te geven.
De onderzoekers ontdekten ook dat de manier waarop het systeem is opgebouwd het efficiënter maakt. Oudere methoden activeren vaak een zwaar computationeel proces telkens wanneer er een nieuw bericht binnenkomt, ongeacht of het belangrijk is of niet. Het nieuwe systeem wacht tot een gesprek van nature een onderwerp afsluit voordat het het geheugen organiseert, en gebruikt vervolgens een vast, klein aantal stappen om de informatie te sorteren. Dit betekent dat het veel minder rekenkracht verbruikt om zijn geheugen op te bouwen, waardoor het lange geschiedenissen kan afhandelen zonder te vertragen. De studie suggereert dat de sleutel tot langdurige personalisatie niet alleen het opslaan van meer data is, maar het organiseren ervan op een manier die het verschil respecteert tussen een feit, een voorkeur en een les. Door de geschiedenis van de gebru te behandelen als een collectie van gestructureerde, evoluerende verhalen in plaats van een platte lijst met woorden, kan het systeem een veel duidelijker en nauwkeuriger begrip afleiden van de persoon die het dient.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.