A Framework for Dynamic Memory Management and Personalized Agent Decision-Making in Retrieval- Augmented Generation

In de snel evoluerende wereld van kunstmatige intelligentie zijn grote taalmodellen bijzonder vaardig geworden in het genereren van menselijke tekst, het beantwoorden van vragen en het voeren van gesprekken. Deze systemen worden echter geconfronteerd met een fundamentele beperking: ze bezitten een statische kennisbasis die niet van nature groeit of zich aanpast door middel van conversatie. Wanneer een gebruiker gedurende dagen of weken een reeks vragen stelt, vergeet het model vaak eerdere details, behandelt het elke interactie als een nieuw begin en vergeet het wat de gebruiker al weet of verkiest. Om dit op te lossen, hebben onderzoekers systemen ontwikkeld die deze krachtige taalmodellen combineren met externe databases, een methode die bekend staat als retrieval-augmented generation (verrijkte generatie door middel van informatie-opvraging). Dit stelt de AI in staat om feiten op te zoeken voordat er wordt geantwoord, maar zelfs deze verbeterde systemen hebben vaak moeite om een samenhangend verhaal te behouden over lange gesprekken of om hun reacties af te stemmen op de specifieke behoeften en leerstijlen van individuele gebruikers.

Een team van onderzoekers van de Hechi University in China en INTI International University in Maleisië heeft een nieuw framework voorgesteld dat is ontworpen om deze specifieke tekortkomingen te verhelpen. Ze noemen hun systeem DMAP-RAG, een structuur die dynamisch geheugenbeheer en gepersonaliseerde besluitvorming integreert in het proces van informatie-opvraging. In plaats van een gesprek te behandelen als een eenvoudige lijst van eerdere berichten, hebben de onderzoekers een systeem gebouwd dat informatie organiseert als een groeiende boom, waarbij recente interacties worden gescheiden van de langetermijnhistorie. Dit stelt de AI in staat om de directe context van een chat te onthouden, terwijl ook samengevatte gebeurtenissen van dagen of weken geleden op een gestructureerde manier worden opgeslagen. Bovendien bouwt het systeem actief een profiel van de gebruiker op terwijl deze spreekt, waarbij het de kennisgraad, de voorkeursleerstijl en interessegebieden noteert, en dit profiel vervolgens gebruikt om te beslissen hoe naar informatie gezocht moet worden en hoe het uiteindelijke antwoord geformuleerd moet worden.

De onderzoekers testten dit framework in verschillende scenario's, waaronder academische onderzoeksvragen, complexe meerstaps redeneertaken en een op maat gemaakte dataset voor het onderwijzen van computerprogrammeren. In deze tests presteerde het nieuwe systeem consequent beter dan standaard benaderingen. Wanneer het gevraagd werd om vragen te beantwoorden op basis van wetenschappelijke artikelen, behaalde het een score van 78,9 procent, een significante verbetering ten opzichte van bestaande methoden. In tests waarbij de AI informatie over meerdere documenten moest verbinden, bereikte het een nauwkeurigheidsscore van 66,1 procent voor kennis. Misschien wel het meest opmerkelijk was dat menselijke beoordelaars de kwaliteit van de gesprekken beoordeelden: de capaciteit van het systeem om bij het onderwerp te blijven en logische consistentie te behouden werd gewaardeerd met een 4,4 uit 5, en het vermogen om reacties te personaliseren voor de gebruiker met een 4,3 uit 5. Deze resultaten suggereren dat door de AI een gestructureerde manier te geven om te onthouden en een specifieke manier om de persoon met wie het praat te begrijpen, het systeem begeleiding kan bieden die natuurlijker en behulpzamer aanvoelt.

De kern van deze verbetering ligt in de manier waarop het systeem met geheugen omgaat. In plaats van elke eerdere boodschap in een platte, ongeorganiseerde lijst op te slaan, creëerden de onderzoekers een duaal opslagsysteem. Eén deel fungeert als een kortetermijncache die de laatste tien uitwisselingen van een gesprek vasthoudt om ervoor te zorgen dat de AI de directe context begrijpt. Wanneer een gesprek pauzeert of eindigt, vat het systeem deze uitwisselingen samen en verplaatst ze naar een langetermijngeheugenbank. Deze langetermijnbank is geen eenvoudige map met tekst; het is georganiseerd als een boomstructuur waarbij gerelateerde onderwerpen vanuit elkaar vertakken. Als een gebruiker vandaag over een specifief concept vraagt en een week later terugkomt met een gerelateerde vraag, kan het systeem deze boom navigeren om de verbinding te vinden, in plaats van te verdwalen in een zee van ongerelateerde gegevens. Deze structuur helpt de AI om het veelvoorkomende probleem te vermijden van het vergeten van de draad van een gesprek na een onderbreking.

Naast dit geheugensysteem implementeerden de onderzoekers een module die continu een profiel van de gebruiker bijwerkt. Terwijl de gebruiker spreekt, zoekt het systeem naar aanwijzingen over hun achtergrond. Als een gebruiker eenvoudige vragen stelt over basisconcepten, concludeert het systeem dat zij een beginner zijn. Als de gebruiker technische termen gebruikt of vraagt over complexe debugging-problemen, verhoogt het systeem de beoordeling van hun expertise. Het houdt ook hun leervoorkeuren bij; als een gebruiker goed reageert op analogieën of visuele beschrijvingen, noteert het systeem dit als een "visuele leerling". Dit profiel is niet statisch; het groeit en verandert bij elke interactie. Wanneer het systeem klaar is om een vraag te beantwoorden, raadpleegt het dit profiel om te beslissen hoe de reactie geformuleerd moet worden, zodat een beginner een eenvoudige uitleg krijgt terwijl een expert een gedetailleerde technische uiteenzetting ontvangt.

Het laatste onderdeel van het framework is een agent decision core (agent-besluitvormingskern) die fungeert als het brein van de operatie. Voordat er een antwoord wordt gegenereerd, beslist deze component of het systeem informatie moet opzoeken of of het uit eigen kennis kan antwoorden. Het weegt factoren af zoals de complexiteit van de vraag, het kennisniveau van de gebruker en de huidige staat van het gesprek. Indien een zoekopdracht nodig is, herschrijft het systeem de vraag van de gebruiker om deze effectiever te maken voor het zoeken, waarbij de oorspronkelijke query wordt gecombineerd met het gebruikersprofiel en de recente geschiedenis. Dit zorgt ervoor dat de opgehaalde informatie niet alleen relevant is voor de getypte woorden, maar ook is afgestemd op de specifieke persoon die de vraag stelt. Zodod de relevante informatie is verzameld, synthetiseert het systeem deze tot een definitieve reactie die coherent, accuraat en gepersonaliseerd is.

In een specifieke testcase waarbij een student leerde programmeren in de taal C, werd het verschil tussen dit nieuwe systeem en oudere methoden duidelijk. Toen een student die zichzelf identificeerde als een visuele leerling vroeg waarom een functie soms een waarde niet verandert, gaf een standaard systeem een droge, technische definitie van "pass-by-value". Het nieuwe systeem onthield echter dat de student een visuele leerling was en eerder over pointers had gesproken. Het reageerde door een analogie te gebruiken van een boek en een fotokopie, waarbij werd uitgelegd dat de functie op een kopie van het boek werkte in plaats van op het origineel. Deze reactie beantwoordde niet alleen de vraag correct, maar verbond het ook met eerdere kennis en paste de uitlegstijl aan de behoeften van de student aan. Menselijke beoordelaars beoordeelden deze reactie aanzienlijk hoger op zowel coherentie als personalisatie dan de reacties van andere modellen.

De onderzoekers erkennen dat deze aanpak meer rekenkracht vereist dan eenvoudigere systemen, aangezien het het onderhouden van complexe geheugenstructuren en het uitvoeren van extra besluitvormingsstappen met zich meebrengt. Ze stelden echter vast dat de toename in computationele kosten beheersbaar is op moderne hardware. Het systeem heeft ook beperkingen, zoals de tijd die nodig is om vanaf nul een betrouwbaar gebruikersprofiel op te bouwen en het feit dat het momenteel alleen tekst verwerkt. Ondanks deze beperkingen suggereert het onderzoek dat het combineren van gestructureerd geheugen met gepersonaliseerde agent-besluitvorming een veelbelovend pad voorwaarts biedt. Door kunstmatige intelligentie het vermogen te geven om contextueel te onthouden en zich aan te passen aan het individu, komen deze systemen dichter bij het worden van werkelijk behulpzame partners in onderwijs, technische ondersteuning en langdurige dialoog.