In de wereld van kunstmatige intelligentie fungeren grote taalmodellen als enorme bibliotheken van menselijke kennis, in staat om complexe vragen te beantwoorden en verhalen te schrijven. Deze digitale geesten hebben echter een aanzienlijke blinde vlek: ze vergeten vaak feiten waarover ze niet getraind zijn, of ze verzinnen details die waarachtig klinken maar eigenlijk onjuist zijn. Om dit op te lossen, ontwikkelden onderzoekers een methode genaamd retrieval-augmented generation (met gegevensverrijkte generatie). Stel je een student voor die een toets maakt en de toestemming heeft om een tekstboek te openen. In plaats van uitsluitend te vertrouwen op het geheugen, zoekt de student het antwoord op in het boek voordat hij het opschrijft. Dit houdt de antwoorden geworteld in de werkelijkheid. Een geavanceerdere versie van deze aanpak maakt gebruik van een "knowledge graph" (kennisgrafiek), die informatie organiseert als een kaart, waarbij mensen, plaatsen en gebeurtenissen met lijnen worden verbonden om te laten zien hoe ze met elkaar verband houden. Dit helpt het systeem om aanwijzingen te vinden die meerdere stappen verwijderd zijn van de oorspronkelijke vraag, in plaats van alleen te zoeken naar de meest voor de hand liggende overeenkomst.

Ondanks deze vooruitgang behandelen de meeste huidige systemen elke nieuwe vraag alsof het de eerste keer is dat het systeem deze ziet. Zelfs als het systeem zojuist een moeilijke puzzel over een specifieke historische figuur heeft opgelost, gooit het systeem op het moment dat de volgende vraag arriveert de redenering die het zojuist gebruikte direct weg. Het begint weer bij nul, waarbij het negeert dat het al eerder een soortgelijke route heeft uitgestippeld. Dit is inefficiënt, zoals een reiziger die bij elk nieuw dorp stopt om de weg te vragen naar een plek die hij gisteren nog heeft bezocht, in plaats van de route te onthouden die hij zojuist heeft afgelegd. Een team van onderzoekers aan de Beihang Universiteit in China heeft een oplossing voorgesteld voor dit probleem. Ze creëerden een systeem genaamd LivingRAG, dat een kunstmatige intelligentie in staat stelt om een schriftje bij te houden van zijn eigen succesvolle redeneringen. Door op te schrijven wat werkte en die aantekeningen te hergebruiken voor toekomstige vragen, wordt het systeem slimmer en beantwoordt het vragen nauwkeuriger terwijl het minder rekenkracht gebruikt.

De kern van het idee achter LivingRAG is het geven van een beschrijfbare geheugen aan het systeem dat het kan bijwerken terwijl het werkt. Wanneer het systeem een vraag beantwoordt, produceert het niet alleen een definitief antwoord en gaat het verder. In plaats daarvan pauzeert het om te controleren of de weg die het heeft genomen om dat antwoord te vinden, solide was. Het verifieert of de feiten die het gebruikte daadwerkelijk werden ondersteund door de documenten die het heeft opgehaald. Als de redenering deugt en de vraag niet slechts een herhaling is van iets dat het al heeft opgelost, slaat het systeem een compacte samenvatting van die ervaring op. Deze samenvatting bevat een kaart van welke stukken informatie het belangrijkst waren en een korte schets van hoe het antwoord werd geconstrueerd. Dit proces verandert een eenmalige interactie in een groeiende bibliotheek van geverifieerde kennis.

De onderzoekers testten deze aanpak door het systeem een stroom van vragen te voeren, vergelijkbaar met hoe een echte gebruiker een chatbot gedurende meerdere dagen zou gebruiken. Ze ontdekten dat gerelateerde vragen vaak in clusters voorkomen. Soms stelt een gebruiker een vraag over een specifiek persoon, en later vraagt hij naar een andere persoon die in dezelfde stad of tijdperk leefde. Andere keren volgen de vragen hetzelfde logische patroon, zoals het vergelijken van twee verschillende gebeurtenissen, zelfs als de details verschillen. In hun experimenten merkte het systeem dat het deze patronen frequent kon hergebruiken. Bijvoorbeeld, op een dataset met complexe meerstapsvragen was het systeem in staat om het redeneerpad van een vorige vraag te hergebruiken voor bijna alle daaropvolgende gerelateerde queries. Dit betekende dat het systeem niet elke keer opnieuw de verbindingen tussen feiten hoefde te herontdekken.

De resultaten toonden aan dat deze methode van leren van ervaring het systeem aanzienlijk beter maakte in het beantwoorden van vragen. Wanneer het werd vergeleken met andere sterke systemen die hun redenering niet opslaan, behaalde LivingRAG een hogere nauwkeurigheid op verschillende standaardbenchmarks. In een test met vragen over historische figuren en gebeurtenissen verbeterde het systeem zijn correcte antwoordpercentage van ongeveer 84 procent naar 87 procent. In een andere test gericht op klantenservicevragen was de verbetering nog prominenter, met een sprong van 66 procent naar meer dan 70 procent. Deze winst ging niet alleen over het geven van het juiste antwoord; het kwam ook met een bijkomend voordeel van efficiëntie. Omdat het systeem de "steiger" of structuur van een eerder antwoord kon hergebruiken, hoefde het niet zoveel nieuwe tekst te genereren om zijn redenering uit te leggen. Dit verminderde de hoeveelheid gegevens die het systeem moest verwerken, wat op zijn beurt de geschatte kosten voor het draaien van het systeem verlaagde.

Om ervoor te zorgen dat het systeem niet leert van zijn eigen fouten, bouwden de onderzoekers strikte kwaliteitscontroles in voordat er een ervaring werd opgeslagen. Het systeem schrijft alleen een nieuwe vermelding naar zijn geheugen als het antwoord wordt ondersteund door het bewijs dat het in de documenten heeft gevonden. Als het systeem het juiste antwoord raadt, maar de documenten ondersteunen dit niet daadwerkelijk, wordt de ervaring weggegooid. Dit voorkomt dat het systeem fouten versterkt of redundante informatie opslaat die geen nieuwe waarde toevoegt. De studie vond dat het systeem selectief was en slechts ongeveer 27 procent van de kandidaat-ervaringen opsloeg die het overwoog. Deze selectiviteit zorgde ervoor dat het geheugen een collectie bleef van hoogwaardige, geverifieerde inzichten in plaats van een rommelig logboek van elke poging.

De onderzoekers observeerden ook hoe de prestaties van het systeem in de loop van de tijd veranderden. Aan het begin van een sessie, wanneer het geheugen leeg was, presteerde het systeem vergelijkbaar met standaardmodellen. Echter, naarmate het meer vragen beantwoordde en zijn geheugen vulde met geverifieerde ervaringen, begon het die eerdere successen te gebruiken om toekomstige zoekopdrachten te sturen. Het systeem leerde sneller op de juiste plaatsen te zoeken en zijn antwoorden efficiënter te structureren. Dit suggereert dat de waarde van het systeem groeit naarmate het wordt gebruikt, wat het bijzonder geschikt maakt voor omgevingen waar gebruikers een continue stroom van gerelateerde vragen stellen. De studie beweerde niet dat deze methode elk probleem oplost of dat het in elke situatie perfect werkt, maar het demonstreerde dat het geven van het vermogen aan een systeem om te leren van zijn eigen geverifieerde redenering een praktische en effectieve manier is om de prestaties te verbeteren.

De implicaties van dit werk reiken verder dan alleen het krijgen van betere antwoorden. Door de hoeveelheid tekst die het systeem moet genereren te verminderen, verlaagt de methode ook de energie en de rekenkracht die nodig is om deze modellen te draaien. Dit is een cruciale overweging nu kunstmatige intelligentie steeds meer geïntegreerd wordt in het dagelijks leven. De onderzoekers merkten op dat hoewel hun systeem goed werkt op gecontroleerde sets vragen, gebruik in de echte wereld uitdagingen kan bieden, zoals feiten die in de loop van de tijd veranderen of vragen die minder voorspelbaar en verspreider worden. Ze suggereerden dat toekomstige versies van dergelijke systemen manieren moeten bevatten om oude herinneringen bij te werken of te verwijderen wanneer er nieuwe informatie beschikbaar komt. Voor nu biedt de studie echter een duidelijk bewijs dat een kunstmatige intelligentie krachtiger en efficiënter kan worden gemaakt, simpelweg door het de mogelijkheid te geven te onthouden wat het al heeft geleerd.