Moderne kunstmatige intelligentie heeft een punt bereikt waarop het naar een foto kan kijken en deze kan beschrijven, of een grafiek kan lezen en de trends ervan kan samenvatten. Deze systemen, bekend als multimodale grote taalmodellen, zijn opmerkelijk goed in perceptie. Echter, wanneer ze worden gevraagd een complex wetenschappelijk probleem of een lastig wiskundig raadsel op te lossen, struikelen ze vaak. Ze kunnen de stukjes van de puzzel wel zien, maar ze hebben moeite om ze samen te voegen tot een coherente oplossing. De standaardmanier om dit te herstellen is het model opnieuw te trainen, waarbij het duizenden voorbeelden krijgt gevoerd zodat het de juiste patronen leert. Maar deze aanpak heeft een groot gebrek: het vereist toegang tot de interne code van het model, die vaak opgesloten zit in propriëtaire systemen of simpelweg te groot is om op persoonlijke apparaten te draaien. Bovendien, als een model vandaag een probleem oplost, garandeert een standaard trainingsproces niet dat het die les morgen nog weet; elke nieuwe vraag wordt behandeld alsof het de eerste keer is dat het model het ooit heeft gezien.

Om deze kloof te overbruggen, verkennen onderzoekers een andere strategie: het geven van een extern geheugen aan de AI. In plaats van het brein van het model te veranderen, koppelen ze een notitieblok aan dat het model kan lezen. De uitdaging ligt in wat er in dat notitieblok geschreven moet worden. Als het notitieblok slechts een lijst is van eerdere problemen en hun antwoorden, kan het model in de war raken door te veel specifieke details. Als het notitieblok slechts een lijst is van algemene regels, kan het een gebrek aan de concrete voorbeelden hebben die nodig zijn om een nieuwe, onbekende situatie te begrijpen. De meest effectieve menselijke geheugensystemen lijken tussen deze twee behoeften een balans te vinden door zowel specifieke ervaringen als de algemene principes die daaruit voortvloeien op te slaan. Een nieuw framework genaamd DG-Mem probeert deze balans te reproduceren voor kunstmatige agenten, waardoor ze kunnen leren van eerdere problemen zonder dat ze vanaf nul opnieuw getraind hoeven te worden.

De onderzoekers achter dit werk, gevestigd aan de UC Merced en de Shanghai Jiao Tong University, bouwden een systeem dat werkt met een bevroren model — een model dat niet kan worden gewijzigd of bijgewerkt. Ze creëerden een geheugenbank die eenmalig wordt opgebouwd met behulp van een reeks trainingsproblemen en die wordt geraadpleegd telkens wanneer het model voor een nieuwe uitdaging staat. Dit geheugen is verdeeld in twee afzonderlijke delen, vergelijkbaar met hoe een mens zowel een dagboek van specifieke gebeurtenissen als een handboek met algemeen advies kan bijhouden. Het eerste deel is een "exemplar memory", dat specifieke, opgeloste voorbeelden opslaat. Dit zijn niet zomaar ruwe kopieën van oude vragen; het zijn gedestilleerde verslagen die de stapsgewijze strategie vastleggen die werd gebruikt om een bepaald type probleem op te lossen en de specifieke fouten die vermeden moeten worden. Het tweede deel is een "schema memory", dat algemene regels bevat, geschreven als eenvoudige "als-dan"-uitspraken. Deze regels beschrijven de onderliggende logica van een categorie problemen, zoals hoe men objecten in een specifieke visuele opstelling telt of hoe men een datagraaf interpreteert, zonder zich te verliezen in de details van een enkele instantie.

Een cruciale ontwerpkeuze in dit systeem is hoe deze twee soorten geheugen worden gecreëerd. De onderzoekers zorgden ervoor dat de algemene regels nooit worden geschreven door direct naar de specifieke voorbeelden te kijken. In plaats daarvan genereert het systeem eerst een tijdelijke, abstracte reflectie van een opgeloste probleemstelling. Het is alleen vanuit deze abstracte reflectie dat de algemene regels worden gesynthetiseerd. Dit voorkomt dat het systeem per ongeluk specifieke getallen of namen van een enkel probleem onthoudt en deze ten onrechte als een universele wet toepast. Bijvoorbeeld, als een probleem het tellen van gele blokken betreft, leert het systeem de regel "tel alle objecten van een specifieke kleur" in plaats van "tel gele blokken". Deze scheiding stelt het model in staat om een algemeen principe toe te passen op een nieuwe situatie met rode blokken, zelfs als het nog nooit rode blokken heeft gezien.

Om dit systeem effectief te laten werken, moesten de onderzoekers ook het probleem oplossen van hoe het geheugen georganiseerd moet worden. In het verleden vertrouwden systemen vaak op een vaste lijst met categorieën, zoals "meetkunde" of "algebra", wat te breed of te nauw kon zijn. Het nieuwe systeem gebruikt een online categoriseerder die zijn eigen lijst met categorieën opbout terwijl het werkt. Terwijl het systeem nieuwe problemen verwerkt, groepeert het ze in opkomende categorieën op basis van hun onderliggende concepten, waardoor het geheugen kan groeien en zich kan aanpassen aan de specifieke soorten problemen die het tegenkomt zonder dat er een vooraf gedefinieerde kaart nodig is.

Het meest innovatieve aspect van dit werk is hoe het systeem beslist welke stukken geheugen daadwerkelijk nuttig zijn. Wanneer het model een reeks regels ophaalt om een probleem op te lossen, krijgt het er vaak verschillende die relevant lijken. De onderzoekers ontwikkelden een methode om precies te achterhalen welke regel bijdroeg aan het juiste antwoord. Ze behandelen de regels als spelers in een teamspel, waarbij ze verschillende combinaties van regels testen om te zien welke tot succes leiden. Door te analyseren hoeveel elke regel de uitkomst verbetert wanneer deze aan een groep wordt toegevoegd, wijst het systeem een "bruikbaarheidsscore" toe aan elke regel. Deze score is niet gebaseerd op hoe sterk de regel lijkt op de huidige vraag, maar op hoe vaak deze historisch gezien het model heeft geholpen het juiste antwoord te vinden. Wanneer het model met een nieuwe vraag wordt geconfronteerd, gebruikt het deze score om de meest nuttige regels te prioriteren, waardoor het effectief leert welk advies het moet vertrouwen.

Het team testte dit framework op vier verschillende AI-modellen, variërend van open-source systemen tot krachtige propriëtaire modellen, en evalueerde ze op drie uitdagende benchmarks betreffende wiskundig en wetenschappelijk redeneren. De resultaten toonden een consistente verbetering. De modellen uitgerust met dit dubbelvoudige geheugen losten aanzienlijk meer problemen correct op dan dezelfde modellen zonder enig geheugen. Ze presteerden ook beter dan andere geheugensystemen die vertrouwden op slechts één type opslag of die geen manier hadden om de bruikbaarheid van hun regels te rangschikken. In sommige gevallen was de verbetering aanzienlijk, waarbij het systeem op bepaalde moeilijke tests meer dan twaalf procent meer problemen oploste.

De studie onthulde ook dat de twee soorten geheugen verschillende doelen dienen. Wanneer de onderzoekers de specifieke voorbeelden verwijderden, had het systeem moeite met problemen die visuele details vereisten, zoals het onderscheid tussen een volle cirkel en een cirkelsegment. Wanneer ze de algemene regels verwijderden, faalde het systeem op problemen die vereisten dat een brede strategie werd toegepast op een nieuwe visuele opstelling. De combinatie van beide was essentieel, wat bewees dat het systeem zowel de concrete verankering van specifieke voorbeelden als de abstracte flexibiliteit van algemene regels nodig had om te slagen.

Deze aanpak biedt een praktische weg voorwaarts voor het verbeteren van kunstmatige intelligentie zonder de enorme kosten van hertraining. Omdat het systeem geen wijzigingen vereist in de interne gewichten van het model, kan het worden ingezet op gesloten systemen of zelfs op persoonlijke apparaten waar privacy en efficiëntie van cruciaal belang zijn. De onderzoekers erkennen dat het systeem beperkingen heeft, met name in de omgang met de willekeur van computerberekeningen bij het toekennen van scores aan regels, maar de resultaten laten zien dat een gestructureerd, dubbellaags geheugen de redeneervaardigheden van een AI aanzienlijk kan verbeteren. Door specifieke ervaringen te scheiden van algemene principes en een methode te gebruiken om de waarde van elk stuk advies te wegen, biedt dit framework een robuuste manier voor kunstmatige agenten om te leren, te evolueren en complexe problemen effectiever op te lossen.