A Storage-Retrieval Gap in Parametric Knowledge Graph Memory

Grote taalmodellen zijn krachtige hulpmiddelen die vragen kunnen beantwoorden en teksten kunnen schrijven, maar ze hebben een fundamentele beperking: ze weten alleen wat ze leerden tijdens hun initiële training. Als een model een specifieke, actuele feit nodig heeft—zoals de cast van een nieuwe film of de specificaties van een stuk industriële machinepark—moet het meestal de informatie op het moment dat erom wordt gevraagd, meegekregen. De standaardmanier om dit te doen, wordt retrieval-augmented generation genoemd. In dit proces vindt het systeem de relevante feiten uit een database, plakt ze in het gesprek en vraagt het model om ze te lezen en een antwoord te geven. Hoewel dit werkt, heeft het twee nadelen. Ten eerste verbruikt het plakken van grote hoeveelheden tekst in het gesprek een beperkte ruimte die het contextvenster wordt genoemd, wat de boel vertraagt en geld kost. Ten tweede vereist het dat de ruwe gegevens naar de computer worden gestuurd waar het model op draait, wat een beveiligingsrisico kan vormen als die gegevens gevoelig of eigendom van een bedrijf zijn.

Onderzoekers hebben een ander idee verkend: in plaats van de feiten elke keer in het gesprek te plakken, zou je de feiten direct in het geheugen van het model kunnen bakken. Stel je het model voor als een bibliotheek. De standaardmethode is om de bibliothecaris telkens wanneer er een vraag wordt gesteld een boek te overhandigen. De nieuwe aanpak vraagt of we voor elk specifiek onderwerp een permanente boekenplank in de bibliotheek kunnen installeren, zodat de bibliothecaris de juiste plank eruit kan treken en eruit kan lezen zonder het boek zelf ooit te zien. Dit onderzoek onderzoekt of dit mogelijk is voor kennisgrafen, die gestructureerde kaarten van feiten zijn over zaken zoals films, mensen en hun relaties. De onderzoekers wilden weten of ze een klein deel van deze kaart konden nemen, dit konden omzetten in een kleine set aanpassingen aan de interne instellingen van het model, en deze daar konden opslaan. Als dit succesvol zou zijn, zou het model vragen over een specifieke film kunnen beantwoorden zonder ooit de gegevens van de film te hebben gezien, simpelweg door de juiste interne aanpassing te "dragen".

Het team testte dit idee met behulp van een dataset met filminformatie. Ze namen de details van individuele films—zoals de regisseur, het jaar van uitgave en de acteurs—en zetten deze feiten om in tekst. Vervolgens gebruikten ze een techniek genaamd low-rank adaptation om een kleine, gespecialiseerde set gewichten voor elke film te trainen. Beschouw deze gewichten als een unieke, microscopische vingerafdruk die het gedrag van het model net genoeg bijstuurt om de details van die specifieke film te kennen. Ze creëerden een bank van deze vingerafdrukken, één voor elke van de 150 verschillende films. De cruciale test was om te zien of het model vragen over een film kon beantwoorden wanneer het de vingerafdruk van die film droeg, maar zonder de tekst van de film of andere informatie te hebben gezien.

De resultaten toonden aan dat deze methode werkt voor het opslaan van kennis. Wanneer het model de juiste vingerafdruk van een film kreeg, kon het vragen over die film met een hoge nauwkeurigheid beantwoorden, ook al had het de gegevens van de film tijdens de test nooit gezien. Sterker nog, voor vragen over enkelvoudige feiten zoals de regisseur of het jaar van uitgave, sprong de prestaties van het model van bijna nul naar een hoog succespercentage. Dit bewees dat het model de feiten echt had geleerd en binnen zijn eigen structuur had opgeslagen, in plaats van alleen te leren ze te lezen wanneer ze aanwezig waren. De kennis was specifiek voor de film; als het model de vingerafdruk van een andere film kreeg, kon het de vraag niet beantwoorden, en als het een willekeurige, niet-getrainde vingerafdruk kreeg, presteerde het zelfs slechter dan voorheen. Dit bevestigde dat de informatie werkelijk vergrendeld zat in de specifieke aanpassing voor die entiteit.

Echter, de studie bracht ook een aanzienlijke hindernis aan het licht. Hoewel de kennis opgeslagen kon worden, kon deze niet gemakkelijk gevonden worden. De onderzoekers probeerden uit te zoeken welke vingerafdruk gebruikt moest worden door enkel naar de vraag te kijken. Ze probeerden de vraag te matchen met de meest vergelijkbare film op basis van de tekstuele betekenis, en ze probeerden de vraag te matchen met de meest vergelijkbare vingerafdruk op basis van de wiskundige vorm. Beide methoden faalden volledig. Het systeem presteerde niet beter dan willekeurig gokken. De reden is dat de kennis lokaal is opgeslagen en niet overdraagbaar is. Zelfs als twee films zeer vergelijkbaar zijn—bijvoorbeeld omdat ze door dezelfde regisseur zijn gemaakt of tot hetzelfde genre behoren—zijn hun vingerafdrukken volkomen verschillend. De vingerafdruk van de ene film bevat niet het antwoord op een vraag over de andere, zelfs niet als de films nauwe buren zijn in de wereld van de cinema. De wiskundige afstand tussen de vingerafdrukken weerspiegelt wel hoe vergelijkbaar de films zijn, maar het vertelt je niet welke vingerafdruk het antwoord op een specifieke vraag bevat.

Dit creëert een kloof tussen opslag en ophalen. De onderzoekers bewezen dat je kennis in de gewichten van het model kunt opslaan zonder kosten voor de conversatieruimte, maar dat je momenteel geen manier hebt om automatisch de juiste opslageenheid te vinden zonder al te weten welke je nodig hebt. In een real-world systeem zou je nog steeds een apart hulpmiddel nodig hebben om de juiste filmtitel op te zoeken en de juiste vingerafdruk te selecteren, maar zodra dat is gebeurd, kan het model antwoorden zonder ooit de ruwe gegevens opnieuw te zien. Dit biedt een potentieel voordeel voor privacy en efficiëntie, aangezien de ruwe gegevens nooit tijdens het gesprek naar het model gestuurd hoeven te worden. Echter, de aanpak is geen magische oplossing voor alle problemen. Het vereist een eenmalige kostenpost om de vingerafdrukken te maken, en de opslagruimte die nodig is voor de vingerafdrukken is veel groter dan de tekst die ze vertegenwoordigen. Het is het meest nuttig voor stabiele datasets waar vaak over wordt gevraagd, in plaats van voor voortdurend veranderende informatie.

De studie concludeert dat hoewel we succesvol een kennisgraaf in een parametrisch geheugen kunnen omzetten, de uitdaging om automatisch de juiste stukjes geheugen te selecteren en te combineren voor complexe vragen nog onopgelost blijft. Voor eenvoudige vragen over een enkel item werkt de methode goed, maar voor vragen die vereisen dat informatie tussen verschillende items wordt gekopperd, kan het systeem nog niet uitzoeken welke geheugens gecombineerd moeten worden. De onderzoekers suggereren dat de volgende stap is om een leermechanisme te ontwikkelen dat kan beslissen welke vingerafdrukken te gebruiken zijn en hoe ze te mengen, in plaats van te vertrouwen op eenvoudige gelijkenis. Totdat dat is opgelost, is de belofte van een model dat zijn eigen bibliotheek aan feiten met zich meedraagt slechts half gerealiseerd: de boeken staan op de planken, maar de bibliothecaris heeft nog steeds een handmatige index nodig om ze te vinden.