Beyond Prefixes: Graph-as-Memory Cross-Attention for Knowledge Graph Completion with Large Language Models

Dit artikel introduceert Graph-as-Memory Tuning (GMT), een nieuwe aanpak die lokale kennisgrafiekstructuren comprimeert tot expliciete geheugentokens en deze via diepe cross-attention in LLM's integreert om de prestaties bij het aanvullen van kennisgrafieken aanzienlijk te verbeteren ten opzichte van bestaande prefix-methode.

De kern

Stel je voor dat je een zeer intelligente, maar soms wat vergeetachtige assistent hebt. Deze assistent is een Groot Taalmodel (LLM), zoals een super-geavanceerde versie van een chatbot. Hij kent ontzettend veel woorden en kan prachtige zinnen maken, maar hij heeft een zwak punt: hij weet niet altijd de feitelijke details over de wereld om hem heen. Hij kan bijvoorbeeld zeggen dat appels fruit zijn, maar hij weet misschien niet precies welke vitaminen erin zitten, tenzij hij dat specifiek in zijn training heeft gelezen.

Om hem te helpen, gebruiken we een Kennisgraf (Knowledge Graph). Dit is als een enorme, digitale schatkist vol feiten, verbonden door lijntjes. Bijvoorbeeld: Appel → bevat → Vitamine C.

Het oude probleem: De "Post-it" methode

Tot nu toe probeerden mensen deze twee werelden te verenigen door de feiten uit de Kennisgraf als een Post-it op het scherm van de assistent te plakken (dit noemen ze "prefix-tuning").

• Het probleem: De assistent kijkt wel naar de Post-it, maar hij leest hem vaak maar half. Hij moet zelf heel hard nadenken om die losse feiten te verbinden met wat hij aan het schrijven is. Het is alsof je iemand een recept geeft, maar je zegt: "Lees dit maar even snel door terwijl je kookt." Het resultaat is vaak onzeker of zelfs fout (hallucinaties).

De nieuwe oplossing: GMT (Graph-as-Memory Tuning)

De auteurs van dit paper hebben een slimme nieuwe manier bedacht, genaamd GMT. In plaats van een Post-it te plakken, geven ze de assistent een digitaal geheugen dat direct in zijn hersenen is ingebouwd.

Hier is hoe het werkt, met een paar creatieve vergelijkingen:

1. De Vertaler (Semantische Graf Module)

Stel je voor dat de Kennisgraf een bibliotheek is met boeken in een vreemde taal (alleen cijfers en symbolen). De assistent spreekt die taal niet goed.

• Wat GMT doet: Er is een slimme vertaler die eerst de relevante feiten uit de bibliotheek haalt. Maar hij doet niet zomaar een kopie. Hij kijkt naar de context.
• De Analogie: Als je vraagt: "Wat zit er in een appel?", pakt de vertaler niet alleen het woord "appel". Hij kijkt ook naar de buren in de bibliotheek: "Citroen", "Sinaasappel", "Vitamine C". Hij begrijpt dat deze woorden samen een verhaal vertellen. Hij vat dit complexe verhaal samen in een paar krachtige, samengevatte zinnen (de "memory tokens").

2. De Telepathische Verbinding (Cross-Attention)

Nu heeft de assistent deze samenvattingen. In de oude methode moest hij ze apart lezen. In de nieuwe methode (GMT) is er een telepathische verbinding tussen de assistent en zijn geheugen.

• Hoe het werkt: Terwijl de assistent elke nieuwe letter van een zin schrijft, kan hij direct en diep in zijn geheugen duiken.
• De Analogie: Stel je voor dat je een detective bent die een raadsel oplost.
  • Oude methode: Je hebt een dossier op je bureau liggen. Je moet telkens stoppen, opstaan, naar het dossier lopen, een pagina lezen, en dan weer verder schrijven.
  • GMT-methode: Het dossier is nu een magisch spiegelbeeld dat direct in je hoofd verschijnt. Op het moment dat je denkt aan "vrucht", ziet je brein direct en duidelijk de pagina met "Vitamine C" en "Sinaasappel" verschijnen, zonder dat je hoeft te stoppen. De assistent "roept" het juiste bewijs op precies op het moment dat hij het nodig heeft.

3. Slimme Selectie (LoRA)

Het is duur en zwaar om de hele assistent (de LLM) opnieuw te leren. Daarom gebruiken de onderzoekers een slimme truc genaamd LoRA.

• De Analogie: In plaats van de hele assistent een nieuwe opleiding te geven, plakken ze een klein, slim opzetstuk (een soort bril) op zijn ogen. Deze bril zorgt ervoor dat hij de feiten uit zijn geheugen beter kan zien en gebruiken. De assistent zelf blijft hetzelfde (hij is al slim), maar met die bril wordt hij een expert in het combineren van feiten.

Waarom is dit zo goed?

In de experimenten bleek dat deze methode veel beter werkt dan de oude "Post-it" methode.

• Betrouwbaarder: De assistent maakt minder fouten en "hallucineert" minder (hij verzint minder dingen).
• Dieper inzicht: Hij begrijpt nu dat de betekenis van een woord verandert afhankelijk van de context. Bijvoorbeeld: het woord "behandelt" betekent iets anders als het gaat over een medicijn voor griep dan voor een hoofdpijn. GMT helpt de assistent om die nuance te zien door direct naar de juiste feiten in de graf te kijken.

Samenvatting

Kortom: GMT is als het geven van een slimme, live-geüpdatete notitieblok aan een super-intelligente schrijver. In plaats van dat hij zelf moet raden of de feiten moet opzoeken in een ver weggelegen archief, heeft hij de feiten direct in zijn hoofd, klaar om te gebruiken op het exacte moment dat hij ze nodig heeft. Hierdoor wordt hij niet alleen slimmer, maar ook veel betrouwbaarder in het beantwoorden van vragen over de wereld.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Beyond Prefixes: Graph-as-Memory Cross-Attention for Knowledge Graph Completion with Large Language Models" in het Nederlands.

Probleemstelling

Het integreren van Kennisgrafieken (KG) met Large Language Models (LLM's) is essentieel voor kennisintensieve taken zoals het voltooien van kennisgrafieken (Knowledge Graph Completion - KGC). Bestaande LLM-gebaseerde benaderingen vertrouwen echter voornamelijk op prefix-tuning, waarbij grafische informatie wordt ingebracht door structuur-embeddings simpelweg aan de tekstuele input te plakken (concatenatie).

De auteurs identificeren twee fundamentele tekortkomingen in deze bestaande methoden:

1. Onvoldoende interactie: Prefix-concatenatie resulteert in een "oppervlakkige" interactie. De LLM moet de structurele signalen impliciet afleiden uit de tekst, wat leidt tot een zware redeneerlast.
2. Gebrek aan fijnmazige bewijsretrieval: Tijdens het generatieproces kan de LLM niet dynamisch specifieke, relevante bewijsstukken uit de grafiek ophalen op token-niveau. Dit leidt vaak tot hallucinaties of voorspellingen die niet gevoelig zijn voor de context van de grafiek.

De kernvraag is hoe men expliciete KG-structuren kan fuseren met impliciete LLM-semantiek op een diep, feature-interactief niveau.

Methodologie: Graph-as-Memory Tuning (GMT)

De auteurs stellen GMT voor, een nieuw paradigma dat lokale grafiekstructuren omzet in een expliciete "grafiekgeheugen" (graph memory) en deze via diepe, token-voor-token cross-attention injecteert in de LLM. Het framework bestaat uit twee hoofdcomponenten:

1. Semantisch Grafiek Module (Semantic Graph Module - SGM)

Deze module transformeert de lokale omgeving van een query (de subgrafiek rondom de entiteiten) in een compacte set contextbewuste semantische representaties.

• Relatie-gerichte Message Passing: In plaats van te vertrouwen op statische entiteit-embeddings, behandelt de SGM relaties als de primaire dragers van betekenis. Voor een gegeven query-triplet $(h, r, t)$ worden de buren van $h$ en $t$ geanalyseerd.
• Knowledge Enhancement: Om ruis te filteren, worden relationele definities gegenereerd door een sterke LLM (bijv. GPT-4o) en omgezet in semantische vectoren.
• Top-K Filtering: Tijdens het verzamelen van informatie worden buren gefilterd op basis van semantische relevantie (cosine-afstand) met de centrale relatie. Alleen de $K$ meest relevante buren worden behouden.
• Memory Tokenization: De geaggregeerde contextuele relaties worden gecomprimeerd tot een vast aantal grafiekgeheugentokens ($m$ tokens) via een leerbaar "set-to-sequence" tokenizer mechanisme. Dit vormt de compacte, expressieve geheugenrepresentatie.

2. Graph-as-Memory Cross-Attention Fusion Module

Deze module injecteert de gegenereerde geheugentokens in de LLM op een diepe manier.

• Multi-layer Injectie: In plaats van alleen de input te moduleren, worden de geheugentokens ingebracht in meerdere Transformer-lagen van de LLM.
• Token-wise Retrieval: Voor elke token in de prompt wordt een cross-attention-laag toegevoegd die de query-afbeeldingen (van de prompt) koppelt aan de keys/values van het grafiekgeheugen. Dit stelt de LLM in staat om tijdens de generatie dynamisch en selectief relevant bewijs uit de grafiek op te halen.
• Parameter-efficiëntie: Om de basis-LLM gefriest te houden, wordt LoRA (Low-Rank Adaptation) uitsluitend toegepast op de projectiematrices van de cross-attention-laag. De basis-LLM en de meeste andere parameters blijven onveranderd.

Trainingsstrategie

Het model wordt in twee fasen getraind:

1. Self-Supervised Pre-training: De SGM wordt vooraf getraind op een link-predictie taak om robuuste relationele semantiek te leren.
2. Memory-Augmented Fine-tuning: De volledige GMT-pijplijn wordt gefine-tuned op de KGC-taak (met een gefrieste LLM) om de geheugenruimte af te stemmen op de interne representaties van de LLM.

Belangrijkste Bijdragen

1. Nieuw Paradigma: De introductie van GMT, dat oppervlakkige concatenatie vervangt door een diepe, geheugen-gedreven retrieval via cross-attention.
2. Semantische Grafiek Module: Een innovatieve aanpak die kennis-versterkte relatiedefinities gebruikt om contextbewuste, gefilterde grafiekgeheugentokens te construeren.
3. Efficiënte Integratie: Een ontwerp dat diepe integratie mogelijk maakt zonder de basis-LLM te finetunen, dankzij LoRA op de cross-attention-pad.
4. Empirische Validatie: Uitgebreide experimenten die aantonen dat diepe injectie superieur is aan bestaande methoden.

Resultaten

De auteurs hebben GMT getest op standaard benchmarks voor zowel Link Prediction (WN18RR, FB15k-237) als Triple Classification (UMLS, CoDeX-S, FB15k-237N).

• Link Prediction: GMT behaalde state-of-the-art resultaten. Op WN18RR bereikte het een MRR van 0.621 (vs. 0.593 bij de beste concurrent) en op FB15k-237 een MRR van 0.488 (vs. 0.469).
• Triple Classification: GMT presteerde consistent het beste op alle drie de datasets, met name op UMLS (Accuracy 94.55%, F1 93.76).
• Ablatie Studies:
  • Het verwijderen van de semantische filtering (w/o Semantics) leidde tot een prestatiedaling, wat aantoont dat relationele context essentieel is.
  • Het vervangen van cross-attention door prefix-concatenatie (w/o Fusion) veroorzaakte de grootste daling, wat bevestigt dat diepe, token-wise retrieval cruciaal is.
• Robuustheid: Het systeem bleek robuust ten opzichte van verschillende LLM-generatoren (zowel gesloten als open-source) voor het genereren van relationele definities.

Betekenis en Conclusie

Dit artikel markeert een verschuiving in hoe kennisgrafieken worden geïntegreerd met LLM's. In plaats van grafische informatie als statische "voorvoegsels" te behandelen, behandelt GMT deze als een dynamisch, ophaalbaar geheugen.

De belangrijkste implicaties zijn:

• Verbeterde Redenering: Door de LLM in staat te stellen om tijdens de generatie actief bewijs uit de grafiek op te halen, wordt de afhankelijkheid van impliciete redenering verminderd, wat hallucinaties vermindert.
• Efficiëntie: De methode biedt een hoogwaardige prestatieverbetering zonder de enorme kosten van het finetunen van een volledige LLM.
• Toekomstperspectief: De aanpak opent de deur voor complexere kennisintensieve generatietaken waar contextafhankelijke semantiek (zoals de betekenis van een relatie die verandert afhankelijk van de entiteiten) cruciaal is.

Kortom, GMT bewijst dat een diepe, architecturale integratie van grafiekstructuren in LLM's via cross-attention superieur is aan traditionele concatenatiemethoden.