💬 NLP

ReaLM: Residual Quantization Bridging Knowledge Graph Embeddings and Large Language Models

ReaLM is een nieuw framework dat Knowledge Graph Embeddings en Large Language Models overbrugt door continue KG-embeddings te discretiseren naar leerbare tokens via residual vector quantization en door ontologie-gestuurde beperkingen te incorporeren, waardoor het een state-of-the-art prestatie bereikt in Knowledge Graph Completion.

Oorspronkelijke auteurs: Wenbin Guo, Xin Wang, Jiaoyan Chen, Lingbing Guo, Zhao Li, Zirui Chen

Gepubliceerd 2026-06-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Wenbin Guo, Xin Wang, Jiaoyan Chen, Lingbing Guo, Zhao Li, Zirui Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Twee Talen Die Niet Mengen

Stel je voor dat je twee briljante experts hebt die samen een puzzel proberen op te lossen, maar ze spreken een totaal andere taal.

Expert A (De Knowledge Graph): Deze expert kent de wereld als een enorme, gestructureerde kaart van feiten. Hij denkt in precieze coördinaten en getallen. Als hij weet dat "Iron Man getrouwd is met Pepper Potts", slaat hij dit op als een specifieke wiskundige verbinding tussen twee punten.
Expert B (Het Large Language Model): Deze expert is een meester-verhalenverteller die menselijke taal spreekt. Hij begrijpt context, nuance en hoe woorden in elkaar overvloeien. Echter, hij begrijpt de precieze wiskundige coördinaten van de kaart van Expert A niet van nature.

Het Conflict: Wanneer je de Verhalenverteller (LLM) vraagt om een ontbrekend feit uit de Kaart (Knowledge Graph) te raden, raken ze vaak in de war.

Als je de kaart aan hen laat zien als tekst, kunnen ze een woord raden dat weliswaar "goed klinkt" (zoals "Pepper"), maar niet de exacte entiteit in de database is.
Als je probeert hen elke naam in de kaart te laten leren (er zijn er tienduizenden), raakt hun brein te vol, worden ze traag en beginnen ze fouten te maken.

De Oplossing: ReaLM (De Universele Vertaler)

De auteurs creëerden een systeem genaamd ReaLM om deze kloof te overbruggen. Beschouw dit als een vertaalapparaat dat de complexe coördinaten van de Kaart omzet in een eenvoudige, korte code die de Verhalenverteller perfect kan lezen en schrijven.

Hier is hoe het werkt, stap voor stap:

1. Kaarten Omzetten in "Postcodes" (Residual Vector Quantization)

In plaats van de Verhalenverteller de hele kaart te proberen te leren, neemt ReaLM het complexe wiskundige "adres" van elke entiteit (zoals Iron Man) en comprimeert dit tot een korte, unieke reeks getallen.

De Analogie: Stel je voor dat je een enorme bibliotheek hebt met miljoenen boeken. In plaats van de bibliothecaris het hele boek te geven om te lezen, geef je hem een korte barcode (bijv. 7-48-109-586).
Hoe het werkt: Het systeem breekt de complexe wiskunde af in lagen (zoals het pellen van een ui). Het vindt de dichtstbijzijnde match in een "woordenboek van codes" voor de eerste laag, berekent wat er ontbreekt, vindt een match voor de tweede laag, enzovoort. Het resultaat is een compacte lijst met getallen die het oorspronkelijke complexe idee perfect representeert.
Het Voordeel: De Verhalenverteller (LLM) hoeft niet miljoenen namen te onthouden. Het hoeft alleen maar een beheersbare set van deze "barcodes" te leren.

2. De Verhalenverteller de Nieuwe Codes Leren

Zodra de entiteiten zijn omgezet in deze nummercodes, voegt ReaLM ze toe aan de woordenschat van de Verhalenverteller.

De Analogie: Stel je voor dat het woordenboek van de Verhalenverteller plotseling een nieuwe sectie krijgt genaamd "Gekwantiseerde Codes". Nu, wanneer hij de code 7-48-109 ziet, weet hij precies naar welk personage dit verwijst, zonder dat hij de spelling hoeft te raden.
Het Voordeel: De Verhalenverteller kan nu het exacte juiste antwoord genereren (de specifieke entiteit) in plaats van een vage gok.

3. De Controle via het "Regelboek" (Ontology-Guided Constraints)

Soms kan de Verhalenverteller, zelfs met de codes, een logische fout maken. Ze zouden bijvoorbeeld kunnen raden dat een "Auto" de echtgenote van een "Persoon" is.

De Analogie: ReaLM brengt een Regelboek (Ontologie) in beeld. Voordat de Verhalenverteller zijn definitieve antwoord geeft, controleert het Regelboek: "Wacht, de vraag vraagt om een 'echtgenote'. Het antwoord moet een 'Persoon' zijn, geen 'Auto'."
Hoe het werkt: Het systeem voorspelt eerst de categorie (class) van het antwoord. Als de Verhalenverteller een entiteit raadt die niet bij de categorie past, filtert het systeem deze eruit en kiest de volgende beste optie die wel past.
Het Voordeel: Dit zorgt ervoor dat de antwoorden niet alleen wiskundig dichtbij zijn, maar ook logisch en semantisch correct.

Wat Hebben Ze Ontdekt?

De onderzoekers hebben dit systeem getest op twee grote "puzzelboeken" (datasets) met feiten over films en woorden.

Het Resultaat: ReaLM werd de kampioen van deze puzzels. Het presteerde beter dan alle voorgaande methoden, inclusief andere AI-modellen die probeerden kaarten en taal te combineren.
Waarom het won: Door complexe wiskunde om te zetten in eenvoudige codes, kon de Verhalenverteller de kaart eindelijk duidelijk "zien". Door de controle via het Regelboek te voegen, stopte het met het maken van domme logische fouten.

Samenvatting

ReaLM is als een vertaler die een complexe, hoogtechnologische kaart omzet in een eenvoudige set barcodes die een taalexpert kan lezen. Het voegt vervolgens een "logische controle" toe om te garanderen dat de antwoorden zinvol zijn. Dit stelt kunstmatige intelligentie in staat om het beste van twee werelden te combineren: de precieze structuur van een kennisdatabase en het krachtige redeneervermogen van een taalmodel.

Technische Samenvatting van ReaLM: Residual Quantization Bridging Knowledge Graph Embeddings and Large Language Models

Probleemstelling
Hoewel Large Language Models (LLM's) sterke redeneercapaciteiten hebben getoond voor Knowledge Graph Completion (KGC), bestaat er een fundamentele mismatch tussen de continue embedding-ruimtes van Knowledge Graph (KG)-modellen en de discrete token-ruimtes van LLM's. Traditionele benaderingen die KG-triples omzetten naar natuurlijke taal genereren vaak outputs die semantisch gerelateerd zijn, maar niet overeenkomen met exact gedefinieerde entiteiten in de KG, wat leidt tot inconsistenties in de mapping. Omgekeerd is het direct uitbreiden van de vocabulaire van een LLM om alle KG-entiteiten te bevatten computationeel onhaalbaar vanwege de enorme en evoluerende aard van entiteitssets (bijv. WN18RR bevat meer dan 40.000 entiteiten, wat het vocabulaire van 32.000 tokens van LLaMA-2 overschrijdt). Bestaande methoden die proberen deze kloof te overbruggen, zoals directe projectie of gedeeltelijke integratie, lijden vaak aan trainingsinstabiliteit, het onvermogen om ranking-taken te ondersteunen, of een falen in het vastleggen van rijke structurele semantiek.

Methodologie
Het voorgestelde framework, ReaLM, pakt deze uitdagingen aan via een meerfasig proces dat KG-embeddings discretiseert in compacte code-sequenties die compatibel zijn met LLM-tokenisatie, terwijl het semantische consistentie afdwingt via ontologie.

Semantische Extractie: Het framework maakt gebruik van RotatE om hoogwaardige entiteit- en relatie-embeddings voor te trainen in een complexe vectorruimte. RotatE is gekozen vanwege het superieure vermogen om relationele patronen vast te leggen in vergelijking met andere embedding-methoden zoals TransE of DistMult.
Residual Vector Quantization (RVQ): Om de continu-discrete kloof te overbruggen, gebruikt ReaLM Residual Vector Quantization. Voorgetrainde complexe embeddings worden gemapt naar real-valued vectoren en benaderd via een sequentie van $S$ stadia (empirisch ingesteld op 32). In elk stadium wordt een residu-vector gekwantiseerd door de dichtstbijzijnde codeword te selecteren uit een onafhankelijke codebook. Dit proces transformeert een hoogdimensionale continue embedding naar een compacte discrete sequentie van $S$ code-indices. De kwantisatie wordt geoptimaliseerd met een verliesfunctie die reconstructieverlies, codebook-verlies en een commitment-verlies combineert om codebook-instorting te voorkomen.
LLM Integratie en Fine-tuning: De discrete code-indices worden behandeld als nieuwe tokens en toegevoegd aan de LLM-vocabulaire. De embeddings voor deze nieuwe tokens worden geïnitialiseerd door de vectoren van de corresponderende codewords over alle kwantisatiestadia op te tellen. Het model wordt vervolgens gefinetuned met een duale adaptatiestrategie:
- Token Embedding Optimalisatie: De embeddings van de nieuw toegevoegde gekwantiseerde tokens worden getraind via standaard gradiëntafdaling.
- Parameter-Efficient Adaptation: De interne parameters van de LLM worden aangepast met behulp van Low-Rank Adaptation (LoRA), waardoor het model het discrete tokenformaat kan internaliseren zonder het volledige netwerk opnieuw te trainen.
Ontologie-gestuurde Class Constraints: Om semantische correctheid te garanderen, integreert ReaLM ontologiekennis. Klassen worden vergelijkbaar met entiteiten behandeld: ze worden geëmbed, gekwantiseerd en toegevoegd aan de vocabulaire. Tijdens inferentie voorspelt het model zowel de ontbrekende entiteit als de bijbehorende klasse. Als de voorspelde entiteit niet tot de voorspelde klasse behoort, wordt de vopredactie verfijnd door een alternatieve kandidaat te selecteren die aan de klasse-restrictie voldoet.

Belangrijkste Bijdragen

Residual Vector Quantization Framework: ReaLM introduceert een methode om hoogdimensionale continue KG-embeddings te transformeren naar compacte discrete code-sequenties. Dit maakt een naadloze integratie met LLM-tokenruimtes mogelijk terwijl rijke relationele en semantische informatie behouden blijft, zonder de noodzaak voor ongecontroleerde uitbreiding van de vocabulaire.
Ontologie-gestuurde Class Constraints: Het framework incorporeert klasse-niveau semantische restricties om consistentie af te dwingen tussen voorspelde entiteiten en hun corresponderende klassen, wat het probleem van semantisch plausibele maar klasse-inconsistente voorspellingen aanpakt.
Empirische Validatie: De aanpak wordt gevalideerd op standaard benchmark-datasets (FB15k-237 en WN18RR), waarbij significante verbeteringen worden getoond ten opzichte van zowel traditionele embedding-gebaseerde modellen als bestaande LLM-gebaseerde KGC-methoden.

Experimentele Resultaten
Uitgebreide experimenten werden uitgevoerd op link-predictie en triple-classificatie taken:

Link Predictie: Op de WN18RR dataset behaalde ReaLM een Mean Reciprocal Rank (MRR) van 0.608 en een Hits@1 van 0.575, waarmee het de sterkste LLM-gebaseerde baseline (SSQR-LLaMA3.1) met 1,6–3,5% verslaat. Op FB15k237 behaalde het een MRR van 0.467, waarmee het alle baselines overtreft.
Triple Classificatie: Op de FB15k-237N dataset bereikte ReaLM een nauwkeurigheid van 0.814 en een F1-score van 0.825, wat een verbetering is van 1,4 procentpunt in F1-score ten opzichte van de SSQR-LLaMA3.1 baseline.
Ablatie Studies: Het verwijderen van het ontologie-gestuurde component resulteerde in een consistente prestatieverslechtering over alle metrieken (bijv. een daling van 3,38% in F1-score voor triple classificatie), wat de cruciale rol van klasse-restricties bevestigt bij het filteren van type-incoherente voorspellingen.
Parameter Analyse: Experimenten gaven aan dat een codebook grootte ( $K$ ) van 1000–1500 en 32 kwantisatiestadia ( $S$ ) de optimale balans bieden tussen representatiecapaciteit en computationele efficiëntie.

Betekenis
Het artikel beweert dat ReaLM effectief de kloof overbrugt tussen gestructureerde kennis en generatieve taalmodellen. Door embeddings te discretiseren in gekwantiseerde codes, stelt ReaLM LLM's in staat om gestructureerde KG-semantiek te internaliseren zonder verlies van linguïstische vloeiendheid of de noodzaak voor massale vocabulaire-uitbreidingen. De integratie van ontologie-gestuurde restricties zorgt er verder voor dat de voorspellingen van het model semantisch consistent blijven met de onderliggende kennisgrafenstructuur. De auteurs concluderen dat ReaLM een state-of-the-art benadering is voor KGC, die een robuuste oplossing biedt voor de uitdagingen van semantische misalignment en vocabulaire-schaalbaarheid in LLM-gebaseerde kennisredenering.