💬 NLP

ReaLM: Residual Quantization Bridging Knowledge Graph Embeddings and Large Language Models

ReaLM ist ein neuartiges Framework, das Knowledge Graph Embeddings und Large Language Models verbindet, indem es kontinuierliche KG-Embeddings mittels Residual Vector Quantization in lernbare Token diskretisiert und Ontologie-gestützte Constraints einbezieht, wodurch es eine State-of-the-Art-Leistung bei der Knowledge Graph Completion erzielt.

Ursprüngliche Autoren: Wenbin Guo, Xin Wang, Jiaoyan Chen, Lingbing Guo, Zhao Li, Zirui Chen

Veröffentlicht 2026-06-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Wenbin Guo, Xin Wang, Jiaoyan Chen, Lingbing Guo, Zhao Li, Zirui Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Zwei Sprachen, die nicht zusammenpassen

Stellen Sie sich vor, Sie haben zwei brillante Experten, die gemeinsam ein Rätsel lösen wollen, aber sie sprechen völlig unterschiedliche Sprachen.

Experte A (Der Wissensgraph): Dieser Experte kennt die Welt als eine riesige, strukturierte Karte aus Fakten. Er denkt in präzisen Koordinaten und Zahlen. Wenn er weiß: „Iron Man ist mit Pepper Potts verheiratet“, speichert er dies als eine spezifische mathematische Verbindung zwischen zwei Punkten.
Experte B (Das Large Language Model): Dieser Experte ist ein Meister des Geschichtenerzählens und spricht menschliche Sprache. Er versteht Kontext, Nuancen und wie Wörter zusammenfließen. Er versteht jedoch nicht von Natur aus die präzisen mathematischen Koordinaten der Karte von Experte A.

Der Konfl Konflikt: Wenn Sie den Geschichtenerzähler (LLM) bitten, einen fehlenden Fakt aus der Karte (Wissensgraph) zu erraten, gerät er oft durcheinander.

Wenn Sie ihm die Karte als Text zeigen, rät er vielleicht ein Wort, das zwar richtig klingt (wie „Pepper“), aber nicht die exakte Entität in der Datenbank ist.
Wenn Sie versuchen, ihn zu zwingen, jeden einzelnen Namen in der Karte zu lernen (es gibt zehntausende), wird sein Gehirn zu voll, er wird langsam und beginnt Fehler zu machen.

Die Lösung: ReaLM (Das universelle Übersetzungswerkzeug)

Die Autoren haben ein System namens ReaLM entwickelt, um diese Lücke zu schließen. Betrachten Sie es als ein Übersetzungsgerät, das die komplexen Koordinaten der Karte in einen einfachen, kurzen Code umwandelt, den der Geschichtenerzähler perfekt lesen und schreiben kann.

So funktioniert es, Schritt für Schritt:

1. Karten in „Postleitzahlen“ verwandeln (Residual Vector Quantization)

Anstatt zu versuchen, dem Geschichtenerzähler die gesamte Karte beizubringen, nimmt ReaLM die komplexe mathematische „Adresse“ jeder Entität (wie Iron Man) und komprimiert sie in eine kurze, eindeutige Zahlensequenz.

Die Analogie: Stellen Sie sich vor, Sie haben eine riesige Bibliothek mit Millionen von Büchern. Anstatt dem Bibliothekar das ganze Buch zum Lesen zu geben, geben Sie ihm einen kurzen Barcode (z. B. 7-48-109-586).
Wie es funktioniert: Das System zerlegt die komplexe Mathematik in Schichten (wie das Schälen einer Zwiebel). Es findet die nächste Übereinstimmung in einem „Code-Wörterbuch“ für die erste Schicht, berechnet, was fehlt, findet eine Übereinstimmung für die zweite Schicht und so weiter. Das Ergebnis ist eine kompakte Liste von Zahlen, die die ursprüngliche komplexe Idee perfekt repräsentiert.
Der Vorteil: Der Geschichtenerzähler (LLM) muss nicht Millionen von Namen auswendig lernen. Er muss nur eine handhabbare Menge dieser „Barcodes“ lernen.

2. Dem Geschichtenerzähler die neuen Codes beibringen

Sobald die Entitäten in diese Zahlencodes umgewandelt wurden, fügt ReaLM sie dem Vokabular des Geschichtenerzählers hinzu.

Die Analogie: Stellen Sie sich vor, das Wörterbuch des Geschichtenerzählers erhält plötzlich einen neuen Abschnitt namens „Quantisierte Codes“. Wenn er nun den Code 7-48-109 sieht, weiß er genau, auf welchen Charakter er sich bezieht, ohne die Schreibweise erraten zu müssen.
Der Vorteil: Der Geschichtenerzähler kann nun die exakt richtige Antwort (die spezifische Entität) generieren, anstatt nur eine vage Vermutung abzugeben.

3. Der „Regelbuch“-Check (Ontology-Guided Constraints)

Manchmal unterläuft dem Geschichtenerzähler trotz der Codes ein logischer Fehler. Zum Beispiel könnte er raten, dass ein „Auto“ die Ehefrau einer „Person“ ist.

Die Analogie: ReaLM bringt ein Regelbuch (Ontologie) mit. Bevor der Geschichtenerzähler seine endgültige Antwort gibt, prüft das Regelbuch: „Warte, die Frage fragt nach einer ‚Ehefrau‘. Die Antwort muss eine ‚Person‘ sein, kein ‚Auto‘.“
Wie es funktioniert: Das System sagt zuerst die Kategorie (Klasse) der Antwort voraus. Wenn der Geschichtenderzähler eine Entität rät, die nicht zur Kategorie passt, filtert das System diese heraus und wählt die nächstbeste Option, die tatsächlich passt.
Der Vorteil: Dies stellt sicher, dass die Antworten nicht nur mathematisch nah dran, sondern auch logisch und semantisch korrekt sind.

Was haben sie herausgefunden?

Die Forscher haben dieses System an zwei großen „Rätselbüchern“ (Datensätzen) getestet, die Fakten über Filme und Wörter enthalten.

Das Ergebnis: ReaLM wurde zum Champion dieser Rätsel. Es übertraf alle bisherigen Methoden, einschließlich anderer KI-Modelle, die versuchten, Karten und Sprache zu kombinieren.
Warum es gewann: Indem es komplexe Mathematik in einfache Codes verwandelte, konnte der Geschichtenerzähler die Karte endlich klar „sehen“. Durch den „Regelbuch“-Check stoppte es dumme logische Fehler.

Zusammenfassung

ReaLM ist wie ein Übersetzer, der eine komplexe, hochtechnologische Karte in einen einfachen Satz von Barcodes verwandelt, den ein Sprachexperte lesen kann. Es fügt dann einen „Logik-Check“ hinzu, um sicherzustellen, dass die Antworten Sinn ergeben. Dies ermöglicht es der Künstlichen Intelligenz, das Beste aus beiden Welten zu vereinen: die präzise Struktur einer Wissensdatenbank und das starke Denkvermögen eines Sprachmodells.

Technisches Resümee von ReaLM: Residual Quantization zur Überbrückung der Kluft zwischen Wissensgraph-Embeddings und Large Language Models

Problemstellung
Obwohl Large Language Models (LLMs) starke Reasoning-Fähigkeiten für die Vervollständigung von Wissensgraphen (Knowledge Graph Completion, KGC) demonstriert haben, besteht eine grundlegende Fehlpassung zwischen den kontinuierlichen Embedding-Räumen von Wissensgraph-Modellen und den diskreten Token-Räumen von LLMs. Traditionelle Ansätze, die KG-Tripel in natürliche Sprache umwandeln, erzeugen oft Ausgaben, die zwar semantisch verwandt sind, aber nicht exakt den im Wissensgraphen definierten Entitäten entsprechen, was zu Inkonsistenzen in der Abbildung führt. Umgekehrt ist die direkte Erweiterung des LLM-Vokabulars um alle KG-Entitäten aufgrund der enormen und sich ständig ändernden Natur der Entitätsmengen (z. B. enthält WN18RR über 40.000 Entitäten, was das 32.000-Token-Vokabular von LLaMA-2 übersteigt) rechnerisch prohibitiv. Bestehende Methoden, die versuchen, diese Lücke durch direkte Projektion oder partielle Integration zu schließen, leiden oft unter Trainingsinstabilität, der Unfähigkeit, Ranking-Aufgaben zu unterstützen, oder dem Versagen bei der Erfassung reicher struktureller Semantik.

Methodik
Das vorgeschlagene Framework, ReaLM, adresset diese Herausforderungen durch einen mehrstufigen Prozess, der KG-Embeddings in kompakte Code-Sequenzen diskretisiert, die mit der Tokenisierung von LLMs kompatibel sind, während gleichzeitig die semantische Konsistenz über die Ontologie erzwungen wird.

Semantische Extraktion: Das Framework nutzt RotatE, um hochwertige Entitäts- und Relations-Embeddings in einem komplexen Vektorraum vorzutrainieren. RotatE wurde aufgrund seiner überlegenen Fähigkeit ausgewählt, relationale Muster im Vergleich zu anderen Embedding-Methoden wie TransE oder DistMult zu erfassen.
Residual Vector Quantization (RVQ): Um die kontinuierlich-diskrete Lücke zu schließen, setzt ReaLM auf Residual Vector Quantization. Vortrainierte komplexe Embeddings werden auf reellwertige Vektoren abgebildet und durch eine Sequenz von $S$ Stufen (empirisch auf 3 2 gesetzt) approximiert. In jeder Stufe wird ein Residuenvektor quantisiert, indem der nächstgelegene Codeword aus einem unabhängigen Codebuch ausgewählt wird. Dieser Prozess transformiert ein hochdimensionales kontinuierliches Embedding in eine kompakte diskrete Sequenz von $S$ Code-Indizes. Die Quantisierung wird unter Verwendung einer Verlustfunktion optimiert, die Rekonstruktionsverlust, Codebuch-Verlust und einen Commitment-Verlust kombiniert, um ein Zusammenbrechen des Codebuchs (Codebook Collapse) zu verhindern.
LLM-Integration und Fine-Tuning: Die diskreten Code-Indizes werden als neue Token behandelt und dem LLM-Vokabular hinzugefügt. Die Embeddings dieser neu hinzugefügten Token werden durch die Summation der Vektoren der entsprechenden Codewords über alle Quantisierungsstufen hinweg initialisiert. Das Modell wird dann mittels einer dualen Adaptionsstrategie feinjustiert:
- Token-Embedding-Optimierung: Die Embeddings der neu hinzugefügten quantisierten Token werden über Standard-Gradientenabstieg trainiert.
- Parametereffiziente Adaption: Die internen Parameter des LLM werden mittels Low-Rank Adaptation (LoRA) adaptiert, was es dem Modell ermöglicht, das diskrete Token-Format zu internalisieren, ohne das gesamte Netzwerk neu trainieren zu müssen.
Ontologie-gestützte Klassenbeschränkungen: Um die semantische Korrektheit zu gewährleisten, integriert ReaLM Ontologie-Wissen. Klassen werden ähnlich wie Entitäten behandelt: Sie werden eingebettet, quantisiert und zum Vokabular hinzugefügt. Während der Inferenz sagt das Modell sowohl die fehlende Entität als auch die entsprechende Klasse voraus. Falls die vorhergesagte Entität nicht zur vorhergesagten Klasse gehört, wird die Vorhersage durch die Auswahl eines alternativen Kandidaten verfeinert, der die Klassenbeschränkung erfüllt.

Zentrale Beiträge

Residual Vector Quantization Framework: ReaLM führt eine Methode ein, um hochdimensionale kontinuierliche KG-Embeddings in kompakte diskrete Code-Sequenzen zu transformieren. Dies ermöglicht eine nahtlose Integration in die Token-Räume von LLMs und bewahrt gleichzeitig reiche relationale und semantische Informationen, ohne dass eine unkontrollierte Erweiterung des Vokabulars erforderlich ist.
Ontologie-gestützte Klassenbeschränkungen: Das Framework beinhaltet klassenbasierte semantische Beschränkungen, um die Konsistenz zwischen vorhergesagten Entitäten und ihren entsprechenden Klassen zu erzwingen, wodurch das Problem semantisch plausibler, aber klasseninkonsistenter Vorhersagen adressiert wird.
Empirische Validierung: Der Ansatz wird auf Standard-Benchmark-Datensätzen (FB15k-237 und WN18RR) validiert und zeigt signifikante Verbesserungen gegenüber sowohl traditionellen embedding-basierten Modellen als auch bestehenden LLM-basierten KGC-Methoden.

Experimentelle Ergebnisse
Umfangreiche Experimente wurden für Aufgaben der Link-Vorhersage (Link Prediction) und der Tripel-Klassifikation durchgeführt:

Link Prediction: Auf dem WN18RR-Datensatz erreichte ReaLM eine Mean Reciprocal Rank (MRR) von 0,608 und einen Hits@1 von 0,575, womit es das stärkste LLM-basierte Baseline-Modell (SSQR-LLaMA3.1) um 1,6–3,5 % übertraf. Auf FB15k237 erreichte es einen MRR von 0,467 und übertraf damit alle Baselines.
Triple Classification: Auf dem FB15k-237N-Datensatz erreichte ReaLM eine Genauigkeit von 0,814 und einen F1-Score von 0,825, was die SSQR-LLaMA3.1-Baseline um 1,4 Prozentpunkte beim F1-Score verbesserte.
Ablationsstudien: Das Entfernen der ontologie-gestützten Komponente führte zu einer konsistenten Leistungsverschlechterung über alle Metriken hinweg (z. B. ein Rückgang des F1-Scores um 3,38 % bei der Tripel-Klassifikation), was die entscheidende Rolle der Klassenbeschränkungen bei der Filterung von typeninkonsistenten Vorhersagen bestätigt.
Parameteranalyse: Experimente zeigten, dass eine Codebuchgröße ( $K$ ) von 1000–1500 und 32 Quantisierungsstufen ( $S$ ) den optimalen Kompromiss zwischen Repräsentationskapazität und Recheneffizienz bieten.

Bedeutung
Das Paper behauptet, dass ReaLM effektiv die Lücke zwischen strukturiertem Wissen und generativen Sprachmodellen schließt. Durch die Diskretisierung von Embeddings in quantisierte Codes ermöglicht ReaLM es LLMs, strukturierte KG-Semantik zu internalisieren, ohne die linguistische Flüssigkeit zu opfern oder massive Vokabularerweiterungen zu benötigen. Die Integration von ontologie-gestützten Beschränkungen stellt zudem sicher, dass die Vorhersagen des Modells semantisch konsistent mit der zugrunde liegenden Wissensgraphstruktur bleiben. Die Autoren kommen zu dem Schluss, dass ReaLM einen State-of-the-Art-Ansatz für KGC darstellt, der eine robuste Lösung für die Herausforderungen der semantischen Fehlpassung und der Skalierbarkeit des Vokabulars in LLM-basiertem Wissens-Reasoning bietet.