💬 NLP

ReaLM: Residual Quantization Bridging Knowledge Graph Embeddings and Large Language Models

ReaLM est un nouveau cadre qui fait le pont entre les plongements de graphes de connaissances et les grands modèles de langage en discrétisant les plongements continus de KG en jetons apprenables via la quantification vectorielle résiduelle et en incorporant des contraintes guidées par l'ontologie, atteignant ainsi des performances de pointe dans la complétion de graphes de connaissances.

Auteurs originaux : Wenbin Guo, Xin Wang, Jiaoyan Chen, Lingbing Guo, Zhao Li, Zirui Chen

Publié 2026-06-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Wenbin Guo, Xin Wang, Jiaoyan Chen, Lingbing Guo, Zhao Li, Zirui Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Gros Problème : Deux Langues qui ne se Mélangent pas

Imaginez que vous avez deux experts brillants essayant de résoudre un puzzle ensemble, mais ils parlent des langues complètement différentes.

L'Expert A (Le Graphe de Connaissances) : Cet expert connaît le monde sous la forme d'une carte massive et structurée de faits. Il pense en coordonnées et en nombres précis. S'il sait que « Iron Man est marié à Pepper Potts », il stocke cela comme une connexion mathématique spécifique entre deux points.
L'Expert B (Le Grand Modèle de Langage - LLM) : Cet expert est un maître conteur qui parle le langage humain. Il comprend le contexte, les nuances et la fluidité des mots. Cependant, il ne comprend pas naturellement les coordonnées mathématiques précises de la carte de l'Expert A.

Le Conflit : Lorsque vous demandez au Conteur (LLM) de deviner un fait manquant dans la Carte (Graphe de Connaissances), il s'embrouille souvent.

Si vous lui montrez la carte sous forme de texte, il pourrait deviner un mot qui semble correct (comme « Pepper ») mais qui n'est pas l'entité exacte dans la base de données.
Si vous essayez de le forcer à apprendre chaque nom de la carte (il y en a des dizaines de milliers), son cerveau devient trop plein, il ralentit et commence à faire des erreurs.

La Solution : ReaLM (Le Traducteur Universel)

Les auteurs ont créé un système appelé ReaLM pour combler ce fossé. Considérez cela comme un dispositif de traduction qui transforme les coordonnées complexes de la Carte en un code court et simple que le Conteur peut lire et écrire parfaitement.

Voici comment cela fonctionne, étape par étape :

1. Transformer les Cartes en « Codes Postaux » (Quantification Vectorielle Résiduelle)

Au lieu d'essayer d'enseigner au Conteur l'intégralité de la carte, ReaLM prend l'« adresse » mathématique complexe de chaque entité (comme Iron Man) et la compresse en une séquence de nombres courte et unique.

L'Analogie : Imaginez que vous avez une immense bibliothèque avec des millions de livres. Au lieu de donner le livre entier au bibliothécaire pour qu'il le lise, vous lui donnez un code-barres court (ex : 7-48-109-586).
Comment ça marche : Le système décompose la mathématique complexe en couches (comme on épluche un oignon). Il trouve la correspondance la plus proche dans un « dictionnaire de codes » pour la première couche, calcule ce qui manque, trouve une correspondance pour la deuxième couche, et ainsi de suite. Le résultat est une liste compacte de nombres qui représente parfaitement l'idée complexe d'origine.
Le Bénéfice : Le Conteur (LLM) n'a pas besoin de mémoriser des millions de noms. Il a juste besoin d'apprendre un ensemble gérable de ces « codes-barres ».

2. Enseigner les Nouveaux Codes au Conteur

Une fois que les entités sont converties en ces codes numériques, ReaLM les ajoute au vocabulaire du Conteur.

L'Analogie : Imaginez que le dictionnaire du Conteur possède soudainement une nouvelle section appelée « Codes Quantifiés ». Désormais, lorsqu'il voit le code 7-48-109, il sait exactement à quel personnage cela fait référence, sans avoir besoin de deviner l'orthographe.
Le Bénéfice : Le Conteur peut désormais générer la réponse exacte (l'entité spécifique) plutôt qu'une supposition vague.

3. La Vérification du « Livre de Règles » (Contraintes Guidées par l'Ontologie)

Parfois, même avec les codes, le Conteur peut commettre une erreur logique. Par exemple, il pourrait supposer qu'une « Voiture » est la femme d'une « Personne ».

L'Analogie : ReaLM fait intervenir un Livre de Règles (Ontologie). Avant que le Conteur ne donne sa réponse finale, le Livre de Règles vérifie : « Attendez, la question demande une "femme". La réponse doit être une "Personne", pas une "Voiture" ».
Comment ça marche : Le système prédit d'abord la catégorie (classe) de la réponse. Si le Conteur propose une entité qui ne correspond pas à la catégorie, le système l'élimine et choisit la meilleure option suivante qui correspond à la catégorie.
Le Bénéfice : Cela garantit que les réponses ne sont pas seulement mathématiquement proches, mais aussi logiquement et sémantiquement correctes.

Qu'ont-ils découvert ?

Les chercheurs ont testé ce système sur deux grands « livres de puzzles » (jeux de données) contenant des faits sur des films et des mots.

Le Résultat : ReaLM est devenu le champion de ces puzzles. Il a surpassé toutes les méthodes précédentes, y compris les autres modèles d'IA qui tentaient de combiner cartes et langage.
Pourquoi a-t-il gagné ? En transformant la mathématique complexe en codes simples, le Conteur a enfin pu « voir » la carte clairement. En ajoutant la vérification du Livre de Règles, il a cessé de commettre des erreurs logiques absurdes.

Résumé

ReaLM est comme un traducteur qui transforme une carte complexe et de haute technologie en un ensemble simple de codes-barres qu'un expert en langage peut lire. Il ajoute ensuite une « vérification de logique » pour s'assurer que les réponses font sens. Cela permet à l'Intelligence Artificielle de combiner le meilleur des deux mondes : la structure précise d'une base de données de connaissances et le raisonnement puissant d'un modèle de langage.

Résumé technique de ReaLM : La quantification résiduelle pour combler le fossé entre les plongements de graphes de connaissances et les grands modèles de langage

Énoncé du problème
Bien que les grands modèles de langage (LLM) aient démontré de fortes capacités de raisonnement pour la complétion de graphes de connaissances (KGC), un désalignement fondamental existe entre les espaces de plongement continus des modèles de graphes de connaissances (KG) et les espaces de jetons discrets des LLM. Les approches traditionnelles qui convertissent les triplets de KG en langage naturel génèrent souvent des sorties qui sont sémantiquement liées, mais ne correspondent pas exactement aux entités définies dans le KG, ce qui entraîne des incohérences de mappage. Inversement, l'expansion directe du vocabulaire du LLM pour inclure toutes les entités du KG est informatiquement prohibitive en raison de la nature vaste et évolutive des ensembles d'entités (par exemple, WN18RR contient plus de 40 000 entités, dépassant le vocabulaire de 32 000 jetons de LLaMA-2). Les méthodes existantes tentant de combler ce fossé, telles que la projection directe ou l'intégration partielle, souffrent souvent d'instabilité d'entraînement, d'une incapacité à prendre en charge les tâches de classement, ou d'un échec à capturer une sémantique structurelle riche.

Méthodologie
Le cadre proposé, ReaLM, aborde ces défis par un processus multi-étapes qui discrétise les plongements de KG en séquences de codes compactes compatibles avec la tokenisation des LLM, tout en imposant une cohérence sémantique via l'ontologie.

Extraction sémantique : Le cadre utilise RotatE pour pré-entraîner des plongements d'entités et de relations de haute qualité dans un espace vectoriel complexe. RotatE est sélectionné pour sa capacité supérieure à capturer les motifs relationnels par rapport à d'autres méthodes de plongement comme TransE ou DistMult.
Quantification vectorielle résiduelle (RVQ) : Pour combler le fossé continu-discret, ReaLM emploie la quantification vectorielle résiduelle. Les plongements complexes pré-entraînés sont projetés vers des vecteurs de valeurs réelles et approximés à travers une séquence de $S$ étapes (fixées empiriquement à 32). À chaque étape, un vecteur résiduel est quantifié en sélectionnant le mot-clé (codeword) le plus proche d'un dictionnaire de codes (codebook) indépendant. Ce processus transforme un plongement continu de haute dimension en une séquence discrète compacte de $S$ indices de codes. La quantification est optimisée à l'aide d'une fonction de perte combinant une perte de reconstruction, une perte de dictionnaire de codes et une perte d'engagement pour prévenir l'effondrement du dictionnaire de codes.
Intégration et ajustement fin du LLM : Les indices de codes discrets sont traités comme de nouveaux jetons et ajoutés au vocabulaire du LLM. Les plongements de ces nouveaux jetons sont initialisés en sommant les vecteurs des mots-clés correspondants à travers toutes les étapes de quantification. Le modèle est ensuite ajusté via une stratégie d'adaptation double :
- Optimisation de l'embedding de jeton : Les plongements des nouveaux jetons quantifiés sont entraînés via une descente de gradient standard.
- Adaptation à paramètres efficaces : Les paramètres internes du LLM sont adaptés à l'aide de l'adaptation de bas rang (LoRA), permettant au modèle d'internaliser le format de jeton discret sans ré-entraîner l'ensemble du réseau.
Contraintes de classe guidées par l'ontologie : Pour garantir la correction sémantique, ReaLM intègre la connaissance de l'ontologie. Les classes sont traitées de manière similaire aux entités : elles sont plongées, quantifiées et ajoutées au vocabulaire. Lors de l'inférence, le modèle prédit à la fois l'entité manquante et sa classe correspondante. Si l'entité prédite n'appartient pas à la classe prédite, la prédiction est affinée en sélectionnant un candidat alternatif qui satisfait la contrainte de classe.

Contributions clés

Cadre de quantification vectorielle résiduelle : ReaLM introduit une méthode pour transformer les plongements de KG de haute dimension en séquences de codes discrets compacts. Cela permet une intégration transparente avec les espaces de jetons des LLM tout en préservant une information relationnelle et sémantique riche, évitant ainsi le besoin d'une expansion incontrôlée du vocabulaire.
Contraintes de classe guidées par l'ontologie : Le cadre incorpore des contraintes sémantiques au niveau de la classe pour imposer la cohérence entre les entités prédites et leurs classes correspondantes, traitant le problème des prédictions sémantiquement plausibles mais incohérentes avec la classe.
Validation empirique : L'approche est validée sur des jeux de données de référence standards (FB15k-237 et WN18RR), démontrant des améliorations significatives par rapport aux modèles basés sur les plongements traditionnels et aux méthodes existantes basées sur les LLM pour la KGC.

Résultats expérimentaux
Des expériences approfondies ont été menées sur les tâches de prédiction de liens et de classification de triplets :

Prédiction de liens : Sur le jeu de données WN18RR, ReaLM a atteint un rang de réciprocité moyen (MRR) de 0,608 et un Hits@1 de 0,575, surpassant la base la plus forte basée sur les LLM (SSQR-LLaMA3.1) de 1,6 à 3,5 %. Sur FB15k237, il a atteint un MRR de 0,467, dépassant toutes les bases de comparaison.
Classification de triplets : Sur le jeu de données FB15k-237N, ReaLM a atteint une précision de 0,814 et un score F1 de 0,825, améliorant la base SSQR-LLaMA3.1 de 1,4 point de pourcentage en score F1.
Études d'ablation : Le retrait de la composante guidée par l'ontologie a entraîné une dégradation constante des performances sur tous les indicateurs (par exemple, une chute de 3,38 % du score F1 pour la classification de triplets), confirmant le rôle critique des contraintes de classe dans le filtrage des prédictions incohérentes avec le type.
Analyse des paramètres : Les expériences ont indiqué qu'une taille de dictionnaire de codes ( $K$ ) de 1000–1500 et 32 étapes de quantification ( $S$ ) offrent le meilleur compromis entre capacité de représentation et efficacité computationnelle.

Signification
L'article affirme que ReaLM comble efficacement le fossé entre la connaissance structurée et les modèles de langage génératifs. En discrétisant les plongements en codes quantifiés, ReaLM permet aux LLM d'internaliser la sémantique structurée des KG sans sacrifier la fluidité linguistique ni nécessiter d'expansions massives du vocabulaire. L'intégration des contraintes guidées par l'ontologie garantit en outre que les prédictions du modèle restent sémantiquement cohérentes avec la structure sous-jacente du graphe de connaissances. Les auteurs concluent que ReaLM représente une approche de pointe pour la KGC, offrant une solution robuste aux défis de l'alignement sémantique et de la scalabilité du vocabulaire dans le raisonnement de connaissances basé sur les LLM.