Knowledge Graph and Hypergraph Transformers with Repository-Attention and Journey-Based Role Transport

Each language version is independently generated for its own context, not a direct translation.

Imaginez que vous essayez d'enseigner à un robot très intelligent comment comprendre le monde. Habituellement, on lui donne deux types d'informations : des histoires (des phrases, des livres) et des faits bruts (des bases de données, des graphiques de relations). Le problème, c'est que les humains mélangent naturellement les deux, mais les ordinateurs ont du mal à ne pas les confondre.

Ce papier propose une nouvelle façon de construire ce robot, qu'on pourrait appeler un "Architecte de Connaissances". Voici comment cela fonctionne, expliqué simplement avec des analogies :

1. Le Problème : Mélanger les cartes et le terrain

Imaginez que vous avez une bibliothèque (le langage, les phrases) et une carte au trésor (les graphes de connaissances, les faits structurés).

Les modèles actuels essaient souvent d'écrire la carte au trésor directement dans les pages du livre. Résultat ? C'est illisible, et si vous voulez changer un fait sur la carte, vous devez réécrire tout le livre.
L'idée de ce papier : Gardez la bibliothèque et la carte au trésor dans deux pièces séparées, mais donnez au robot un téléporteur pour aller voir les faits quand il en a besoin, sans les mélanger.

2. La Solution : L'Architecture à "Double Flux"

Le modèle fonctionne comme une usine avec deux chaînes de montage :

La chaîne des Mots (Flux Langage) : Elle lit les phrases, les histoires, la grammaire.
La chaîne des Faits (Flux Structuré) : Elle stocke les graphes de connaissances (qui est qui, qui fait quoi) dans un Grand Magasin de Clés et de Valeurs (le "Repository").

Le génie de l'architecture, c'est que la chaîne des mots peut envoyer un petit message au Grand Magasin pour dire : "Hé, j'ai besoin de savoir qui est le président de ce pays" et le Magasin lui renvoie l'information précise, sans que le robot ait besoin de tout mémoriser par cœur.

3. Le Secret : Le "Transport de Rôle" (La Boussole Magique)

C'est la partie la plus créative. Comment le robot sait-il comment voyager dans ces données ?

Imaginez que chaque mot ou chaque fait a une boussole (appelée "opérateur de rôle").

Dans une phrase, pour aller du mot "Chat" au mot "Mange", la boussole dit : "Tourne-toi vers la droite".
Dans une base de données, pour aller du "Président" à son "Pays", la boussole dit : "Suis la flèche bleue".

Le papier appelle cela le "Transport de Rôle basé sur le Voyage". C'est comme si le robot pouvait utiliser la même carte mentale pour :

Lire une phrase (suivre l'ordre des mots).
Suivre un lien dans une base de données (suivre une relation).
Comprendre une relation complexe entre plusieurs éléments (comme un hypergraphe, où un fait relie 5 personnes à la fois).

L'analogie du Voyageur :
Imaginez que le robot est un voyageur.

S'il est dans une phrase, il marche sur un chemin linéaire (1, 2, 3...).
S'il est dans une base de données, il saute d'un nœud à l'autre en suivant des étiquettes (Relation A, Relation B).
Le "Transport de Rôle" est son passeport universel. Il lui permet de dire : "Je suis parti du rôle 'Sujet' et je veux arriver au rôle 'Objet', peu importe si je suis dans une phrase ou dans une base de données".

4. Pourquoi c'est génial ? (Les Avantages)

Propreté et Clarté : Si vous voulez mettre à jour une information (par exemple, changer le nom d'un président), vous mettez à jour le "Grand Magasin" (le Repository). Vous n'avez pas besoin de réapprendre tout le modèle de langage. C'est comme changer une fiche dans un classeur sans réécrire tout le livre.
Flexibilité : Le robot peut voir une phrase de plusieurs façons. Il peut la voir comme une suite de mots, ou comme un schéma de relations (Qui fait quoi ?). Grâce à cette architecture, il peut faire les deux en même temps et vérifier que tout est cohérent.
Attention Ciblée : Au lieu de regarder tout le texte d'un coup (ce qui est lent et confus), le robot utilise son "téléporteur" pour aller chercher exactement l'information dont il a besoin dans le magasin de faits, comme un bibliothécaire qui va chercher le bon livre sur l'étagère.

En résumé

Ce papier propose un robot qui ne confond pas l'histoire (le langage) et les faits (les données). Il garde les faits dans un coffre-fort séparé et utilise une boussole intelligente (le transport de rôle) pour naviguer entre les mots et les faits. Cela rend le robot plus intelligent, plus facile à mettre à jour, et capable de comprendre des relations complexes que les autres modèles ratent souvent.

C'est comme passer d'un élève qui apprend tout par cœur (et oublie vite) à un chercheur qui sait exactement où trouver l'information et comment la relier à ce qu'il lit.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique

Le domaine des modèles de langage (Transformers) étendus aux graphes de connaissances (KG) et aux hypergraphes fait face à un défi majeur : équilibrer la modélisation linguistique générale avec une utilisation fidèle des connaissances structurées.

Les approches existantes présentent des limites :

Les Transformers de graphes (ex: HGT, Graphormer) ajoutent des biais structurels mais peinent à intégrer le langage naturel de manière fluide.
Les modèles axés sur les KG (ex: KG-BERT, CoLAKE) traitent souvent les triplets et le texte comme de simples séquences de tokens, ce qui dilue la structure sémantique.
Les modèles d'hypergraphes capturent des relations d'ordre supérieur (n-aires) mais manquent souvent d'un mécanisme unifié pour les connecter au contexte linguistique.

L'objectif est de concevoir une architecture capable d'unifier le traitement du langage et des faits structurés (triplets, hyperarêtes) tout en maintenant une séparation explicite entre la représentation linguistique et la représentation des connaissances, permettant ainsi une mise à jour modulaire des connaissances sans réentraînement complet du modèle.

2. Méthodologie

L'article propose une architecture novatrice basée sur deux concepts clés : le Repository-Attention (Attention sur un référentiel) et le Journey-Based Role Transport (Transport de rôle basé sur le parcours).

A. Architecture Dual-Stream (Double Flux)

Le modèle sépare le traitement en deux flux distincts :

Flux Linguistique : Traite les tokens de phrases (séquences ou hyperarêtes sémantiques).
Flux Structuré : Traite les triplets de KG et les faits d'hypergraphes.

Les instances structurées sont encodées dans un référentiel séparé de paires Clé-Valeur (KV). Le flux linguistique peut interroger ce référentiel via un mécanisme d'attention croisée, sans fusionner les données brutes dans une seule séquence longue.

B. Transport de Rôle Basé sur le Parcours (Journey-Based Role Transport)

C'est le cœur théorique de l'approche. L'auteur généralise les embeddings de position (comme RoPE) en les étendant aux rôles sémantiques et aux instances de relations.

Opérateur de Parcours : Chaque token possède une étiquette de rôle $s(i)$ avec un opérateur appris $R_{s(i)}$ . Le "parcours" (journey) d'un rôle $a$ vers un rôle $b$ est défini comme $P_{a \to b} = R_a R_b^{-1}$ .
Unification des vues : Ce mécanisme unifie trois types de structures sous une même formule d'attention :
1. Parcours dans les KG étiquetés : Traversée d'arêtes directes (ex: $h \xrightarrow{r} t$ ).
2. Parcours dans les hypergraphes : Traversée via un nœud interne (hyperarête) qui médiatise les participants.
3. Structure de phrase : Traitée comme une hyperarête sémantique (Prédicat, Arg1, Arg2...) ou une hyperarête de position.
Équivalence Phrase-Graph : Une phrase peut être vue simultanément comme une séquence de tokens, un KG étiqueté (relation "next"), ou une hyperarête de rôles sémantiques. Le même token peut apparaître dans plusieurs vues, permettant une cohérence multi-vue.

C. Mécanisme d'Attention Hiérarchique et Référentiel

Représentation KV : Chaque instance structurée génère des clés et des valeurs pondérées par les opérateurs de rôle ( $k_j = W_k R_{s(j)} x_j$ ).
Attention Croisée : Un token linguistique $i$ interroge le référentiel en utilisant le score d'attention conditionné par le transport de rôle :
$\text{score}(i, j) \propto \exp\left( \frac{q_i^\top P_{s(i) \to s(j)} k_j}{\sqrt{d}} \right)$
Cela permet de connecter un token à lui-même à travers différentes vues (ex: position vs rôle) ou aux faits du KG.
Indépendance à la position : L'attention sur le référentiel peut être rendue agnostique à la position en omettant les encodages positionnels explicites, se basant uniquement sur le contenu et le transport de rôle.
Hiérarchie des champs récepteurs : Les couches sont groupées en :
1. Locales : Attention au sein d'une instance (préservation de l'intégrité du rôle).
2. Voisinage : Attention entre instances liées (entités partagées).
3. Globales : Mélange sur l'ensemble du référentiel ou des éléments récupérés.

D. Objectifs d'Entraînement Joint

Le modèle est entraîné simultanément sur des textes et des structures avec plusieurs objectifs :

Modélisation masquée (MLM) sur les tokens de phrases et d'instances structurées.
Prédiction de liens (Link Prediction) pour les triplets et hyperarêtes.
Débruitage de cohérence des rôles (swapping de qualificatifs entre instances).
Pertes d'alignement entre les segments de texte et les nœuds d'entités.

3. Contributions Clés

Séparation Explicite Connaissance/Langage : Contrairement aux modèles qui fusionnent tout en une séquence, cette architecture maintient les connaissances dans un référentiel KV externe et inspectable, tout en permettant un alignement étroit via l'attention croisée.
Opérateurs de Parcours Unifiés : La démonstration que les embeddings de position (RoPE) sont un cas particulier du transport de rôle, permettant d'étendre ce mécanisme aux rôles sémantiques et aux instances de graphes complexes.
Gestion des Hypergraphes et Relations N-aires : Capacité native à traiter des faits complexes (prédicat, arguments, temps, lieu) sans les décomposer artificiellement en paires binaires, préservant l'intégrité des rôles.
Modularité et Mise à Jour : Grâce à la séparation du référentiel, les connaissances peuvent être mises à jour ou récupérées (via RAG ou retrieval appris) sans réentraîner le flux linguistique.

4. Résultats et Implications (Basés sur la proposition de l'article)

Bien que l'article soit une proposition d'architecture (préprint), les résultats attendus et les implications théoriques sont :

Interprétabilité : La séparation permet d'inspecter exactement quelles connaissances structurées sont utilisées pour générer une réponse linguistique.
Efficacité Contextuelle : En limitant l'attention aux éléments récupérés du référentiel plutôt qu'à une séquence concaténée massive, la complexité et la longueur de contexte sont mieux gérées.
Cohérence Multi-vue : La capacité d'un token à exister dans plusieurs représentations structurées (position, rôle, graphe) permet au modèle d'apprendre des invariants sémantiques plus robustes.
Extensibilité : L'architecture supporte naturellement l'évolution des schémas de connaissances (ajout de nouveaux types de relations) via de nouveaux opérateurs de rôle sans changer la structure du modèle de base.

5. Signification

Cet article représente une avancée significative dans la fusion du NLP et des bases de connaissances structurées. En proposant un mécanisme d'attention qui unifie la géométrie des positions (séquences) et la topologie des relations (graphes/hypergraphes) via le concept de "transport de rôle", il offre une solution élégante au problème de l'intégration des connaissances.

L'approche Repository-Attention redéfinit la manière dont les modèles de langage accèdent aux faits : non plus comme une extension passive du contexte, mais comme une requête active et structurée vers une base de connaissances modulaire. Cela ouvre la voie à des systèmes plus robustes, moins sujets aux hallucinations, et capables de raisonner sur des faits complexes et évolutifs tout en conservant la fluidité du langage naturel.