💬 NLP

Multi-Hop Knowledge Composition is Bound by Pretraining Exposure

Cet article démontre que l'échec des grands modèles de langage dans le raisonnement multi-étapes implicite ne provient pas d'un manque de faits mémorisés, mais d'une déficience lors du préentraînement, car les capacités de raisonnement compositionnel ne se transfèrent qu'aux individus explicitement exposés à des contextes multi-étapes durant le préentraînement.

Auteurs originaux : Yannis Karmim, Luis Marti, Djamé Seddah, Valentin Barrière

Publié 2026-06-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yannis Karmim, Luis Marti, Djamé Seddah, Valentin Barrière

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un bibliothécaire super intelligent (l'IA) qui a mémorisé une immense bibliothèque de biographies.

Si vous demandez : « Quand Thierry est-il né ? », le bibliothécaire répond instantanément.
Si vous demandez : « Qui est le meilleur ami de Zinedine ? », le bibliothécaire répond également instantanément.

Mais si vous demandez : « Quand le meilleur ami de Zinedine est-il né ? », le bibliothécaire se fige. Même s'il connaît parfaitement les deux faits, il ne peut pas les relier pour donner la réponse en une seule étape. Il connaît les pièces du puzzle, mais il ne sait pas les assembler.

Cette étude examine pourquoi cela se produit et si nous pouvons apprendre au bibliothécaire à le faire simplement en changeant les livres qu'il lit pendant son entraînement.

Le problème central : Le « lien manquant »

Les chercheurs appellent cela le fossé de compositionnalité (Compositionality Gap). C'est comme avoir une boîte à outils remplie de marteaux et de clous parfaits, mais ne pas savoir comment construire une chaise lorsqu'on vous le demande. L'IA peut trouver les faits, mais elle ne peut pas les « enchaîner » de manière implicite.

L'expérience : Deux groupes de personnes

Pour étudier cela, les chercheurs ont créé un monde fictif comprenant 100 000 personnes. Ils ont divisé ces personnes en deux groupes :

Le groupe « Exposé » : Ces personnes apparaissent dans les livres d'entraînement dans des histoires complexes. Par exemple, les livres pourraient dire : « L'amie de Marcus est Delia, et Delia est née à Paris. » Cela apprend à l'IA à lier « Marcus » à « Delia » puis à « Paris ».
Le groupe « Retenu » : Ces personnes apparaissent dans les livres, mais uniquement dans des histoires simples à fait unique. Les livres disent : « Marcus est né à Londres. » Elles n'apparaissent jamais dans une histoire qui les lie à quelqu'un d'autre. Ce sont les « étrangers » qui n'ont jamais été introduits dans le réseau complexe de relations.

Les chercheurs ont ensuite entraîné l'IA sur ces livres et l'ont testée sur des questions concernant les deux groupes.

La grande découverte : On ne peut pas enseigner ce que l'on n'a pas vu

Les chercheurs ont essayé neuf façons d'« augmenter » les données d'entraînement (en modifiant la façon dont les histoires étaient écrites, en utilisant le langage naturel ou des données structurées comme le RDF).

Voici ce qu'ils ont découvert :

Pour le groupe « Exposé » : Lorsque l'IA voyait les histoires complexes pendant l'entraînement, elle devenait bien meilleure pour répondre à des questions à étapes multiples. Si elle apprenait que « A est l'ami de B » et « B est né à X », elle pouvait répondre correctement à la question « Quand l'ami de A est-il né ? ».
Pour le groupe « Retenu » : Peu importe la façon dont ils modifiaient les données d'entraînement, l'IA échouait complètement sur ce groupe. Même si l'IA connaissait parfaitement les faits, elle ne pouvait pas les relier si la personne spécifique n'avait jamais figuré dans une histoire « complexe » durant l'entraînement.

L'analogie :
Imaginez que vous enseigniez à un enfant à résoudre des problèmes de mathématiques.

Groupe Exposé : Vous montrez à l'enfant un problème : « Si Jean a 2 pommes et en donne 1 à Marie, combien de pommes Marie a-t-elle ? » Vous faites cela de nombreuses fois. L'enfant apprend la logique du partage.
Grou groupe Retenu : Vous présentez un autre enfant, « Bob », mais vous dites seulement : « Combien de pommes Bob a-t-il ? » Vous ne posez jamais de question sur le partage de pommes par Bob.
Le Test : Lorsqu'on vous demande : « Si Bob donne une pomme à Alice, combien de pommes Alice a-t-elle ? », l'enfant (l'IA) échoue. Il sait que Bob a des pommes, mais parce qu'il n'a jamais vu Bob dans le contexte du partage, il ne peut pas appliquer la logique à lui.

Points clés à retenir

C'est un problème d'entraînement, pas de mémoire : L'IA n'échoue pas parce qu'elle est « stupide » ou qu'elle n'a pas assez de mémoire. Elle échoue parce qu'elle n'a jamais été exposée au type de raisonnement spécifique pour ces personnes précises durant sa « scolarité » (pré-entraînement).
L'exposition est obligatoire : Pour apprendre à relier les points, l'IA doit voir les points reliés avant d'être testée. Vous ne pouvez pas apprendre à l'IA à raisonner sur une personne si elle n'a jamais été vue dans un contexte complexe.
Explicite vs Implicite : Les chercheurs ont essayé d'écrire les histoires de deux manières :
- Explicite : « L'amie de Marcus, Delia, est née à Paris. » (Nommer l'amie).
- Implicite : « L'amie de Marcus est née à Paris. » (Cacher le nom de l'amie).
  Ils ont découvert que la méthode Implicite (cacher le nom) était en fait meilleure pour enseigner le raisonnement à l'IA, car elle l'obligeait à découvrir le lien par elle-même, plutôt que de simplement lire la réponse. Cependant, même la meilleure méthode d'entraînement échouait pour le groupe « Retenu ».

La conclusion

L'étude conclut que le raisonnement multi-étapes implicite est lié à l'exposition lors du pré-entraînement.

Si l'IA n'a pas vu une personne spécifique (ou une entité) dans un contexte « multi-étapes » pendant son apprentissage, elle échouera probablement à raisonner sur cette personne plus tard, peu importe l'intelligence du modèle ou la quantité de données que vous lui fournissez. La capacité à relier les points n'est pas un super-pouvoir général que l'IA développe d'elle-même ; c'est une compétence spécifique qu'elle n'apprend que pour les personnages avec lesquels elle s'est exercée.

Résumé Technique : La composition de connaissances multi-sauts est limitée par l'exposition lors du préentraînement

Énoncé du problème
Les grands modèles de langage (LLM) font preuve d'une grande fidélité dans le stockage et la récupération de connaissances factuelles individuelles, mais échouent systématiquement au raisonnement implicite multi-sauts lors d'un passage direct unique (forward pass). Un modèle peut répondre correctement à « Quand X est-il né ? » et « Qui est l'ami le plus proche de Y ? », mais échouer à répondre à « Quand l'ami le plus proche de Y est-il né ? », même lorsque ces deux faits constitutifs sont parfaitement mémorisés. Ce phénomène, appelé écart de compositionnalité (compositionality gap), persiste à travers les échelles et les architectures de modèles. Bien que les solutions existantes externalisent le raisonnement via la chaîne de pensée (chain-of-thought) ou la décomposition lors de l'inférence, il reste incertain si le raisonnement compositionnel peut émerger uniquement du préentraînement. De plus, sur les modèles propriétaires, la cause profonde est impossible à diagnostiquer en raison de la non-divulgation des données de préentraînement.

Méthodologie
Les auteurs étudient cet écart en utilisant un cadre de langage naturel contrôlé qui sépare strictement les individus exposés à des contextes compositionnels lors du préentraînement de ceux qui ne le sont pas.

Construction du jeu de données : S'appuyant sur le cadre de biographie synthétique d'Allen-Zhu et Li (2024), les auteurs ont créé un ensemble de $N=100\,000$ individus, chacun décrit par six attributs (ex. : date de naissance, ville de naissance) et des relations directionnelles d'« ami » et d'« ennemi ».
Partitionnement de la population : La population est divisée en deux ensembles disjoints :
- $P_{comp}$ (Compositionnel) : Individus dont les relations pointent exclusivement vers d'autres membres de $P_{comp}$ . Ces individus sont exposés à des contextes compositionnels lors du préentraînement.
- $P_{held}$ (Mis en réserve) : Individus dont les relations pointent exclusivement au sein de $P_{held}$ . Crucialement, ces individus n'apparaissent jamais comme entités intermédiaires (ponts) dans une chaîne compositionnelle vue lors du préentraînement.
Préentraînement et Augmentation : Les auteurs préentraînent des modèles GPT-2 (Small, Medium, Large) à partir de zéro. Ils introduisent neuf stratégies d'augmentation centrées sur les données pour $P_{comp}$ $P_{co m p}$ , variant selon deux axes :
- Format : Langage Naturel (NL) vs RDF (triplets structurés).
- Verbalisation : Explicite (nommer l'entité pont) vs Implicite (omettre l'entité pont).
- Toutes les conditions incluent des biographies atomiques à 1 saut avec une augmentation par permutation multi5p.
Protocole d'évaluation : Les modèles sont affinés (fine-tuned) sur 75 % de $P_{comp}$ ( $P^{train}_{comp}$ ) et évalués sur les 25 % restants de $P_{comp}$ ( $P^{test}_{comp}$ ) ainsi que sur l'ensemble de $P_{held}$ . L'évaluation mesure la précision du premier jet (first-token accuracy) pour des requêtes à 1, 2 et 3 sauts sans accès aux entités intermédiaires dans le contexte.

Résultats Clés
Les expériences produisent trois conclusions principales :

L'écart de compositionnalité est un échec du préentraînement : Même avec une précision quasi parfaite à 1 saut (97 %), les modèles obtiennent un score proche de 0 % sur les requêtes à 2 sauts pour $P_{held}$ et seulement légèrement supérieur pour $P_{comp}$ sous l'entraînement de base. Cela confirme que l'écart n'est pas une limite de capacité ou un manque de connaissances, mais un échec de la composition des faits durant le préentraînement.
L'exposition au préentraînement est une condition nécessaire : Le préentraînement compositionnel améliore significativement le QA multi-sauts sur des questions inédites pour les individus exposés ( $P^{test}_{comp}$ ), la précision à 2 sauts atteignant jusqu'à 0,83 sous des stratégies d'augmentation spécifiques (ex. : implicite + explicite NL-RDF). Cependant, aucun transfert ne se produit vers $P_{held}$ . Aucune augmentation centrée sur les données ne compense l'absence d'exposition d'un individu dans un contexte compositionnel.
Augmentation Implicite vs Explicite :
- L'augmentation implicite (où l'entité pont est omise) est systématiquement plus performante que l'augmentation explicite (où le pont est nommé) lorsqu'elle est utilisée seule. Les formats explicites améliorent la localisation du jet (token) pont (vérifié via l'analyse Logit Lens) mais ne se traduisent pas par un succès compositionnel.
- Les approches hybrides (mélangeant les signaux implicites et explicites) donnent les meilleurs résultats sur $P^{test}_{comp}$ , suggérant que le mélange des signaux améliore l'alignement des représentations.
- Les formats RDF (particulièrement l'implicite RDF) s'avèrent très efficaces, atteignant une haute précision compositionnelle pour une fraction du coût de données par rapport au NL.

Signification et Revendications
L'article établit que l'exposition à des contextes compositionnels lors du préentraînement est une condition nécessaire pour le raisonnement multi-sauts implicite. Les auteurs soutiennent que l'augmentation induit des associations spécifiques aux entités plutôt qu'une logique de composition réutilisable et généralisable. Par conséquent, les modèles échouent à composer des faits pour des individus qu'ils n'ont jamais rencontrés dans un contexte multi-sauts, quels que soient l'échelle du modèle ou les stratégies d'affinage.

L'étude remet en question l'idée que le raisonnement compositionnel puisse être induit purement par l'augmentation de données pour des entités non vues. Elle suggère que pour obtenir un raisonnement multi-sauts implicite, la distribution d'entraînement doit explicitement inclure les entités spécifiques au sein des chaînes relationnelles requises. Les auteurs publient leur code et une reproduction du cadre de la biographie pour soutenir les futures investigations sur les objectifs de préentraînement ou les modifications architecturales qui pourraient surmonter cette limite fondamentale.

Limites
Les auteurs reconnaissent que leur cadre est entièrement synthétique et que la généralisation à des corpus naturels reste à tester. Ils notent que bien que leurs expériences utilisent des échelles GPT-2, l'écart de compositionnalité est connu pour persister jusqu'à 175 milliards de paramètres. De plus, l'étude se concentre sur des interventions centrées sur les données sous un préentraînement standard et n'évalue pas d'objectifs alternatifs tels que l'apprentissage par renforcement ou la distillation de connaissances.