Understanding the Interplay between LLMs' Utilisation of Parametric and Contextual Knowledge: A keynote at ECIR 2025

Cette conférence à ECIR 2025 explore l'interaction complexe entre les connaissances paramétriques et contextuelles des grands modèles de langage, en présentant des méthodes pour évaluer les conflits de connaissances et comprendre comment les modèles intègrent ou ignorent le contexte fourni.

L'essentiel

Voici une explication de cette présentation (keynote) d'Isabelle Augenstein, imagée et simplifiée pour tout le monde.

🧠 Le Grand Débat : La Mémoire du Cerveau vs. Le Livre Ouvert

Imaginez un Grand Savant (c'est le Modèle de Langage ou LLM) qui a passé sa vie à lire des millions de livres. Il a tout appris par cœur. C'est ce qu'on appelle la connaissance paramétrique : c'est sa mémoire interne, gravée dans son cerveau (ses poids).

Mais le monde change vite ! Ce que le Savant a appris il y a 5 ans est peut-être faux aujourd'hui. Pour l'aider, on lui donne un Livre d'Actualités (c'est le contexte ou la recherche externe) juste avant qu'il ne réponde à une question. C'est ce qu'on appelle la RAG (Génération Augmentée par la Recherche).

Le problème ? Parfois, le Savant est têtu. Il préfère sa vieille mémoire au nouveau livre qu'on lui tend. Parfois, il ignore même le livre s'il dit le contraire de ce qu'il sait déjà.

Cette conférence explore trois questions cruciales :

1. Comment fonctionne sa mémoire interne ?
2. Quand est-ce qu'il accepte de changer d'avis ?
3. Comment le forcer à utiliser le bon livre au bon moment ?

---

1. La Mémoire Intérieure : Qui est le vrai chef ? 🕵️‍♀️

Les chercheurs ont voulu comprendre exactement quelles parties du cerveau du Savant sont utilisées pour répondre à une question. Ils ont essayé de faire une "autopsie" de ses pensées en regardant ses neurones.

L'analogie du Chef d'Orchestre :
Ils pensaient que si on coupait certains instruments (neurones) de l'orchestre, la musique (la réponse) changerait. Mais ils ont découvert quelque chose de surprenant : la plupart des instruments sont en fait redondants ! On peut en enlever beaucoup sans que la musique ne s'arrête.

Ce qu'ils ont appris :

• Ce n'est pas seulement la "mémoire" (les neurones) qui compte, mais aussi la façon dont le Savant écoute (les mécanismes d'attention).
• Si on essaie d'entraîner le Savant avec seulement les "meilleurs" exemples (ceux qui semblent les plus importants), cela ne marche pas toujours mieux que de lui donner des exemples au hasard. Pourquoi ? Parce que les "meilleurs" exemples sont souvent trop similaires entre eux (ils parlent tous de la même chose), alors que le Savant a besoin de diversité pour apprendre vraiment.

---

2. Le Duel : Mémoire vs. Contexte (La guerre des faits) ⚔️

C'est ici que ça devient drôle. Le Savant a deux types de conflits internes :

1. Conflit Interne : Il se souvient de deux choses contradictoires dans sa propre tête (ex: "La capitale est Paris" vs "La capitale est Lyon" dans deux vieux livres qu'il a lus).
2. Conflit Externe : Le livre d'actualité qu'on lui tend dit "La capitale est Berlin", alors que sa mémoire dit "Paris".

La découverte étonnante (Le paradoxe de la rigidité) :
On s'attendait à ce que le Savant soit plus facile à convaincre sur des sujets qui changent souvent (comme la météo ou les résultats sportifs).
Mais non !

• Si on lui donne un fait statique (qui ne change jamais, comme "Le soleil est une étoile"), il est très facile de le tromper avec un faux livre. Il accepte n'importe quoi si le livre a l'air convaincant.
• Si on lui donne un fait dynamique (qui change souvent), il est plus résistant. Il dit : "Attends, ça change tout le temps, je ne vais pas me fier à ce nouveau livre tout de suite."

En résumé : Plus un fait est "figé" dans sa tête, plus il est facile de le manipuler avec un faux contexte. Plus un fait est "vivant", plus il se méfie.

---

3. Le Livre Idéal : Comment le convaincre ? 📚

Pour que le Savant utilise bien son livre d'actualité (le contexte), il faut que ce livre ait certaines qualités. Les chercheurs ont créé un nouveau jeu de données (DRUID) pour tester cela dans des conditions réelles, pas juste avec des fausses questions inventées.

Les règles pour un bon livre :

• Le ton compte : Les textes qui sont directs, assertifs et qui vont droit au but (comme un article de fact-checking) sont mieux écoutés que les textes hésitants.
• La fraîcheur : Un livre écrit après la question a plus de poids qu'un vieux livre.
• La similitude : Le Savant préfère les livres qui parlent exactement de la même chose que la question (même si c'est difficile à trouver dans la vraie vie).
• La longueur : Attention ! Si le livre est trop long, le Savant perd le fil et commence à halluciner.

Le grand mensonge des fausses données :
Jusqu'à présent, les chercheurs utilisaient des données "synthétiques" (inventées par ordinateur) pour tester les modèles. Ces données exagéraient les conflits. En réalité, dans le monde vrai, les livres d'actualité contredisent rarement la mémoire du Savant. Les chercheurs doivent donc arrêter de jouer avec des fausses données pour comprendre comment les modèles fonctionnent vraiment.

---

🎓 Conclusion : La spirale du progrès

La conférence se termine sur une note philosophique. Bien que nous ayons fait des progrès incroyables, nous découvrons que les grands modèles d'aujourd'hui font les mêmes erreurs que les modèles d'il y a 10 ans : ils sont excellents pour réciter (comme un perroquet) mais parfois mauvais pour raisonner (comme un humain).

L'auteure cite une célèbre chercheuse, Karen Spärck Jones, pour dire que la science n'est pas un cercle vicieux où l'on tourne en rond, mais une spirale ascendante. On revient sur les mêmes idées, mais avec de meilleurs outils, de meilleurs matériaux et une meilleure compréhension.

En bref : Pour faire confiance à l'IA, il ne suffit pas de lui donner des informations. Il faut comprendre comment elle les mélange avec ce qu'elle sait déjà, et savoir que parfois, elle est plus têue qu'on ne le pense !

Résumé technique

Voici un résumé technique détaillé de l'article, structuré selon les sections demandées, basé sur le texte fourni.

Titre : Comprendre l'interplay entre l'utilisation des connaissances paramétriques et contextuelles par les LLM

Auteur : Isabelle Augenstein (Université de Copenhague)
Contexte : Keynote à la conférence ECIR 2025 (Prix Karen Spärck Jones).

---

1. Problématique

L'essor des Grands Modèles de Langage (LLM) a introduit des défis majeurs concernant leur fiabilité factuelle et leur compréhension interne. Le problème central réside dans la tension entre deux types de connaissances :

• Connaissances paramétriques : Encodées dans les poids du modèle lors de l'entraînement, elles sont statiques, coûteuses à mettre à jour et peuvent contenir des informations obsolètes ou erronées.
• Connaissances contextuelles : Fournies dynamiquement (via la récupération d'informations ou RAG), elles sont censées corriger les lacunes du modèle.

Les lacunes identifiées :

1. Ignorance du contexte : Les LLM tendent à ignorer le contexte fourni s'il entre en conflit avec leurs connaissances paramétriques pré-entraînées.
2. Conflits internes (Intra-memory) : Des contradictions peuvent exister au sein même des paramètres du modèle.
3. Manque de compréhension de l'interplay : Il est mal compris quand et comment un modèle décide d'utiliser le contexte plutôt que sa mémoire interne, et quelles caractéristiques du contexte favorisent cette adoption.
4. Limites des méthodes existantes : Les techniques de vérification interne (comme le chain-of-thought) ou d'édition de connaissances sont coûteuses, instables ou entraînent des effets de bord (ripple effects).

---

2. Méthodologie

L'auteure présente une série d'études empiriques utilisant des cadres d'évaluation unifiés et de nouveaux jeux de données pour analyser ces phénomènes.

A. Évaluation des connaissances paramétriques (Attribution)

• Approche : Développement d'un cadre d'évaluation unifié comparant deux méthodes d'attribution : l'attribution par instances (données d'entraînement) et par neurons (unités internes).
• Protocole : Alignement des instances d'entraînement les plus influentes avec les neurones les plus importants (couche MLP).
• Tests de fidélité : Utilisation de tests de suffisance (activation des neurones clés) et de complétude (suppression de ces neurones) pour valider les explications.
• Analyse : Fine-tuning avec des instances influentes identifiées vs instances aléatoires.

B. Détection des conflits de connaissances

• Jeu de données : DynamicQA, contenant des faits statiques, temporels (évoluant dans le temps) et disputables (dépendant du point de vue).
• Mesures :
  • Entropie sémantique : Pour mesurer l'incertitude et les conflits internes (intra-memory).
  • Coherent Persuasion Score (CPS) : Une métrique nouvelle pour quantifier le déplacement sémantique de la distribution de sortie du modèle face à un contexte contradictoire (conflit contexte-mémoire).

C. Analyse de l'utilisation du contexte en RAG

• Jeu de données : DRUID, un ensemble de données pour la vérification de faits utilisant des contextes du monde réel (par opposition aux données synthétiques).
• Métrique : ACU (Actual Context Utilisation), une mesure nouvelle de l'utilisation effective du contexte.
• Expérimentation : Comparaison de l'impact de différentes caractéristiques de contexte (source, ton, date, similarité requête-contexte) et test de diverses techniques de manipulation de contexte (CMT), allant du simple prompting à des interventions mécanistiques.

---

3. Contributions Clés

1. Cadre d'évaluation unifié pour l'attribution : Une méthodologie comparative pour évaluer la fiabilité des explications basées sur les instances et les neurones, révélant des divergences dans les explications fournies par chaque méthode.
2. Nouvelles métriques de conflit : Introduction de l'entropie sémantique pour les conflits internes et du Coherent Persuasion Score pour les conflits contexte-mémoire.
3. Jeu de données DRUID : Un benchmark réaliste pour l'étude de l'utilisation du contexte, comblant le fossé entre les données synthétiques (trop idéalisées) et les scénarios réels.
4. Analyse des dynamiques de persuasion : Identification de la "dynamité des faits" comme indicateur clé de la susceptibilité du modèle à être persuadé par le contexte.

---

4. Résultats Principaux

• Sur l'attribution :

  • La plupart des neurones de la couche MLP peuvent être supprimés sans affecter significativement les prédictions, contredisant l'hypothèse que la connaissance est localisée dans ces neurones spécifiques (le rôle des poids d'attention est probablement plus crucial).
  • Le fine-tuning avec des instances "influentes" identifiées par attribution n'améliore pas les performances par rapport à un échantillonnage aléatoire, probablement dû à un manque de diversité dans ces instances.
  • La combinaison des méthodes d'attribution est plus efficace pour détecter les artefacts de données (sur-ajustement à des motifs lexicaux).

• Sur les conflits de connaissances :

  • Paradoxe de la persuasion : Contre-intuitivement, les modèles sont plus facilement persuadés par des contextes contradictoires concernant des faits statiques ou peu dynamiques que par des faits dynamiques (temporels). Les faits qui changent régulièrement sont moins susceptibles d'être mis à jour via la récupération de contexte.
  • La dynamité des faits est le meilleur indicateur négatif de la persuasion du modèle, surpassant la popularité du fait (qui était auparavant utilisée pour guider le RAG).

• Sur l'utilisation du contexte (RAG) :

  • Les contextes provenant de sources de fact-checking (langage assertif, direct) sont mieux utilisés.
  • Les documents publiés après l'affirmation et les sources d'or augmentent l'utilisation du contexte.
  • Les modèles privilégient les contextes à forte similarité avec la requête (difficile à obtenir en RAG réel).
  • Réalité des données synthétiques : Les données synthétiques exagèrent l'impact des conflits de connaissances et la "répulsion" du contexte, qui sont plus rares dans les données réelles.
  • Taille du modèle : Les grands LLMs utilisent généralement mieux le contexte, mais de plus petits modèles peuvent les surpasser avec la technique de manipulation de contexte (CMT) optimale.

---

5. Signification et Implications

Cette recherche met en lumière les limites actuelles de notre compréhension des LLMs dans les tâches à forte intensité de connaissances :

• Défi pour le RAG : L'efficacité du RAG ne dépend pas seulement de la pertinence de la récupération, mais de la capacité du modèle à intégrer le contexte face à ses préjugés paramétriques. La "dynamité" d'un fait est un critère crucial pour décider quand activer le RAG.
• Évaluation réaliste : Il est impératif de passer des données synthétiques à des études alignées sur le monde réel (comme DRUID) pour éviter de surestimer les capacités des modèles à gérer les conflits.
• Perspective spirale : L'auteure conclut en notant que, bien que de nouvelles méthodes émergent, nous observons souvent des tendances similaires à celles des modèles pré-entraînés plus anciens (ex: récitation vs raisonnement). La recherche ne tourne pas en rond mais s'élève en spirale, nécessitant une collaboration continue entre la recherche en Récupération d'Information (IR) et le Traitement du Langage Naturel (NLP) pour résoudre ces problèmes fondamentaux de fiabilité.