Task Matters: Knowledge Requirements Shape LLM Responses to Context-Memory Conflict

1. Problématique

Les grands modèles de langage (LLM) disposent de deux sources d'information principales : leur mémoire paramétrique (les connaissances apprises lors de l'entraînement) et l'information contextuelle (fournie par l'utilisateur dans le prompt). Un conflit survient lorsque ces deux sources se contredisent.

La littérature précédente a principalement étudié ce phénomène dans le cadre de la réponse aux questions contextuelles (Contextual QA), en supposant implicitement que le modèle doit toujours privilégier le contexte fourni. Cependant, cette approche laisse dans l'ombre le comportement des LLMs face à des tâches qui nécessitent différents types et degrés d'utilisation des connaissances. Il reste flou de savoir comment les modèles réagissent lorsque la tâche exige :

• L'extraction pure (sans connaissances externes).
• L'ancrage strict dans le contexte.
• L'utilisation exclusive de la mémoire paramétrique.
• L'intégration des deux sources.

L'article postule que l'impact du conflit contexte-mémoire n'est pas uniforme, mais dépend intrinsèquement de la nature de la tâche.

2. Méthodologie

Les auteurs proposent un cadre de diagnostic agnostique au modèle conçu pour isoler l'effet du conflit en maintenant les connaissances sous-jacentes constantes tout en variant systématiquement les formulations des tâches.

A. Création des Données (Pipeline)

Le processus suit quatre étapes clés (illustrées dans la Figure 2 du papier) :

1. Collecte des connaissances paramétriques : Le modèle est interrogé pour identifier ses croyances internes (la "vérité" paramétrique) via des requêtes itératives pour éviter les biais de sycophance (accord automatique avec l'utilisateur).
2. Création de preuves contradictoires (Evidence Creation) : À partir de connaissances validées, le système génère des passages de contexte contradictoires avec trois niveaux de plausibilité :
   • NC (No Contradiction) : Le contexte correspond à la connaissance du modèle.
   • HPC (High Plausibility Contradiction) : Le contexte contredit le modèle mais est crédible et logique (ex: une explication scientifique alternative plausible).
   • LPC (Low Plausibility Contradiction) : Le contexte contredit le modèle et est absurde ou illogique (ex: une explication fantastique).
   • HPCE (High Plausibility Contradiction with Explanation) : Variante de HPC incluant un raisonnement explicatif.
3. Annotation des Tâches (Task-Annotation) : Les mêmes données sont utilisées pour créer cinq types de tâches distinctes :
   • Knowledge Free (KF) : Extraction pure (copier-coller du contexte).
   • Contextual Knowledge (CK) : Répondre uniquement sur la base du contexte fourni.
   • Parametric Knowledge (PK) : Répondre uniquement sur la base de la connaissance interne, en ignorant le contexte (qui sert de distracteur).
   • Parametric-Contextual Knowledge (PCK) : Intégrer les deux sources.
   • RAG (Retrieval Augmented Generation) : Simuler un environnement RAG où le modèle doit gérer des documents contradictoires sans instruction explicite de priorité.
4. Validation : Vérification automatisée par LLM et échantillonnage par des annotateurs humains.

B. Modèles Évalués

L'étude porte sur une gamme diversifiée de modèles :

• Open-weight : Mistral-7B, OLMo2-7B/13B, Qwen2.5-7B/14B.
• Propriétaire : GPT-5.2 (modèle de pointe).

3. Contributions Clés

1. Cadre de Diagnostic Unifié : Première approche systématique mesurant l'impact du conflit contexte-mémoire à travers différents régimes de tâches (extraction, ancrage, mémoire, intégration) tout en contrôlant la plausibilité du conflit.
2. Théorie de la Dépendance à la Tâche : Démonstration que la dégradation des performances n'est pas un phénomène global, mais spécifique à la demande de connaissances de la tâche.
3. Analyse des Stratégies d'Atténuation : Évaluation de l'efficacité de la réitération du contexte et de l'ajout de rationales (explications) pour forcer l'attention sur le contexte.
4. Mise en garde sur l'Évaluation par LLM : Démonstration que les LLM utilisés comme juges (LLM-as-a-Judge) sont biaisés par leurs propres connaissances paramétriques, rendant l'évaluation automatique peu fiable en cas de conflit factuel.

4. Résultats Principaux

A. Impact Dépendant de la Tâche

• Tâches à faible besoin de connaissances (KF) : Le conflit a un impact minime. Les modèles performent bien même avec des contextes LPC, car ils se contentent de copier le texte.
• Tâches à forte dépendance contextuelle (CK) : Les modèles souffrent significativement du conflit. Même avec des instructions explicites d'ignorer leurs connaissances, ils tendent à privilégier leur mémoire paramétrique, surtout si le contexte est plausible (HPC). L'écart de performance entre NC et LPC peut atteindre 31 points pour GPT-5.2.
• Tâches à dépendance paramétrique (PK) : Paradoxalement, la présence d'un contexte contradictoire (surtout HPC) dégrade la capacité du modèle à utiliser sa propre connaissance. Les distracteurs plausibles sont plus nuisibles que les distracteurs absurdes (LPC), car ils attirent l'attention du modèle vers le contexte au détriment de la mémoire.
• Conclusion : Le même contexte peut être bénéfique ou nuisible selon que la tâche exige de s'y fier ou non.

B. Rationales et Réitération

• Rationales (HPCE) : L'ajout d'explications améliore la performance dans les tâches CK (en renforçant la crédibilité du contexte) mais détériore la performance dans les tâches PK (en agissant comme un distracteur puissant qui éloigne le modèle de sa mémoire).
• Réitération (HPCdub) : Répéter le contexte plusieurs fois (sans ajouter de nouvelles informations) s'avère souvent plus efficace que d'ajouter des rationales complexes. Cela renforce l'ancrage contextuel sans introduire de nouvelles informations distractives, bien que cela puisse aussi amplifier les biais de majorité.

C. Fiabilité des Juges LLM

L'étude révèle que les LLM utilisés pour évaluer d'autres LLMs (tâche CK par nature) sont systématiquement biaisés par leurs propres connaissances paramétriques.

• Exemple : Un juge (GPT-4o) peut rejeter une réponse factuellement correcte selon le contexte fourni, car elle contredit sa propre connaissance interne (ex: conseiller de mettre de l'huile moteur sur une dent pour un mal de dents, si le contexte le suggère, le juge le marquera comme "dangereux" et incorrect, même si la consigne était de suivre le contexte).
• Ce biais persiste et s'aggrave même avec les modèles les plus avancés (GPT-5.2), remettant en cause la fiabilité des évaluations automatiques basées sur les LLM.

5. Signification et Implications

Ce travail remet en question l'hypothèse selon laquelle les conflits contexte-mémoire peuvent être résolus par une simple instruction ou une méthode universelle.

• Déploiement : Il est crucial d'adapter les mécanismes de gestion du contexte en fonction de la tâche. Forcer l'attention sur le contexte (via la réitération ou le "steering") est bénéfique pour les tâches d'extraction ou d'analyse de documents, mais catastrophique pour les tâches de raisonnement nécessitant des connaissances de base.
• Évaluation : Les chercheurs doivent être prudents lors de l'utilisation de LLMs comme juges, car leurs biais internes peuvent fausser les résultats, en particulier dans les scénarios de conflit factuel.
• Futur : L'article plaide pour des approches "conscientes de la tâche" (task-aware) qui permettent de dynamiquement équilibrer l'attention entre la mémoire paramétrique et le contexte au moment de l'inférence, plutôt que d'appliquer des correctifs statiques.

En résumé, l'article démontre que le contexte ne l'emporte pas toujours sur la mémoire, ni l'inverse ; c'est la nature de la tâche qui dicte la hiérarchie des sources d'information, et ignorer cette nuance conduit à des évaluations erronées et des performances sous-optimales.