In-Context Examples Suppress Scientific Knowledge Recall in LLMs

1. Énoncé du problème

L'article examine un phénomène contre-intuitif dans les modèles de langage de grande taille (LLM) appliqués au raisonnement scientifique : l'apprentissage en contexte (ICL) peut supprimer, plutôt que renforcer, les connaissances scientifiques pré-entraînées d'un modèle.

Bien que l'ICL soit largement utilisé pour améliorer les performances en fournissant des exemples, les auteurs émettent l'hypothèse que, pour des tâches nécessitant une récupération de structure latente (inférer des paramètres cachés à partir de données avant d'appliquer une loi de domaine), l'ajout d'exemples modifie la stratégie de raisonnement du modèle. Au lieu de récupérer et d'appliquer la formule scientifique correcte à partir de ses poids pré-entraînés (Dérivation pilotée par les connaissances), le modèle bascule vers un Ajustement piloté par les exemples (approximation des mappings entrée-sortie via la reconnaissance de motifs).

Crucialement, cette suppression se produit même lorsque les exemples en contexte sont générés par la même formule scientifique exacte que celle que le modèle connaît déjà, ce qui signifie qu'il n'y a aucun conflit entre les exemples et les connaissances antérieures du modèle.

2. Méthodologie

Construction du benchmark

Les auteurs ont construit un benchmark équilibré en difficulté composé de 60 tâches de récupération de structure latente répartis sur cinq domaines scientifiques :

• Domaines : Biologie, Chimie, Économie, Physique et Géosciences (12 tâches par domaine).
• Structure de la tâche : Chaque tâche suit une architecture spécifique : $X \to \Theta \to Y$.
  • $X$ (Observables) : Données brutes fournies au modèle.
  • $\Theta$ (Variables latentes) : Paramètres cachés (par exemple, constantes de réaction, modules d'élasticité) qui doivent être inférés en utilisant les lois du domaine.
  • $Y$ (Cible) : La quantité finale à calculer en utilisant les paramètres inférés.
• Complexité : Les tâches varient en nombre d'observables, de variables latentes et de formats d'équations (linéaires, non linéaires, fractionnaires, etc.) pour garantir que les résultats ne sont pas des artefacts de types d'équations spécifiques.

Configuration expérimentale

• Modèles : Les expériences ont été menées sur quatre modèles : GPT-5.2 (principal), Claude Sonnet 4.6, Llama 4 Maverick et DeepSeek V3.2.
• Conditions :
  • Zero-Shot : Le modèle résout la tâche en utilisant uniquement le raisonnement par Chaîne de Pensée (CoT) sans exemples.
  • 10-Shot : Le modèle reçoit 10 paires entrée-sortie générées par la même formule sous-jacente que le cas de test (aucune dérivation intermédiaire fournie).
• Classification des stratégies : Un classificateur automatisé (validé par des annotateurs humains avec un accord de 98 %) catégorise la trajectoire CoT du modèle en trois modes :
  1. Paramétrique ($S_{know}$) : Récupération d'une formule nommée et dérivation algébrique de la réponse.
  2. Empirique ($S_{emp}$) : Ajustement d'un motif aux exemples sans invoquer de lois de domaine.
  3. Hybride : Utilisation d'une formule mais calibration des coefficients basée sur les exemples.

Analyses supplémentaires

• Leurre sémantique : Remplacement du vocabulaire spécifique au domaine (par exemple, "Surplus du consommateur" $\to$ "Gamma Rad") pour tester si la récupération des connaissances repose sur des indices de surface.
• Représentations internes : Analyse des états cachés des modèles open-source (Qwen, Mistral, Llama) pour observer les déplacements dans l'espace de représentation.
• Interventions : Test de techniques de prompting structurel (par exemple, forcer la déclaration de la formule, prompting négatif) pour voir si le déplacement peut être atténué.

3. Contributions clés

1. Découverte du déplacement des connaissances : Les auteurs démontrent que l'ajout d'exemples en contexte cohérents déplace systématiquement le calcul de la dérivation pilotée par les connaissances ($S_{know}$) vers l'ajustement piloté par les exemples ($S_{emp}$) dans tous les domaines.
2. Cadre de compétition des stratégies : Ils proposent un cadre expliquant pourquoi les effets sur la précision varient. Le déplacement est uniforme, mais la conséquence dépend de l'écart de qualité entre la stratégie déplacée (connaissances pré-entraînées) et la stratégie de remplacement (ajustement empirique).
3. Benchmark complet : Un nouveau benchmark de 60 tâches conçu spécifiquement pour rendre observable la compétition entre le raisonnement scientifique et l'ajustement de motifs, couvrant des complexités structurelles diverses.

4. Résultats clés

A. Déplacement uniforme des stratégies, précision divergente

L'ajout de 10 exemples a réduit la part des trajectoires Paramétriques ($S_{know}$) de 6 à 20 points de pourcentage dans tous les domaines. Cependant, l'impact sur la précision finale variait considérablement :

• Économie : La précision a chuté de manière significative (−15,7 pp). Ici, $S_{know}$ était la stratégie supérieure (88,3 % de précision). Le passage à l'ajustement empirique (41,7 % de précision) a causé une perte massive de performance.
• Géosciences : La précision semble s'être améliorée (+13,3 pp). Ici, $S_{know}$ était faible (49,2 % de précision) car le modèle rappelait souvent la bonne formule mais utilisait de mauvais paramètres par défaut. Le passage à l'ajustement empirique a permis au modèle d'interpoler correctement à partir des exemples, masquant la perte de raisonnement scientifique.
• Physique et Biologie : La précision est restée relativement stable. En Physique, le déplacement était faible ; en Biologie, la stratégie empirique s'est avérée performante de manière similaire à la stratégie paramétrique.

Conclusion : Le modèle n'abandonne pas sélectivement les connaissances là où elles sont erronées ; il les abandonne partout, indépendamment du fait que la nouvelle stratégie soit meilleure ou pire.

B. Mécanisme : Rappel déclenché par le vocabulaire

L'expérience du Leurre sémantique a révélé que $S_{know}$ est déclenché par le vocabulaire de surface (mots-clés du domaine) plutôt que par une analyse mathématique profonde.

• Lorsque les termes du domaine étaient remplacés par des pseudonymes, la précision en Zero-Shot s'est effondrée (à 3–14 %).
• Cependant, la performance en 10-Shot s'est partiellement rétablie (à 22–40 %), prouvant que $S_{emp}$ opère sur des motifs numériques indépendants du vocabulaire.
• Implication : La simple présence d'exemples numériques active la voie empirique,Overrides la voie des connaissances déclenchée par le vocabulaire.

C. Convergence des représentations internes

L'analyse des états cachés a montré que, dans des conditions 10-Shot, les espaces de représentation de différents domaines convergeaient.

• En Zero-Shot, les domaines occupaient des régions distinctes (activant des circuits spécifiques au domaine).
• En 10-Shot, les domaines se sont rapprochés, en particulier la Géoscience, qui a montré le déplacement le plus fort. Cela suggère que le modèle bascule vers un circuit d'ajustement de motifs agnostique au domaine lorsque des exemples sont présents.

D. Échec des atténuations

Les interventions de prompting standard (par exemple, nommer explicitement la formule, prompts négatifs contre l'ajustement) ont échoué à empêcher universellement le déplacement. Lorsque les connaissances pré-entraînées étaient la stratégie optimale (Économie), aucune quantité d'exemples cohérents n'a pu récupérer la performance perdue par la simple présence de ces exemples.

5. Signification et implications

• Précaution pour les praticiens : L'article met en garde que, dans les applications scientifiques, fournir des exemples en contexte peut déplacer les connaissances mêmes qu'ils sont censés soutenir. Se fier uniquement à la précision de bout en bout est dangereux, car cela peut masquer la perte de raisonnement scientifique (par exemple, en Géoscience, le modèle a obtenu la bonne réponse pour la mauvaise raison).
• Nature du raisonnement scientifique dans les LLM : L'étude suggère que le raisonnement scientifique des LLM est souvent basé sur la reconnaissance (déclenché par des mots-clés) plutôt que basé sur le raisonnement (dérivation mathématique). Cela le rend fragile et facilement surpassé par le raccourci computationnel de la correspondance de motifs.
• Apprentissage de raccourcis plus large : Ce phénomène est présenté comme un exemple d'"apprentissage de raccourcis", où les modèles optent par défaut pour la stratégie disponible la plus facile computationnellement (ajustement d'exemples) plutôt que pour la plus fondée (dérivation à partir de lois), même lorsque le raccourci est sous-optimal.
• Voies futures : Les auteurs appellent à des études mécanistes (par exemple, patchage d'activation) pour identifier les circuits spécifiques responsables de cette compétition et à de nouvelles métriques d'évaluation capables de distinguer entre le succès "piloté par les connaissances" et le succès "piloté par les exemples".