In-Context Molecular Property Prediction with LLMs: A Blinding Study on Memorization and Knowledge Conflicts

Cette étude évalue la capacité des grands modèles de langage à prédire les propriétés moléculaires par apprentissage en contexte en menant une expérience aveugle systématique pour distinguer la véritable régression de la mémorisation et analyser les conflits entre connaissances pré-entraînées et informations contextuelles.

L'essentiel

🧪 L'Enquête : Les IA sont-elles de véritables chimistes ou de simples "parceurs" ?

Imaginez que vous avez un élève très intelligent, disons un génie des langues (c'est ce qu'on appelle un "Grand Modèle de Langage" ou LLM). Ce génie a lu presque tous les livres de la bibliothèque mondiale. Maintenant, vous lui donnez un problème de chimie : "Voici une molécule, quelle est sa solubilité ?"

Le problème, c'est que cet élève a peut-être déjà lu la réponse exacte dans un de ses livres (les données d'entraînement). Si vous lui posez la question, va-t-il réfléchir pour trouver la réponse, ou va-t-il simplement reciter la réponse qu'il a mémorisée ?

C'est exactement ce que Matthias Busch et son équipe ont voulu découvrir avec leur étude. Ils ont mené une expérience secrète (une "étude en aveugle") pour tester si ces IA sont de vrais scientifiques ou de simples tricheurs.

---

🎭 Le Jeu de l'Aveugle : Comment ils ont testé l'IA

Pour savoir si l'IA réfléchit vraiment, les chercheurs ont joué un jeu de cache-cache avec elle. Ils ont créé 6 niveaux de difficulté, comme un jeu vidéo qui devient de plus en plus dur :

1. Niveau 1 (Tout est clair) : L'IA voit le nom de la molécule, le nom de la propriété (ex: "solubilité") et la valeur exacte. C'est comme si on lui donnait la question et la réponse dans le manuel.
2. Niveau 2 à 4 (On cache un peu) : On change le nom de la propriété ("propriété moléculaire" au lieu de "solubilité") ou on modifie les chiffres (on les inverse). L'IA ne peut plus faire de "copier-coller" de la mémoire.
3. Niveau 5 et 6 (Le niveau Expert) : C'est là que ça devient drôle. On transforme complètement la langue. Au lieu de voir "C" pour Carbone ou "O" pour Oxygène, l'IA voit des symboles bizarres comme "X", "Y", "Z". C'est comme si on parlait à l'IA dans une langue qu'elle n'a jamais apprise, mais avec la même grammaire.

L'analogie : Imaginez que vous essayez de deviner le prix d'une maison.

• Niveau 1 : On vous donne l'adresse exacte et le prix de vente.
• Niveau 6 : On vous donne une photo de la maison, mais chaque brique est peinte en couleur différente et l'adresse est écrite en alphabet cyrillique. Vous devez deviner le prix juste en regardant la forme de la maison et en comparant avec d'autres maisons que vous voyez sur la photo.

---

🔍 Ce qu'ils ont découvert (Les résultats)

Voici les trois grandes leçons de l'étude, expliquées simplement :

1. Ce n'est pas du "par cœur" (Pas de triche !)

Les chercheurs pensaient que les IA trichaient en mémorisant les réponses.

• La découverte : Non ! Quand on teste l'IA avec des molécules qu'elle n'a jamais vues, elle ne donne pas de réponses parfaites. Elle fait des erreurs, mais des erreurs logiques.
• L'image : C'est comme si l'IA ne lisait pas le dictionnaire pour trouver le mot, mais qu'elle utilisait sa logique pour deviner le sens d'un mot nouveau. Elle a vraiment appris des règles, pas juste des réponses.

2. La connaissance passée est une épée à double tranchant

C'est le point le plus surprenant. Parfois, le fait que l'IA soit "intelligente" et ait beaucoup lu l'empêche de bien travailler.

• Le problème : Si l'IA a lu dans ses livres que "les molécules rouges sont chères", mais que dans votre nouvelle expérience, "les molécules rouges sont bon marché", elle va se tromper. Elle est trop sûre d'elle.
• La solution magique : En cachant le nom de la propriété (le "blinding"), on force l'IA à oublier ses vieux préjugés et à se concentrer uniquement sur les exemples que vous lui montrez maintenant.
• L'analogie : C'est comme un chef cuisinier qui a toujours fait des gâteaux avec du sucre. Si vous lui donnez une recette sans sucre, il va peut-être en remettre par habitude. Si vous lui cachez le mot "sucre" et lui dites juste "ajoutez l'ingrédient X", il suivra mieux votre nouvelle recette.

3. Plus d'exemples ne signifient pas toujours mieux

On pensait que donner 1000 exemples à l'IA la rendrait plus intelligente.

• La réalité : Avec seulement 60 exemples, l'IA est souvent perdue. Elle essaie de mélanger ses vieux souvenirs (ce qu'elle a lu) avec les nouveaux exemples, et ça crée du chaos.
• Le miracle : Il faut souvent un "seuil critique" (comme 1000 exemples) pour que l'IA comprenne enfin la nouvelle règle et arrête de se fier à ses vieux livres.

---

🎯 Pourquoi est-ce important pour nous ?

Cette étude nous dit deux choses cruciales pour l'avenir :

1. Ne nous fions pas aveuglément aux scores : Si une IA obtient un score parfait sur un test classique, ce n'est pas forcément parce qu'elle est intelligente. Elle a peut-être juste "vu" le test avant. Il faut utiliser des tests "en aveugle" pour vérifier sa vraie intelligence.
2. Comment utiliser l'IA en science : Si vous voulez que l'IA découvre de nouvelles choses (des médicaments, des matériaux), il ne faut pas lui laisser trop de liberté avec ses connaissances passées. Parfois, il faut lui "bander les yeux" sur ce qu'elle sait déjà pour qu'elle puisse vraiment apprendre de vos nouvelles données.

En résumé

Les chercheurs ont prouvé que les IA ne sont pas de simples robots qui recrachent des réponses apprises par cœur. Elles sont capables de vrai raisonnement, mais elles sont parfois trop confiantes dans ce qu'elles ont déjà lu. Pour les utiliser correctement en science, il faut savoir quand les laisser utiliser leur mémoire, et quand les forcer à oublier pour qu'elles apprennent de nouvelles choses.

Résumé technique

1. Problématique et Contexte

L'application des Grands Modèles de Langage (LLM) à la prédiction des propriétés moléculaires soulève des questions fondamentales sur la nature de leurs capacités prédictives. Bien que les LLMs excellent dans le traitement du langage naturel et l'apprentissage en contexte (In-Context Learning - ICL), leur efficacité réelle dans des tâches de régression scientifique est ambiguë.

Le problème central identifié par les auteurs est le risque de contamination des données (dataset contamination). Les benchmarks standards utilisés en chimie computationnelle (comme ESOL, Lipophilicity, QM7) sont publics depuis des années et sont probablement présents dans les corpus d'entraînement des LLMs. Par conséquent, une forte performance sur ces benchmarks pourrait résulter d'une simple mémorisation (récupération de valeurs apprises) plutôt que d'une véritable compréhension des relations structure-propriété ou d'une capacité à apprendre de nouveaux exemples fournis en contexte. De plus, des travaux récents suggèrent que les LLMs pourraient utiliser des « raccourcis » (comme le comptage de tokens) plutôt qu'un raisonnement structurel profond.

L'objectif de l'étude est de déterminer si les LLMs effectuent une régression en contexte authentique ou s'ils s'appuient principalement sur des valeurs mémorisées, et d'analyser les conflits potentiels entre leurs connaissances pré-entraînées et les informations fournies en contexte.

2. Méthodologie

Les auteurs proposent une approche rigoureuse combinant l'apprentissage en contexte avec un protocole d'aveuglement systématique (blinding) et des transformations de données.

A. Jeux de Données et Modèles

• Données : Trois ensembles de données de référence de MoleculeNet :
  • Delaney (ESOL) : Solubilité aqueuse (1 128 composés).
  • Lipophilicity : Coefficients de partage octanol-eau (4 200 composés).
  • QM7 : Énergies d'atomisation calculées par DFT (6 834 molécules).
• Modèles : Neuf variantes de LLMs appartenant à trois familles et trois classes de taille :
  • GPT-4.1 (Nano, Mini, Standard)
  • GPT-5 (Nano, Mini, Standard)
  • Gemini 2.5 (Flash-Lite, Flash, Pro)

B. Cadre d'Aveuglement à Six Niveaux

Pour isoler les capacités spécifiques des modèles, les auteurs introduisent six niveaux d'aveuglement progressif (Tableau 1 de l'article) :

1. Spécifique : Nom de la propriété exacte, terminologie chimique, valeurs originales.
2. Spécifique-Transformé : Même contexte, mais les valeurs cibles sont inversées et redimensionnées.
3. Générique : Libellé générique (« propriété moléculaire »), terminologie chimique conservée.
4. Générique-Transformé : Libellé générique + valeurs transformées.
5. Agnostique : Libellé totalement abstrait (« propriété d'échantillon »), terminologie chimique remplacée, mais chaînes SMILES originales.
6. Agnostique-Transformé : Contexte abstrait + chaînes SMILES transformées (substitution de caractères) + valeurs transformées.

Les transformations mathématiques (inversion et redimensionnement) visent à briser la mémorisation des valeurs exactes tout en préservant les relations structure-propriété. La transformation des chaînes SMILES empêche la reconnaissance des structures chimiques familières.

C. Configuration Expérimentale

• Configurations ICL : 0-shot (aucun exemple), 60-shot et 1000-shot (exemples en contexte).
• Stratégie de Prompting : Utilisation d'une approche en deux phases (Analyse des motifs structuraux suivie de prédiction pondérée) pour encourager le raisonnement en chaîne (Chain-of-Thought).
• Métriques : Coefficient de corrélation de Pearson (r) pour évaluer la qualité de la prédiction indépendamment de l'échelle des valeurs transformées.

3. Contributions Clés

1. Cadre d'évaluation principiel : Introduction d'une méthodologie d'aveuglement systématique pour distinguer la mémorisation, les connaissances de domaine et l'apprentissage en contexte pur.
2. Analyse des conflits de connaissances : Démonstration que les connaissances pré-entraînées peuvent non seulement aider, mais aussi nuire à la performance en contexte, surtout lorsque les exemples fournis sont insuffisants (60-shot) ou en conflit avec les biais du modèle.
3. Évaluation à grande échelle ICL : Passage au-delà des études « few-shot » classiques en testant des configurations jusqu'à 1000-shot pour évaluer la capacité d'extraction de relations fonctionnelles sur de grands volumes de données contextuelles.

4. Résultats Principaux

A. Absence de Mémorisation Directe

L'analyse de la distribution des erreurs (Figure 3) montre une distribution continue sans pic significatif à zéro. Cela indique que les modèles ne récupèrent pas des valeurs mémorisées mot pour mot, mais apprennent plutôt des relations entre les chaînes SMILES et les propriétés.

B. Impact de l'Aveuglement et des Connaissances Préalables

• Solubilité (Delaney) : Les modèles maintiennent une performance élevée même en cas d'aveuglement complet (chute minime de 96% à 92%). Cela suggère une capacité robuste à apprendre la relation structure-propriété via l'ICL, peu dépendante de la mémorisation.
• Lipophilie : Une chute drastique de performance est observée lors de l'aveuglement (de 72% à 35%). Cela indique une forte dépendance aux connaissances pré-entraînées ou à la mémorisation de ce jeu de données spécifique, et une faible capacité d'apprentissage en contexte pur pour cette propriété.
• QM7 : Les performances ne diminuent pas avec l'aveuglement ; elles oscillent même parfois en faveur des valeurs transformées. Cela suggère que les modèles n'ont pas mémorisé ce jeu de données (probablement absent ou mal représenté dans l'entraînement) et utilisent leur capacité générale d'ICL.

C. Le « Double Tranchant » des Connaissances Préalables

• Conflit 0-shot vs 60-shot : Dans environ la moitié des cas, l'ajout de 60 exemples en contexte dégrade la performance par rapport au 0-shot. Les modèles luttent pour réconcilier leurs biais internes avec un petit nombre d'exemples contradictoires.
• Rôle du volume de données : L'augmentation à 1000-shot résout généralement ce conflit pour les modèles OpenAI (GPT-4.1/5), permettant une amélioration significative. Cependant, certains modèles Gemini (Flash/Flash-Lite) voient leur performance se dégrader même avec 1000 exemples, sauf si l'aveuglement est appliqué pour supprimer les connaissances erronées.
• Suppression des biais : Pour certains modèles et tâches (ex: QM7), l'aveuglement (cacher le nom de la propriété) améliore la précision, suggérant que les associations préalables du modèle étaient trompeuses (hallucinations) et que l'aveuglement force le modèle à se fier aux exemples de vérité terrain.

D. Comparaison des Familles de Modèles

• Les modèles GPT-5 montrent une meilleure capacité à combiner connaissances préalables et exemples en contexte que les GPT-4.1.
• Les modèles Gemini Flash présentent des comportements anormaux, souvent plus performants sur des tâches difficiles lorsque les informations sont aveuglées, indiquant une incapacité à intégrer correctement les nouveaux exemples avec leurs connaissances internes.

5. Signification et Implications

• Pour le Benchmarking : Les évaluations standard sur des jeux de données publics (comme MoleculeNet) sont insuffisantes car elles mesurent souvent la contamination des données plutôt que la capacité de généralisation. Les auteurs recommandent l'utilisation de protocoles d'aveuglement comme « test de réalité » (sanity check) pour valider les modèles destinés à la découverte scientifique.
• Pour la Pratique : Le déploiement de LLMs pour la prédiction de propriétés moléculaires doit être stratégique. Si la propriété est bien connue du modèle, les connaissances préalables aident. Si la propriété est nouvelle ou si le jeu de données en contexte est petit, il peut être bénéfique de « aveugler » le modèle (masquer les noms de propriétés, transformer les entrées) pour éviter les conflits de connaissances et forcer un apprentissage basé sur les données fournies.
• Conclusion Générale : Les LLMs ne se contentent pas de mémoriser ; ils combinent flexiblement connaissances et apprentissage en contexte. Cependant, cette interaction est complexe et peut être contre-productive. La capacité d'un modèle à généraliser dans de nouveaux espaces chimiques ne doit pas être confondue avec sa performance sur des benchmarks contaminés.

En résumé, cette étude fournit un cadre méthodologique essentiel pour évaluer la véritable intelligence des LLMs en chimie, en séparant la récupération de mémoire du raisonnement scientifique authentique.