Probing Materials Knowledge in LLMs: From Latent Embeddings to Reliable Predictions

Cette étude évalue la fiabilité des grands modèles de langage en science des matériaux, révélant que leur comportement dépend du type de tâche, que les embeddings intermédiaires surpassent souvent les sorties textuelles pour les prédictions numériques, et que les performances fluctuent considérablement au fil du temps, posant des défis pour la reproductibilité scientifique.

L'essentiel

🧪 Le Grand Défi : Les IA sont-elles de vraies expertes en matériaux ?

Imaginez que vous avez 25 élèves très brillants (ce sont les Intelligences Artificielles, ou LLMs) que vous voulez tester pour voir s'ils comprennent vraiment la science des matériaux. Les chercheurs de l'MIT ont mis ces élèves à l'épreuve avec quatre types de questions différentes.

Leur découverte principale est surprenante : la façon dont l'élève répond change tout. C'est comme si un même élève était un génie en histoire, mais un désastre en mathématiques, et qu'on ne s'en rendait pas compte tant qu'on ne regardait pas comment il donne sa réponse.

---

1. Deux types d'exercices, deux comportements très différents

Les chercheurs ont divisé les questions en deux catégories :

🅰️ Les questions "Symboliques" (Le quiz de culture générale)

• L'exercice : "Quel système cristallin a ce composé ?" ou "Complétez la phrase : Le TiO2 est..."
• Le comportement avant l'entraînement : Les modèles sont comme des élèves qui ne savent pas la leçon. Ils répondent au hasard, avec beaucoup d'hésitation. C'est le chaos : ils donnent une réponse différente à chaque fois qu'on leur pose la même question.
• Après l'entraînement (Fine-tuning) : C'est magique. On leur donne des fiches de révision, et ils deviennent soudainement très précis et cohérents. Ils apprennent par cœur les associations (comme "Titanate de baryum = haute constante diélectrique").
• La leçon : Pour ce type de tâche, l'IA a juste besoin d'apprendre le vocabulaire. Une fois qu'elle l'a, elle est fiable.

🅱️ Les questions "Numériques" (Le calcul de physique)

• L'exercice : "Prédisez la valeur exacte de la bande interdite (en électron-volts) de ce matériau."
• Le comportement avant l'entraînement : C'est ici que ça devient dangereux. Les modèles sont comme des menteurs confiants. Ils donnent une réponse très précise (ex: "1,42 eV") avec une assurance totale, mais cette réponse est souvent fausse. Ils sont "sûrs d'eux" alors qu'ils se trompent.
• Après l'entraînement : Ils deviennent plus justes, mais ils gardent cette habitude de donner une seule réponse précise. Le problème ? Même si la moyenne s'améliore, ils ne sont pas toujours d'accord avec eux-mêmes d'une fois à l'autre.
• La leçon : L'IA peut être très sûre d'elle tout en étant complètement dans le faux. C'est un piège pour les scientifiques qui pourraient croire la réponse parce qu'elle semble "propre".

---

2. Le "Goulot d'étranglement" de la tête de l'IA

C'est la partie la plus fascinante de l'étude, comme une révélation de détective.

Les chercheurs ont regardé à l'intérieur du cerveau de l'IA (dans ses couches intermédiaires) pour voir ce qu'elle "pense" avant de parler.

• L'analogie : Imaginez un chef cuisinier (l'IA) qui a toutes les recettes et les ingrédients en tête (les données internes). Mais quand il doit servir le plat au client (la réponse textuelle), il trébuche sur ses mots.
• La découverte : Pour prédire la "bande interdite" (une propriété électrique), l'IA a la réponse exacte cachée dans sa tête ! Si on lui demande de juste "sortir" ce chiffre sans passer par la rédaction d'une phrase, elle est excellente. Mais dès qu'elle doit l'écrire comme un humain, elle fait des erreurs.
• Le problème : Ce n'est pas vrai pour toutes les propriétés. Pour la "constante diélectrique", l'IA ne semble pas avoir la réponse cachée aussi bien. C'est comme si elle avait un manuel de cuisine pour certains plats, mais pas pour d'autres.

---

3. Le problème de l'instabilité (L'effet "Mise à jour secrète")

Enfin, les chercheurs ont surveillé les modèles d'OpenAI (comme GPT) pendant 18 mois.

• L'analogie : Imaginez que vous commandez votre plat préféré dans un restaurant. Un jour, c'est délicieux. Six mois plus tard, vous y retournez, et le plat est différent, moins bon, ou vous n'avez même pas reçu le même menu, sans que le chef ne vous ait prévenu.
• La réalité : Les modèles d'IA accessibles via internet changent en secret. Une mise à jour peut faire varier les résultats de 9 % à 43 % en un jour. Pour la science, où l'on doit pouvoir répéter une expérience exactement de la même façon dans un an, c'est un cauchemar. C'est comme si votre règle à mesurer changeait de longueur chaque fois que vous la sortiez du tiroir.

---

🎯 En résumé : Que faut-il retenir ?

1. Ne faites pas confiance aveuglément : Si une IA vous donne un chiffre précis pour un matériau, ne la croyez pas sur parole. Elle peut être très sûre d'elle et se tromper.
2. L'entraînement aide, mais différemment : Pour les faits (noms, classifications), l'entraînement rend l'IA fiable. Pour les calculs, il l'améliore, mais ne résout pas son arrogance.
3. Le cerveau sait plus que la bouche : Parfois, l'IA "sait" la réponse à l'intérieur, mais elle a du mal à l'exprimer en langage humain.
4. Attention aux mises à jour : Si vous utilisez une IA pour la science, notez la version exacte que vous utilisez, car elle peut changer sans prévenir et fausser vos résultats.

Cette étude nous dit : Les IA sont des outils puissants, mais ce ne sont pas des oracles infaillibles. Il faut savoir comment elles pensent pour ne pas se faire avoir par leurs illusions de compétence.

Résumé technique

Titre : Sondage des connaissances en science des matériaux dans les LLM : Des embeddings latents aux prédictions fiables

1. Problématique

L'application des grands modèles de langage (LLM) en science des matériaux est en pleine expansion, mais des questions fondamentales persistent concernant leur fiabilité, la nature de leur encodage des connaissances et leur comportement face à différents types de tâches. Contrairement aux modèles d'apprentissage automatique traditionnels (forêts aléatoires, réseaux de neurones graphiques) qui nécessitent une ingénierie de caractéristiques explicite, les LLM opèrent via le langage naturel. Cependant, il est mal compris :

• Comment l'information est-elle encodée et varie-t-elle selon la tâche ?
• Le fine-tuning (ajustement fin) résout-il les lacunes de connaissances ou ne fait-il que renforcer des motifs statistiques ?
• Les modèles développent-ils une véritable compréhension des entités matérielles ou souffrent-ils d'hallucinations confiantes ?
• Quelle est la stabilité temporelle des modèles via API pour la reproductibilité scientifique ?

2. Méthodologie

Les auteurs ont mené une évaluation exhaustive impliquant 25 grands modèles de langage (modèles open-weights comme Llama, Mistral, et modèles propriétaires comme GPT) sur quatre tâches spécifiques à la science des matériaux, couvrant deux modalités de sortie distinctes :

• Tâches Symboliques (Classification/Prédiction de liens) :
  • Prédiction de liens dans un graphe de connaissances (MatKG) : Complétion de triples (Sujet, Relation, Objet) reformulés en questions-réponses.
  • Classification des systèmes cristallins : Attribution d'un composé chimique à l'un des sept systèmes cristallins.
• Tâches Numériques (Régression) :
  • Prédiction de la bande interdite (Bandgap).
  • Prédiction de la constante diélectrique.

Protocole expérimental :

• Comparaison : Évaluation des modèles de base (base models) vs. modèles fine-tunés (plus de 200 configurations).
• Métriques de fiabilité : Calcul de l'entropie de réponse sur 10 inférences indépendantes pour quantifier la consistance des sorties.
• Analyse des mécanismes :
  • Sondage par couches (Layer-wise probing) : Extraction des embeddings des couches intermédiaires des transformateurs pour prédire les propriétés, afin de détecter un éventuel « goulot d'étranglement » de la tête de génération de texte.
  • Étude longitudinale : Suivi de la performance des modèles GPT sur une période de 18 mois pour évaluer la dérive temporelle.

3. Contributions Clés et Résultats

A. La modalité de sortie détermine le comportement du modèle
L'étude révèle une asymétrie fondamentale dans la façon dont les LLM échouent ou s'améliorent :

• Tâches Symboliques : Les modèles de base affichent une faible précision et une entropie élevée (réponses incohérentes). Le fine-tuning réduit drastiquement l'entropie (jusqu'à 99 %) tout en augmentant la précision, indiquant que le modèle apprend à converger vers des réponses vérifiables.
• Tâches Numériques : Les modèles de base présentent une faible entropie malgré une mauvaise précision (hallucinations confiantes). Ils génèrent des nombres précis et cohérents qui sont incorrects. Le fine-tuning améliore la précision (RMSE réduit), mais ne résout pas nécessairement cette « fausse confiance », rendant l'entropie de réponse peu fiable comme indicateur d'incertitude pour les tâches numériques.

B. Le « Goulot d'étranglement de la tête LLM » (LLM Head Bottleneck)
L'analyse par sondage des couches intermédiaires révèle que les modèles contiennent souvent plus d'information prédictive dans leurs représentations internes que ce qu'ils peuvent exprimer via la génération de texte :

• Pour la bande interdite (Bandgap) : Les embeddings des couches intermédiaires permettent d'atteindre une performance égale ou supérieure à celle de la génération de texte fine-tunée. L'information est bien encodée mais mal verbalisée.
• Pour la constante diélectrique : Un écart de performance persiste (3x) entre les embeddings et la génération de texte, suggérant que la connaissance pour cette propriété spécifique n'est pas accessible via les embeddings standards ou dépend fortement des valeurs aberrantes (outliers).

C. Mécanismes d'apprentissage et transfert

• Représentations distributionnelles : Pour les tâches de graphes de connaissances, la performance dépend de la fréquence d'apparition d'une entité dans divers contextes d'entraînement. Le fine-tuning construit des représentations basées sur la co-occurrence statistique plutôt que sur une compréhension physique profonde.
• Transfert inter-tâches : Le transfert positif est observé entre les tâches numériques (bandgap $\leftrightarrow$ diélectrique), mais le transfert entre tâches symboliques et numériques est négligeable. Le fine-tuning confère une adaptation de domaine sans effacer les capacités générales (pas d'oubli catastrophique).

D. Instabilité temporelle et reproductibilité
Une étude longitudinale sur 18 mois des modèles GPT via API montre une variation de performance de 9 % à 43 % (notamment pour GPT-4o), même avec des prompts identiques. Des mises à jour silencieuses des endpoints ou des changements de quantification peuvent altérer radicalement les résultats en un jour, posant un défi majeur pour la reproductibilité scientifique.

4. Signification et Implications

• Fiabilité des prédictions : Les chercheurs doivent être extrêmement prudents avec les prédictions numériques des LLM. Une faible entropie (consistance) ne garantit pas la justesse d'un résultat numérique.
• Optimisation des coûts : Pour certaines propriétés (comme la bande interdite), l'extraction d'embeddings suivie d'une régression légère pourrait être plus efficace et précise que le fine-tuning complet et la génération de texte, évitant ainsi le « goulot d'étranglement » de la tête de langage.
• Reproductibilité : Pour les applications scientifiques à long terme (criblage à haut débit, soumissions réglementaires), l'utilisation de modèles open-weights avec des points de contrôle figés (frozen checkpoints) est préférable aux modèles via API sujets à des mises à jour non documentées.
• Nature des connaissances : Les LLM en science des matériaux fonctionnent davantage par association statistique de motifs distributionnels que par raisonnement physique déductif. Leur capacité à généraliser à des entités rares ou à des combinaisons inédites reste limitée.

En conclusion, ce travail fournit des directives pratiques pour le déploiement des LLM en informatique des matériaux tout en soulignant les limites fondamentales de leur représentation et de leur expression des connaissances scientifiques.