Scale-Dependent Input Representation and Confidence Estimation for LLMs in Materials Property Prediction

Cette étude démontre que les représentations d'entrée optimales pour la prédiction des propriétés des matériaux dépendent de l'échelle des grands modèles de langage, les formats compacts convenant aux modèles plus petits et les descriptions détaillées profitant aux plus grands, tout en établissant la vraisemblance négative moyenne comme une métrique de confiance efficace, sans entraînement, pour les modèles affinés.

L'essentiel

Imaginez que vous essayez d'enseigner à un ordinateur à deviner les propriétés d'un nouveau matériau, comme la quantité d'énergie nécessaire pour le construire ou sa capacité à conduire l'électricité. Ce papier est comme un guide pour deux « cerveaux » (modèles d'IA) de tailles différentes, leur indiquant comment mieux comprendre les instructions que vous leur donnez.

Voici l'histoire de ce que les chercheurs ont découvert, décomposée en concepts simples :

1. Les Deux Cerveaux : Un Tout-Petit vs Un Professeur

Les chercheurs ont testé deux versions d'une IA appelée « Llama » :

• Le Modèle 1B (Le Tout-Petit) : Un cerveau plus petit et plus simple.
• Le Modèle 8B (Le Professeur) : Un cerveau plus grand et plus complexe, possédant davantage de connaissances.

Ils voulaient voir si la taille du cerveau modifiait la façon dont il devait être enseigné. Ils ont fourni à ces modèles cinq façons différentes de décrire un matériau (comme un cristal) :

1. La Carte de Recette : Juste la liste des ingrédients (Composition Chimique).
2. La Une de Journal : Un court résumé incluant les ingrédients et la « forme » ou la symétrie du matériau (Résumé du Cristal).
3. La Visite Locale : Une description de la façon dont les atomes se « serrent » les uns contre les autres à proximité (Environnement Local).
4. Le Roman Complet : Une longue histoire détaillée décrivant toute la structure (Description Complète).
5. Les Plans : Un fichier brut et technique rempli de nombres et de coordonnées (CIF).

2. La Leçon « Court vs Long »

La plus grande découverte a été qu'une seule taille ne convient pas à tous.

• Pour le Tout-Petit (Modèle 1B) : Il se perdait dans les longues histoires. Quand on lui donnait le « Roman Complet » ou les « Plans » complexes, il trébuchait. Il fonctionnait mieux quand on lui donnait la Carte de Recette ou la Une de Journal. Il avait besoin de faits courts et percutants pour faire correctement le travail.
• Pour le Professeur (Modèle 8B) : Ce cerveau aimait les détails. Quand on lui donnait le Roman Complet, il s'en sortait mieux qu'avec les courts résumés. Il pouvait lire les descriptions longues et complexes et extraire les indices subtils dont il avait besoin pour faire une excellente prédiction. Cependant, même le Professeur avait un peu de mal avec les « Plans » bruts (les fichiers techniques), suggérant que le langage naturel (les mots) reste plus facile à comprendre pour ces cerveaux d'IA que le code brut.

La Règle d'Or : Si vous avez une petite IA, gardez vos instructions courtes. Si vous avez une grande IA, vous pouvez lui donner une histoire détaillée.

3. La Magie de la « Symétrie »

Un ingrédient spécifique dans les instructions s'est révélé être un super-pouvoir pour les deux, le Tout-Petit et le Professeur : la Symétrie.

Imaginez que vous avez deux formes différentes faites des mêmes briques Lego. Si vous ne dites à l'IA que « C'est fait de briques rouges et bleues », l'IA ne peut pas distinguer les formes. Mais si vous ajoutez la « Une de Journal » qui dit « C'est une forme carrée », l'IA sait soudainement faire la différence. Le papier a montré que l'inclusion d'informations sur la symétrie du matériau (sa forme/groupe) aidait les deux modèles à deviner les propriétés beaucoup plus précisément que la simple liste des ingrédients.

4. Le « Jauge de Confiance » (Comment savoir si l'IA devine)

La deuxième grande question était : Comment savons-nous si l'IA est confiante dans sa réponse, ou si elle invente simplement ?

Dans le monde de l'IA, il existe un nombre appelé NLL (Vraisemblance Négative Logarithmique). Considérez cela comme la « jauge de confiance » interne de l'IA.

• NLL Faible : L'IA est très sûre de sa réponse.
• NLL Élevé : L'IA est incertaine ou devine.

Le Problème :

• Avant l'Entraînement : Quand l'IA n'était qu'un modèle « de base » (pas encore enseigné sur les matériaux), cette jauge de confiance était cassée. Elle disait « Je suis super sûre ! » même quand elle avait complètement tort.
• Après l'Entraînement : Une fois qu'ils ont « affiné » (enseigné) les modèles en utilisant une méthode spéciale appelée LoRA, la jauge a commencé à fonctionner ! Ils ont trouvé un motif clair : Lorsque la jauge de confiance de l'IA était élevée (NLL faible), ses réponses étaient généralement correctes.

Cela signifie qu'après l'entraînement, vous pouvez regarder le score de confiance interne de l'IA pour décider s'il faut faire confiance à sa prédiction. Si le score est faible (forte incertitude), vous pouvez ignorer cette réponse et vous éviter une mauvaise prédiction.

5. Le Compromis : Vitesse vs Précision

Le papier a également noté un inconvénient pratique. Bien que ces modèles d'IA soient intelligents et flexibles, ils sont lents.

• Un programme informatique traditionnel et spécialisé (comme un réseau de neurones à graphes) pouvait vérifier 10 000 matériaux en environ une minute.
• Ces modèles d'IA ont pris plusieurs heures pour faire le même travail.

Résumé

Ce papier nous apprend que lorsqu'on utilise l'IA pour prédire les propriétés des matériaux :

1. Adaptez l'entrée au modèle : Ne donnez pas une longue histoire à une petite IA ; donnez-lui un résumé. Donnez à une grande IA l'histoire complète.
2. Incluez la symétrie : Dire à l'IA la forme du matériau l'aide à mieux deviner.
3. Entraînez d'abord, puis faites confiance : Vous devez enseigner à l'IA les matériaux avant de pouvoir faire confiance à sa « jauge de confiance ». Une fois entraînée, cette jauge est un excellent outil pour filtrer les mauvaises prédictions.

Les chercheurs n'ont pas affirmé que cela est prêt à remplacer immédiatement tous les outils actuels (en raison de la lenteur), mais ils ont montré qu'avec la bonne configuration, ces modèles d'IA flexibles peuvent être des outils très efficaces et conscients d'eux-mêmes pour les scientifiques.

Résumé technique

Résumé technique : Représentation d'entrée dépendante de l'échelle et estimation de la confiance pour les LLM dans la prédiction de propriétés des matériaux

Énoncé du problème

Bien que les modèles de langage de grande taille (LLM) soient de plus en plus appliqués à la science des matériaux pour des tâches telles que la prédiction de propriétés, deux défis critiques restent non résolus :

1. Représentation d'entrée vs. Échelle du modèle : Il est incertain comment la représentation d'entrée optimale (par exemple, composition chimique, descriptions en langage naturel ou fichiers structurés) dépend de l'échelle du LLM et de son état de fine-tuning. Les études antérieures utilisent des formats et des tailles de modèles divers, rendant la comparaison systématique difficile.
2. Estimation de la confiance : Il manque des méthodes fiables pour évaluer la confiance des prédictions de propriétés générées par les LLM. Les méthodes existantes de quantification de l'incertitude (UQ) pour les réseaux de neurones à graphes nécessitent souvent une surcharge de modélisation supplémentaire. Bien que les LLM fournissent naturellement des probabilités au niveau des jetons (NLL, négatif de la log-vraisemblance), leur applicabilité en tant que métrique de confiance pour la prédiction de propriétés numériques reste à vérifier.

Méthodologie

L'étude mène des expériences systématiques en utilisant l'ensemble de données LLM4Mat-Bench (dérivé du Materials Project), en se concentrant sur deux propriétés cibles : l'énergie de formation par atome et le gap de bande.

• Modèles : Deux modèles Llama d'échelles différentes ont été utilisés : Llama-3.2-1B-Instruct et Llama-3.1-8B-Instruct. Les deux ont été évalués dans leurs états de base (pré-entraînés uniquement) et de fine-tuning.
• Fine-tuning : Les modèles ont été affinés en utilisant l'adaptation à faible rang (LoRA) appliquée aux couches de projection de requête et de valeur (rang $r=32$, facteur d'échelle $\alpha=64$). L'entraînement a été effectué sur 6 époques avec un taux d'apprentissage de $1 \times 10^{-4}$.
• Représentations d'entrée : Cinq modalités d'entrée distinctes ont été construites pour chaque échantillon :
  1. Composition : Formule chimique uniquement.
  2. Résumé cristallin : La phrase principale d'une description en langage naturel (inclut la composition et le groupe d'espace).
  3. Environnement local : Le texte descriptif restant, excluant la phrase de résumé.
  4. Description complète : Le texte complet en langage naturel.
  5. CIF : Chaînes brutes de fichiers d'informations cristallographiques.
• Métriques d'évaluation :
  • Précision : Erreur absolue moyenne (MAE) et erreur quadratique moyenne (RMSE) entre les valeurs prédites et les valeurs réelles.
  • Confiance : Le Négatif de la Log-Vraisemblance Moyenne (Mean NLL) des jetons correspondant aux valeurs numériques prédites. Plus précisément, l'étude se concentre sur la partie entière de la chaîne numérique pour éviter le bruit provenant de la tokenisation des chiffres fractionnaires.
  • Filtrage : Une stratégie de « filtrage par NLL » a été testée, où les prédictions avec un Mean NLL supérieur à un certain seuil sont rejetées pour améliorer la fiabilité de l'ensemble restant.

Résultats clés

1. Représentation d'entrée dépendante de l'échelle

La représentation d'entrée optimale dépend fortement de l'échelle du modèle :

• Modèle 1B (Petite échelle) : Performe mieux avec des représentations compactes (Composition et Résumé cristallin). À mesure que la longueur et la complexité de l'entrée augmentent (par exemple, Description complète, Environnement local), l'erreur absolue moyenne (MAE) augmente et l'instabilité de l'entraînement (variance entre les graines) s'accroît. Le modèle 1B peine à mapper des textes longs ou des données CIF structurées vers des propriétés physiques précises.
• Modèle 8B (Grande échelle) : Démontre une robustesse face aux entrées détaillées. Pour l'énergie de formation, le modèle 8B atteint son MAE le plus faible avec la Description complète, exploitant sa compréhension du langage naturel pré-entraînée pour extraire des caractéristiques structurelles nuancées.
• Information de symétrie : À travers les deux échelles de modèles, le Résumé cristallin (qui inclut les informations sur le groupe d'espace) surpasse systématiquement les entrées basées uniquement sur la composition. Cela indique que les descripteurs de symétrie agissent comme des caractéristiques robustes qui aident à distinguer les polymorphes et activent les connaissances cristallographiques intégrées dans le LLM.
• Performance CIF : Bien que le modèle 8B puisse interpréter les données CIF, les descriptions en langage naturel produisent généralement une meilleure précision, suggérant que les représentations internes des LLM sont plus alignées avec le langage naturel qu'avec les données de coordonnées brutes.

2. Estimation de la confiance via le Mean NLL

• Modèles de base : Aucune corrélation claire n'existe entre le Mean NLL et l'erreur de prédiction. De grandes erreurs se produisent même à de faibles valeurs de NLL, indiquant que les probabilités pré-entraînées reflètent des biais plutôt que des relations de propriétés des matériaux.
• Modèles affinés : Une tendance cohérente émerge où un Mean NLL plus faible correspond à des erreurs de prédiction plus petites. Cette corrélation s'applique à différentes échelles de modèles et représentations d'entrée.
• Filtrage par NLL : En appliquant un seuil au Mean NLL (rejetant les prédictions à NLL élevé), le MAE des prédictions conservées diminue considérablement par rapport à la ligne de base. Cela démontre que le Mean NLL sert d'indicateur de confiance pratique, sans entraînement supplémentaire, pour les modèles affinés.
• Portée des jetons : L'étude a révélé que restreindre le calcul du NLL à la partie entière de la valeur numérique est plus fiable que d'inclure les chiffres fractionnaires, car ces derniers introduisent du bruit dû à l'ambiguïté de la tokenisation.

Contributions clés

1. Analyse systématique de l'échelle et de la représentation : L'étude établit que la conception de l'entrée doit être adaptée à la capacité du modèle. Les entrées compactes sont optimales pour les modèles plus petits (1B), tandis que les modèles plus grands (8B) bénéficient de descriptions détaillées en langage naturel.
2. Validation des caractéristiques de symétrie : Il démontre que l'inclusion d'informations sur le groupe d'espace dans les résumés d'entrée est un facteur critique pour améliorer la précision de la prédiction à travers les échelles de modèles.
3. Indicateur de confiance pour les LLM : L'article fournit des preuves que le Mean NLL des jetons numériques peut servir de métrique de confiance efficace pour la prédiction de propriétés des matériaux, mais uniquement après un fine-tuning spécifique à la tâche. Cela offre une alternative efficace en termes de calcul aux méthodes UQ complexes.

Importance et limites

Les auteurs affirment que ces résultats fournissent des orientations pratiques pour concevoir des représentations d'entrée et évaluer la fiabilité des prédictions en informatique des matériaux basée sur les LLM. La capacité à filtrer les prédictions en fonction des scores de confiance internes (Mean NLL) permet un déploiement plus fiable sans surcharge d'entraînement supplémentaire.

Limites reconnues par les auteurs :

• Portée des modèles : L'analyse est limitée aux modèles 1B et 8B ; la généralisation à des échelles plus grandes (par exemple, 70B) nécessite des investigations supplémentaires.
• Portée des propriétés : Les résultats sont spécifiques à l'énergie de formation et au gap de bande ; d'autres propriétés peuvent se comporter différemment.
• Coût computationnel : L'inférence LLM est significativement plus lente (heures contre secondes pour les GNN comme CGCNN) et nécessite une mémoire GPU substantielle, limitant l'évolutivité immédiate pour le criblage à haut débit par rapport aux modèles spécialisés.
• Spécificité de l'architecture : Les résultats sont spécifiques à la série Llama 3 ; une validation sur d'autres architectures est nécessaire.
• Nature exploratoire : Le seuillage de la confiance est basé sur des observations de l'ensemble de test ; le déploiement pratique nécessite la sélection d'un seuil sur un ensemble de validation retenu.

L'étude conclut que, bien que les LLM ne surpassent peut-être pas encore les réseaux de neurones à graphes (GNN) spécialisés en précision brute pour des tâches spécifiques, leur flexibilité dans la conception de l'entrée et leur potentiel d'application multi-tâches sans architectures spécifiques à la tâche représentent des avantages pratiques significatifs.