🧬 biology

Transformers Discover Molecular Structure Without Graph Priors

Cet article démontre que les modèles Transformer à usage général, lorsqu'ils sont entraînés sans priors physiques explicites basés sur les graphes, peuvent découvrir de manière autonome des structures moléculaires clés et des motifs d'interaction à partir des seules données, atteignant une précision compétitive avec les architectures informées par la physique et suggérant que de tels biais inductifs peuvent être appris plutôt que strictement nécessaires.

Auteurs originaux : Tobias Kreiman, Yutong Bai, Fadi Atieh, Elizabeth Weaver, Eric Qu, Aditi S. Krishnapriyan

Publié 2026-09-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tobias Kreiman, Yutong Bai, Fadi Atieh, Elizabeth Weaver, Eric Qu, Aditi S. Krishnapriyan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète

Les scientifiques s'appuient depuis longtemps sur les simulations informatiques pour comprendre le fonctionnement du monde physique, de la manière dont les atomes se lient pour former des molécules à la façon dont les matériaux réagissent sous la contrainte. Traditionnellement, ces simulations sont construites en codant à la main les lois connues de la physique directement dans le logiciel. Cette approche garantit que les résultats sont cohérents, mais elle est souvent lente et coûteuse. Ces dernières années, une méthode différente a émergé : utiliser l'apprentissage automatique pour trouver des motifs dans les données plutôt que de suivre des règles pré-écrites. Bien que cette approche axée sur les données ait révolutionné des domaines comme la reconnaissance du langage et des images, son application à la physique a été prudente. De nombreux experts pensaient que sans enseigner explicitement à un ordinateur les règles de la géométrie et de la force, celui-ci échouerait à comprendre la danse complexe des atomes. La vue dominante était qu'un modèle d'apprentissage automatique avait besoin d'une carte intégrée de la manière dont les atomes interagissent pour produire des résultats fiables.

Une équipe de chercheurs de l'Université de Californie à Berkeley et du Laboratoire national de Berkeley s'est donné pour mission de tester les limites de cette hypothèse. Ils ont posé une question fondamentale : si vous donnez à un modèle informatique puissant une quantité massive de données sur les molécules, mais que vous lui interdisez d'utiliser des règles de physique pré-programmées, peut-il quand même comprendre par lui-même comment le monde physique fonctionne ? Pour trouver la réponse, ils ont entraîné un type d'intelligence artificielle connu sous le nom de Transformer sur un vaste ensemble de données de structures moléculaires. Cet ensemble de données, appelé OMol25, contient des millions d'exemples d'atomes disposés en diverses configurations, ainsi que l'énergie et les forces associées à chaque arrangement. Crucialement, les chercheurs n'ont donné au modèle aucune instruction spéciale sur la manière dont les atomes devraient se comporter, et ils ne l'ont pas forcé à regarder les atomes dans un ordre géométrique spécifique. Ils lui ont simplement fourni des coordonnées brutes et l'ont laissé apprendre.

Les résultats furent frappants. Le modèle, qui partait sans aucune connaissance de la physique, a découvert de manière autonome les motifs mêmes que les scientifiques tentaient de coder à la main depuis des décennies. À mesure que le modèle traitait les données, il apprenait à attribuer différents niveaux d'importance aux relations entre les atomes en fonction de leur distance les uns des autres. Dans les premières étapes de son apprentissage, le modèle se concentrait intensément sur les atomes proches, son attention chutant brutalement à mesure que la distance augmentait. Ce comportement reflétait la manière dont les forces physiques, telles que la répulsion électrostatique, s'affaiblissent rapidement sur de courtes distances. À mesure que le modèle devenait plus profond et plus complexe, il déplaçait son attention pour inclure des interactions à plus longue portée, apprenant finalement un motif qui correspondait à la façon dont l'énergie décroît avec la distance en physique classique. Remarquablement, le modèle a même trouvé une limite naturelle à la distance jusqu'à laquelle il devait observer l'environnement d'un atome, une distance de coupure qui s'alignait parfaitement avec les valeurs que les experts humains avaient sélectionnées manuellement pour les modèles traditionnels.

Les chercheurs ont également observé que le modèle n'était pas rigide dans son approche. Au lieu d'utiliser une règle fixe pour déterminer la distance à laquelle regarder autour d'un atome, il adaptait son comportement en fonction de la densité de l'espace environnant. Dans les zones encombrées où les atomes étaient serrés les uns contre les autres, le modèle se concentrait sur les voisins immédiats. Dans les zones éparses où les atomes étaient isolés, il élargissait son champ de vision pour inclure des partenaires distants. Cette flexibilité permettait au modèle de gérer plus efficacement différents environnements moléculaires qu'un système rigide et pré-programmé. De plus, le modèle a appris à organiser les éléments chimiques d'une manière qui reflète le tableau périodique, regroupant les gaz nobles ensemble et ordonnant les métaux par familles chimiques, sans jamais avoir été informé de l'existence d'un tableau périodique.

Pour s'assurer que ces découvertes n'étaient pas seulement un coup de chance lié à ce jeu de données spécifique, l'équipe a testé la capacité de mise à l'échelle du modèle. Ils ont constaté qu'en augmentant la quantité de données et la taille du modèle, ses performances s'amélioraient de manière prévisible et constante. Ce comportement, connu sous le nom de loi d'échelle, est une caractéristique des systèmes d'apprentissage automatique puissants et suggère que la compréhension de la physique par le modèle était authentique et robuste. Lors de tests où le modèle devait prédire l'énergie de molécules d'eau, il a produit des résultats qui correspondaient à la fois aux simulations de physique de haut niveau et aux mesures expérimentales réelles. Plus surprenant encore, lorsque les chercheurs ont entraîné une version très large du modèle, celui-ci a atteint une précision comparable aux modèles spécialisés qui sont explicitement conçus avec des lois physiques intégrées dans leur architecture.

Ces découvertes suggèrent que la frontière entre les règles conçues par l'homme et les connaissances acquises est plus fluide qu'on ne le pensait auparavant. L'étude indique qu'avec suffisamment de données, des modèles d'apprentissage automatique à usage général peuvent découvrir les principes fondamentaux de l'interaction physique par eux-mêmes. Cela ne signifie pas que les modèles conçus par l'homme sont obsolètes ; cela suggère plutôt que les architectures à usage général peuvent servir de point de départ solide pour la modélisation scientifique. En s'appuyant sur les données pour révéler la structure, les scientifiques pourraient être en mesure de découvrir des solutions flexibles difficiles à anticiper ou difficiles à écrire à l'avance. Ce travail ouvre une nouvelle voie pour la découverte scientifique, où l'ordinateur n'est pas seulement une calculatrice suivant des instructions, mais un apprenant capable de trouver les règles de l'univers au sein même des données.

Résumé Technique : Les Transformers découvrent la structure moléculaire sans a priori physiques

Énoncé du problème
La modélisation computationnelle est essentielle pour l'étude des systèmes physiques, pourtant les méthodes traditionnelles ab initio sont souvent prohibitives en termes de coût pour les systèmes à grande échelle. L'apprentissage automatique (ML) est apparu comme une alternative rentable, mais son application dans les sciences physiques repose généralement sur l'intégration d'un biais inductif physique fort (par exemple, la localité géométrique, les structures de graphes et des symétries spécifiques) directement dans les architectures de modèles. Cela soulève une question fondamentale : dans quelle mesure les lois physiques doivent-elles être explicitement encodées, et dans quelle mesure peuvent-elles être découvertes de manière autonome à partir des données seules ? Bien que les architectures agnostiques au domaine comme les Transformers aient révolutionné le langage et la vision, leur adoption dans la modélisation atomistique a été limitée par l'hypothèse qu'ils ne pourraient pas récupérer des interactions physiques complexes sans guidage géométrique explicite, particulièrement compte tenu de l'historique de jeux de données scientifiques plus restreints.

Méthodologie
Les auteurs étudient si une architecture Transformer standard, non modifiée, peut récupérer des structures physiques fondamentales lorsqu'elle est entraînée uniquement sur des données atomistiques, sans aucun a priori spécifique au domaine tels que des graphes d'interaction ou des potentiels de paires définis manuellement.

Architecture du modèle : L'étude utilise un Transformer sans graphe qui prend en entrée des coordonnées cartésiennes brutes, des types atomiques et des jetons globaux (charge, spin) pour prédire les énergies moléculaires et les forces par atome. Le mécanisme central est l'opération d'auto-attention, où les scores d'attention ( $XW_Q(XW_K)^T$ ) servent de proxy pour les forces d'interaction interatomiques apprises.
Jeu de données : Le jeu de données principal est OMol25 (Open Molecules 2025), un ensemble massif couvrant diverses structures chimiques (biomolécules, complexes métalliques, électrolytes) avec des étiquettes d'énergie et de force calculées au niveau de théorie $\omega$ B97M-V/def2-TZVPD.
Pipeline d'entraînement : Le modèle emploie un processus d'entraînement en deux étapes : un pré-entraînement sur une version discrétisée des cibles suivi d'un ajustement fin (fine-tuning) sur des valeurs continues.
Techniques d'analyse :
- Analyse de l'attention : Les auteurs analysent les scores d'attention en fonction de la distance interatomique pour déterminer si le modèle apprend des motifs de décroissance cohérents avec les lois physiques (par exemple, l'électrostatique).
- Découpes adaptatives : Ils définissent un « rayon d'interaction effectif » appris ( $R_i$ ) pour chaque atome, basé sur la distance requise pour capturer 90 % de son attention totale, en le comparant à la parcimonie locale et à des proxys physiques (matrice densité et proxys de monopôles électrostatiques).
- Lois d'échelle : L'étude réalise une analyse de mise à l'échelle neuronale en entraînant des modèles de tailles variables (5M à 306M de paramètres, et jusqu'à 1B en pré-entraînement) sur différents nombres d'époques pour vérifier si les performances suivent des relations de loi de puissance prévisibles avec le calcul et les données.
- Expériences synthétiques : Pour isoler les mécanismes d'apprentissage, les auteurs génèrent des jeux de données synthétiques avec des étiquettes d'énergie définies par de simples potentiels de paires ( $E(r) \propto 1/r^\alpha$ ) pour tester si le modèle peut récupérer l'exposant $\alpha$ spécifique.

Résultats clés

Récupération autonome de la structure physique : Le Transformer apprend de manière autonome des forces d'interaction qui reflètent la physique classique. Dans les premières couches, l'attention décroît rapidement avec la distance ( $\sim 1/r^2$ ), ce qui est cohérent avec les forces électrostatiques. Dans les couches plus profondes, la décroissance devient plus graduelle ( $\sim 1/r$ ), s'alignant sur l'échelle de l'énergie électrostatique.
Motifs d'interaction adaptatifs : Contrairement aux réseaux de neurones sur graphes (GNN) qui utilisent des rayons de coupure fixes, le Transformer apprend des rayons d'interaction effectifs adaptatifs. Dans les environnements parsemés, le modèle étend son champ récepteur pour capturer les interactions à longue portée, tandis que dans les régions denses, il se concentre sur les interactions locales. Ce rayon de coupure appris s'aligne sur les valeurs typiquement choisies manuellement dans les modèles informés par la physique.
Mise à l'échelle prévisible : Le modèle présente un comportement de loi d'échelle neuronale prévisible. Les performances s'améliorent de manière constante avec l'augmentation des données et du calcul, suivant des relations de loi de puissance similaires à celles observées dans d'autres domaines du ML. Les auteurs ont réussi à prédire la performance d'un modèle de 306M de paramètres en utilisant des lois d'échelle dérivées de modèles plus petits.
Récupération de données synthétiques : Sur des jeux de données synthétiques avec des potentiels $1/r^\alpha$ connus, les exposants d'attention appris par le modèle sont fortement corrélés à la vérité terrain ( $R^2 = 0,98$ ). À mesure que les données et la taille du modèle augmentent, l'exposant appris s'approche de plus en plus de l'exposant physique réel sous-jacent.
Compréhension chimique et intermoléculaire : Le modèle apprend des plongements d'éléments (embeddings) chimiquement significatifs qui reflètent le tableau périodique (par exemple, le regroupement des gaz nobles, l'ordonnancement des métaux alcalins). De plus, il reproduit avec précision les courbes d'énergie d'interaction intermoléculaire des dimères d'eau, correspondant aux données DFT et expérimentales, et évite les artefacts de troncature abrupte communs aux modèles à coupure fixe.
Précision compétitive : Un Transformer de 1B de paramètres, entraîné avec un budget de calcul équivalent à celui d'un GNN informé par la physique, atteint une précision compétitive sur les tâches de prédiction d'énergie et de force, même sur des compositions moléculaires hors distribution.

Signification et affirmations
L'article soutient que les architectures à usage général, spécifiquement les Transformers, peuvent servir de bases de référence rigoureuses pour la modélisation scientifique. Les résultats suggèrent que de nombreux biais inductifs physiques — traditionnellement considérés comme nécessaires à l'encodage dans les architectures de modèles — sont apprenables directement à partir des données lorsque la quantité de données et de calcul est suffisante.

Les auteurs affirment que ce travail clarifie la frontière entre le biais inductif ingénieré et la structure physique apprenable. Ils postulent que les a priori explicites ne devraient être introduits que lorsqu'ils sont empiriquement nécessaires, plutôt que comme une exigence par défaut. En démontant qu'un modèle agnostique au domaine peut récupérer des motifs physiques complexes (tels que les rayons de coupure adaptatifs et l'échelle électrostatique) et évoluer de manière prévisible, l'étude soutient le transfert d'enseignements de la littérature plus large du deep learning vers la communauté de la modélisation atomistique, permettant potentiellement des modèles scientifiques plus flexibles et généralisables.

Résumé Technique : Les Transformers découvrent la structure moléculaire sans a priori physiques

Articles similaires