LLMs Can Tackle High Energy Theoretical Physics, yet Gaps Remain: Part I, Quantum Field Theory

L'univers, à son plus petite échelle, n'est pas une collection de petites billes solides, mais une tapisserie complexe de champs qui s'étendent à travers tout l'espace et le temps. Pour comprendre comment des particules comme les électrons ou les quarks interagissent, les physiciens utilisent un cadre appelé la théorie quantique des champs. C'est le langage mathématique qui décrit le Modèle Standard, notre meilleure carte actuelle des constituants fondamentaux de la nature. Cependant, travailler avec ce langage est notoirement difficile. Cela nécessite de naviguer dans de longues chaînes de logique où une seule petite erreur de calcul peut complètement changer le résultat final. Pendant des décades, la résolution de ces problèmes a été le domaine exclusif d'experts humains hautement qualifiés, qui passent des années à maîtriser les règles complexes du jeu.

Récemment, un nouveau type d'outil est apparu : les grands modèles de langage. Ce sont des systèmes d'intelligence artificielle entraînés sur de vastes quantités de texte, capables de lire, d'écrire et de raisonner. Ils ont déjà montré qu'ils pouvaient résoudre des problèmes mathématiques complexes et écrire du code informatique, souvent avec une vitesse et une précision qui rivalisent avec celles des experts humains. Cela soulève une question fascinante : ces modèles peuvent-ils faire la même chose pour le raisonnement profond et abstrait requis par la physique théorique ? Peuvent-ils naviguer dans les eaux périlleuses de la théorie quantique des champs, ou ne font-ils que mimer l'apparence de la compréhension sans la substance ?

Pour trouver la réponse, une équipe de chercheurs issus d'institutions d'Europe et d'Asie a créé un nouveau test spécifiquement conçu à cet effet. Ils ont élaboré une collection de soixante-quinze problèmes stimulants, allant de cours de niveau doctorat avancé à des sujets de recherche préliminaires. Ces questions couvrent les domaines fondamentaux du champ, du comportement de la lumière et de la matière aux théories exotiques qui tentent d'unifier toutes les forces. Crucialement, chaque question de ce test possède une réponse unique et correcte qui peut être vérifiée avec une précision mathématique. Les chercheurs ont ensuite demandé à trente-neuf modèles d'intelligence artificielle différents de résoudre ces problèmes. Ces modèles comprenaient les systèmes les plus puissants disponibles auprès des grandes entreprises technologiques, ainsi que plusieurs alternatives en code source développées par la communauté de recherche.

Les résultats révèlent un paysage composé à la fois de capacités remarquables et de limites persistantes. Les modèles les plus forts, les systèmes les plus avancés actuellement existants, ont démontré un niveau de compétence surprenant. Ils ont résolu la vaste majorité des problèmes correctement, les meilleurs performeurs atteignant des taux de précision supérieurs à quatre-vingt-quinze pour cent. Cela suggère que ces systèmes ont effectivement appris à naviguer dans les règles complexes de la théorie quantique des champs et peuvent effectuer le travail lourd de dérivation qui nécessitait autrefois des années d'études humaines. Cependant, l'écart entre les meilleurs et les autres est significatif. Les modèles plus anciens, et beaucoup de systèmes en code source, ont considérablement lutté, échouant souvent au niveau des concepts physiques de base ou se perdant dans les détails de la dérivation.

Mais obtenir la bonne réponse n'est que la moitié de l'histoire. Les chercheurs ont également examiné de près la manière dont les modèles sont arrivés à leurs conclusions, en analysant le raisonnement étape par étape qu'ils fournissaient. Ils ont découvert une faille subtile mais importante : même lorsqu'un modèle produisait la réponse finale correcte, le chemin qu'il décrivait pour y parvenir était parfois erroné. Dans certains cas, le modèle commettait une erreur dans une étape intermédiaire, mais parvenait tout de même à la réponse correcte, comme s'il avait mémorisé la réponse de ses données d'entraînement plutôt que de la calculer de façon inédite. Cette « infidélité » signifie que l'explication du modèle ne soutient pas réellement la réponse qu'il a donnée. Bien que les modèles les plus capables aient montré le moins de ce comportement, il était toujours présent, indiquant que ces systèmes ne sont pas encore totalement fiables dans leur raisonnement.

L'étude a également mis en évidence des manières spécifiques dont ces modèles échouent. Parfois, ils confondent les règles du jeu, appliant une formule standard alors que le problème exigeait une variation spécifique et inhabituelle. D'autres fois, ils commettent simplement des erreurs d'arithmétique ou ne parviennent pas à suivre les instructions spécifiques données dans l'énoncé. Ces erreurs suggèrent que, bien que les modèles aient appris la forme générale du sujet, ils n'ont pas encore maîtrisé la discipline rigoureuse requise pour éviter les erreurs petites mais fatales. La recherche confirme que l'intelligence artificielle commence à s'attaquer à des problèmes qui étaient autrefois le domaine exclusif des physiciens théoriciens, mais elle montre aussi que nous ne sommes pas encore au point où ces outils peuvent être pleinement confiés à un travail autonome. Le voyage vers une intelligence artificielle capable de véritablement découvrir une nouvelle physique est en cours, mais il reste encore des écarts clairs à combler avant que ces systèmes ne puissent être considérés comme de véritables partenaires de la découverte scientifique.