📊 statistics

DiscoverPhysics: Benchmarking LLMs for Out-of-the-Box Scientific Thinking

L'article présente DiscoverPhysics, un benchmark interactif comportant 22 mondes simulés dotés de physiques non standard pour évaluer la capacité des modèles de langage de pointe à s'engager dans un raisonnement scientifique à long horizon en concevant des expériences et en inférant les lois sous-jacentes, révélant que si les meilleurs modèles montrent des signes prometteurs, ils peinent toujours à découvrir des structures latentes et que la précision prédictive ne garantit pas la compréhension conceptuelle.

Auteurs originaux : Matt L. Wiemann, Lindsay M. Smith, Peter Melchior, Siddharth Mishra-Sharma, Andrew Gordon Wilson, Pavel Izmailov, Carolina Cuesta-Lázaro

Publié 2026-05-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Matt L. Wiemann, Lindsay M. Smith, Peter Melchior, Siddharth Mishra-Sharma, Andrew Gordon Wilson, Pavel Izmailov, Carolina Cuesta-Lázaro

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Idée : L'IA peut-elle être un vrai scientifique ?

Imaginez que vous plongiez une IA intelligente dans un univers de jeu vidéo où les règles de la physique sont totalement inventées. Peut-être que la gravité s'affaiblit à mesure que vous vous éloignez, ou peut-être existe-t-il des particules « fantômes » invisibles qui attirent les objets sans que vous puissiez les voir.

Les chercheurs derrière ce papier voulaient savoir : Une IA peut-elle découvrir les règles de cet univers factice simplement en y jouant ?

Ils ont créé un test appelé DiscoverPhysics. C'est comme un « examen final » pour l'IA, mais au lieu de lui demander de réciter des faits tirés d'un manuel (comme « Quelle est la deuxième loi de Newton ?»), ils demandent à l'IA de créer la loi à partir de zéro.

Comment fonctionne le test : Le jeu de la « Boîte Noire »

Imaginez l'IA comme un détective et l'univers comme une pièce fermée à clé contenant un mystère.

Le Début : L'IA est plongée dans un monde simulé. Elle ne peut pas voir le « code source » (les véritables règles mathématiques). Elle ne voit que des particules en mouvement.
L'Outil : L'IA possède une « baguette magique » (un simulateur N-corps). Elle peut dire : « Je veux lancer une particule d'ici avec cette vitesse », et le simulateur lui indique où la particule finira par atterrir.
Le Processus :
- L'IA lance quelques particules et les observe.
- Elle émet une hypothèse : « Peut-être que la gravité fonctionne comme $1/r^2$ ? »
- Elle teste cette hypothèse. Si les particules ne bougent pas comme prévu par l'hypothèse, l'IA doit changer d'avis.
- Elle répète cela sur de nombreux tours, concevant des expériences plus intelligentes pour surprendre l'IA.
L'Examen Final : L'IA doit soumettre deux choses :
- Une Histoire : Une explication en anglais simple de la façon dont le monde fonctionne.
- Le Code : Un programme Python capable de prédire exactement où n'importe quelle particule ira.

Les Deux Façons de Noter l'IA

Les chercheurs ont réalisé que simplement obtenir les mathématiques correctes ne suffit pas. En science réelle, il faut comprendre pourquoi les choses se produisent, pas seulement les prédire. Ainsi, ils ont noté l'IA sur deux aspects :

Le Score « Boule de Cristal » (Précision Prédictive) : Le code de l'IA prédit-il où les particules atterriront ? Si l'IA dit « La balle sera ici » et qu'elle atterrit là, elle gagne des points.
Le Score « Professeur » (Compréhension Conceptuelle) : Un expert humain (et une seconde IA agissant comme professeur) lit l'histoire de l'IA. L'IA a-t-elle réellement compris les règles cachées ?
- Exemple : Si le monde contient de la « matière noire » invisible qui attire les choses, mais que l'IA dit simplement « La gravité est plus forte que d'habitude », elle obtient une mauvaise note. Elle a obtenu les mathématiques correctes par hasard, mais elle a manqué le concept.

Ce qu'ils ont Découvert

Ils ont testé 11 des modèles d'IA les plus intelligents disponibles (y compris les meilleurs modèles d'OpenAI, d'Anthropic et des communautés open-source). Voici ce qui s'est passé :

1. Les IA les plus « Intelligentes » Ont Toujours des Difficultés
Même les meilleures IA ne réussissent qu'environ 50 % des univers. Elles sont excellentes pour mémoriser des faits, mais lorsqu'elles doivent découvrir de nouvelles règles, elles restent bloquées.

2. Le Problème du « Piège Caché »
Les IA échouent le plus souvent lorsque l'univers possède des structures cachées.

Analogie : Imaginez que vous essayez de comprendre pourquoi une voiture ralentit. Si vous ne regardez que le moteur, vous pourriez deviner que les freins sont défectueux. Mais s'il y a un aimant géant sous la route (de la matière noire cachée) qui tire la voiture en arrière, vous ne trouverez pas la réponse à moins de chercher l'aimant.
Les IA continuaient d'essayer d'expliquer le mouvement avec des règles standard (comme la gravité normale) et refusaient de croire qu'il y avait des « particules fantômes » ou des dimensions supplémentaires impliquées.

3. Bonnes Mathématiques ≠ Bonne Compréhension
Un modèle (GPT-5.5) était incroyable pour prédire où les particules atterriraient (faible erreur), mais son explication du pourquoi était souvent erronée. C'était comme un étudiant qui a mémorisé la clé des réponses mais qui ne comprenait pas la leçon.
Un autre modèle (Claude Opus) était meilleur pour comprendre les concepts (comme réaliser que le temps modifiait les règles), même si ses prédictions mathématiques étaient légèrement moins parfaites.

4. L'Écart entre « Deviner » et « Expérimenter »
Les chercheurs ont testé si les IA concevaient réellement de bonnes expériences ou si elles lançaient simplement des fléchettes au hasard sur une cible.

Mode Guidé : L'IA choisit où lancer les particules.
Mode Aléatoire : L'ordinateur lance les particules au hasard, et l'IA observe simplement.
Résultat : Les meilleures IA ont beaucoup mieux réussi lorsqu'elles pouvaient choisir leurs propres expériences. Elles ont appris à poser les bonnes questions. Cependant, de nombreux modèles open-source ont obtenu des résultats tout aussi médiocres dans les deux modes, suggérant qu'ils ne « réfléchissaient » pas vraiment à leurs expériences ; ils devinaient simplement.

Le Verdict

Le papier conclut que si l'IA devient très bonne pour résoudre des problèmes de physique, elle apprend encore comment faire de la physique.

IA Actuelle : Comme un étudiant brillant qui peut résoudre un problème de mathématiques si vous lui donnez la formule, mais qui peine si vous lui demandez d'inventer la formule à partir de quelques observations désordonnées.
Le Futur : Pour devenir un véritable partenaire scientifique, l'IA doit s'améliorer dans le « raisonnement à long terme » — la capacité de dire : « Ma théorie actuelle est fausse, je dois essayer un type d'expérience complètement différent pour trouver la vérité cachée. »

En bref : L'IA peut prédire l'avenir, mais elle a encore besoin d'aide pour comprendre le pourquoi derrière le mystère.

Résumé Technique : DiscoverPhysics

Énoncé du Problème

Bien que les modèles de langage de pointe (LLMs) démontrent de solides performances sur des benchmarks statiques de connaissances scientifiques (par exemple, GPQA) et de tâches de raisonnement, leur capacité à réaliser une véritable découverte scientifique reste à prouver. Les évaluations existantes reposent souvent sur des faits mémorisés, une régression symbolique sur des jeux de données fixes, ou des tâches interactives où les lois physiques sous-jacentes sont canoniques avec uniquement des paramètres décalés. Ces approches échouent à tester le cœur de la découverte scientifique : la capacité à générer de nouvelles hypothèses, concevoir des expériences informatives pour distinguer des théories concurrentes, et réviser des modèles conceptuels basés sur des observations bruitées. Plus précisément, les benchmarks actuels ne sondent pas adéquatement si les agents peuvent révéler des structures latentes (telles que des espèces de particules cachées ou des dimensions supplémentaires) ou distinguer le signal du bruit dans des environnements physiques non canoniques.

Méthodologie

Les auteurs introduisent DISCOVERPHYSICS, un benchmark interactif conçu pour évaluer les agents LLM sur la découverte de lois physiques dans des mondes simulés qui s'écartent délibérément de la physique standard des manuels.

Structure du Benchmark

Mondes Simulés : Le benchmark comprend 22 mondes distincts (11 publics, 11 privés) régis par des lois de force non canoniques. Les exemples incluent la gravité écrantée (Yukawa) et à puissance fractionnaire, des couplages multi-espèces, des particules cachées de type matière noire, une physique non indépendante des coordonnées, des interactions variant dans le temps, et des dimensions supplémentaires.
Interaction de l'Agent : Un agent LLM a pour tâche de découvrir la loi cachée d'un monde spécifique. L'agent opère dans un budget fixe de rounds d'expérimentation ( $n$ ).
La Boucle :
1. Proposition d'Expérience : L'agent propose des particules de test définies par leurs positions initiales, vitesses, charges et temps de mesure.
2. Simulation : Un simulateur à $N$ corps (utilisant des intégrateurs comme Yoshida4 ou RK4) génère des données de trajectoire brutes basées sur la loi de vérité terrain cachée.
3. Raffinement de l'Hypothèse : L'agent analyse les données de trajectoire retournées, propose des lois candidates, et utilise optionnellement un outil pour ajuster les paramètres via scipy.optimize.
4. Itération : Ce cycle se répète jusqu'à épuisement du budget.
Sortie Finale : L'agent doit soumettre deux éléments :
1. Une explication en langage naturel de la physique du monde.
2. Une implémentation Python de la loi inférée (une fonction pour faire évoluer les particules).

Métriques d'Évaluation

Le benchmark emploie un cadre d'évaluation à double axe pour évaluer à la fois la précision prédictive et la compréhension conceptuelle :

MSE de Trajectoire : La distance euclidienne moyenne quadratique entre les trajectoires prédites par l'agent et les trajectoires de vérité terrain sur des particules de test retenues (sans bruit). Cela mesure la précision prédictive.
Score d'Explication : Un juge LLM (Claude Opus 4) évalue l'explication en langage naturel de l'agent par rapport à une grille d'évaluation humaine (notée 0–10). Cela mesure la compréhension conceptuelle et la capacité à identifier des caractéristiques structurelles (par exemple, l'écrantage, les espèces cachées).
Critères de Réussite : Un monde est considéré comme "réussi" si le MSE de trajectoire normalisé est inférieur à 0,1 (erreur de 10 %) et si le score d'explication est $\ge 0,9$ .

Configuration Expérimentale

Les auteurs ont évalué 11 LLMs de pointe et open-source (incluant des modèles propriétaires comme Claude Opus 4.7, GPT-5.5, et des modèles ouverts comme Qwen3.5 et Llama-3.3). Les expériences ont été exécutées sur 5 graines aléatoires par modèle et par monde. L'étude comprenait également des études d'ablation comparant l'expérimentation guidée par l'agent à une expérimentation randomisée et à des niveaux variables de bruit d'observation.

Résultats Clés

Performance Globale : Même les agents de pointe les plus forts (Claude Opus 4.7 et GPT-5.5) ne réussissent qu'environ 50 % des mondes en cinq tentatives. La performance chute significativement sur les mondes nécessitant l'identification d'une structure latente (par exemple, matière noire cachée, dimensions supplémentaires).
Précision Prédictive vs Compréhension Conceptuelle : Les métriques se découplent. GPT-5.5 atteint le MSE de trajectoire le plus bas (précision prédictive la plus élevée) mais obtient souvent un score inférieur sur la qualité de l'explication par rapport à Claude Opus 4.7. Cela suggère que GPT-5.5 tend à bien ajuster les données en adoptant rapidement des équations flexibles mais échoue à réviser son image conceptuelle, tandis que Claude Opus 4.7 démontre un meilleur raffinement d'hypothèse par l'expérimentation.
Conception Expérimentale : Il existe un écart significatif entre l'expérimentation guidée et l'expérimentation randomisée pour les modèles de premier plan. Claude Opus 4.7 montre une amélioration monotone du taux de réussite et des scores d'explication à mesure que le nombre de rounds expérimentaux augmente, indiquant qu'il apprend des nouvelles données et conçoit des expériences informatives. En revanche, les modèles open-source montrent peu de différence entre les modes guidé et aléatoire, suggérant qu'ils n'utilisent pas efficacement leur budget expérimental.
Ouvert vs Propriétaire : Les modèles open-source accusent un retard substantiel par rapport aux modèles commerciaux tant dans la conception d'expériences que dans l'extraction de conclusions. Le meilleur modèle ouvert (Qwen3.5) ne résout qu'environ 10 % des mondes en cinq tentatives.
Modes d'Échec : L'analyse des modes d'échec révèle des faiblesses distinctes :
- GPT-5.5 : Les échecs se concentrent sur la "considération du bon type de loi" (manque de structure latente) et la gestion des singularités numériques dans les intégrateurs d'EDO.
- Claude Opus 4.7 : Les échecs sont plus distribués sur la conception expérimentale (échec à discriminer entre les hypothèses), l'écriture de code implémentant fidèlement le raisonnement verbal, la distinction du signal et du bruit, et la connaissance du moment où arrêter l'expérimentation.

Signification et Revendications

L'article revendique que DISCOVERPHYSICS représente le test le plus solide actuel de la capacité des LLMs à réaliser le processus de recherche mal défini et itératif de génération et de raffinement d'hypothèses basé sur des expériences auto-proposées.

Au-delà de la Mémorisation : Le benchmark démontre qu'une haute performance sur des benchmarks basés sur la connaissance ne garantit pas la capacité à découvrir de nouvelles lois physiques.
La Nécessité de l'Expérimentation : Les résultats soulignent que la découverte scientifique en sciences physiques repose de manière critique sur la capacité à concevoir des expériences perspicaces, et pas seulement sur le raisonnement à partir de données statiques.
Nécessité d'une Évaluation Double : L'article soutient que la précision prédictive (MSE) seule est insuffisante pour évaluer la découverte scientifique ; un modèle peut ajuster parfaitement les données sans comprendre les principes sous-jacents. Le cadre d'évaluation double capture si les agents interpolent simplement les données ou identifient les mécanismes générateurs.
Limites Actuelles : Les auteurs concluent modestement que, bien que les modèles de pointe représentent une amélioration substantielle, ils ne sont pas encore capables d'une découverte scientifique entièrement autonome, en particulier lorsqu'ils sont confrontés à une physique non canonique nécessitant l'inférence de degrés de liberté cachés. Le benchmark sert d'outil pour mesurer les progrès dans ce domaine spécifique à haute difficulté.