PHYSICS: Benchmarking Foundation Models on University-Level Physics Problem Solving
L'article présente PHYSICS, une évaluation complète de 1 297 problèmes de physique de niveau universitaire annotés par des experts, qui révèle que même les modèles de base les plus avancés comme o3-mini éprouvent des difficultés dans le raisonnement scientifique de haut niveau, n'atteignant qu'une précision de 59,9 % malgré diverses stratégies d'optimisation.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous avez construit une flotte de robots incroyablement intelligents et ultra-rapides. Ces robots ont lu presque tous les livres de la bibliothèque et peuvent résoudre des énigmes mathématiques complexes plus vite qu'une calculatrice humaine. Vous vous demandez : Ces robots peuvent-ils réellement penser comme un véritable physicien ?
C'est exactement ce que les chercheurs derrière le benchmark PHYSICS voulaient découvrir. Ils n'ont pas simplement demandé aux robots de résoudre de simples énigmes ; ils leur ont passé un « examen final de niveau doctorat » en physique.
Voici l'histoire de leur expérience, expliquée simplement :
1. L'examen : « Le test ultime en physique »
Les chercheurs ont créé un nouveau test appelé PHYSICS. Imaginez-le comme une gigantesque banque de questions numériques contenant 1 297 problèmes difficiles.
- D'où venaient les questions ? Elles n'ont pas été inventées par les chercheurs. Elles ont été extraites d'examens de qualification réels et éprouvants que les étudiants en doctorat de physique doivent réussir pour devenir des scientifiques professionnels.
- Que contient le test ? Il couvre les six grands domaines de la physique : le mouvement des objets (mécanique), le comportement des atomes (quantique), la chaleur et l'énergie (thermodynamique), l'électricité et le magnétisme, la lumière (optique) et la physique atomique.
- La particularité : Contrairement aux tests scolaires où vous choisissez simplement « A, B, C ou D », ces questions sont à réponse ouverte. Le robot doit rédiger toute la solution, en montrant ses calculs, tout comme un étudiant humain.
2. La machine de notation : « Le professeur robot »
Comment noter les devoirs de mathématiques d'un robot sans qu'un humain ne lise chaque page ? L'équipe a construit un système de notation automatisé ultra-sévère.
- Il utilise un outil numérique appelé SymPy (pensez-y comme à un robot vérificateur de mathématiques) pour vérifier si la réponse du robot est mathématiquement correcte, même si le robot l'a écrite d'une manière légèrement différente.
- Si les mathématiques sont trop étranges pour que le robot puisse les vérifier, il fait appel à un « professeur de secours » (une intelligence artificielle plus avancée) pour lire la logique et décider si elle a du sens.
3. Les résultats : « Les robots ont heurté un mur »
Les chercheurs ont testé 33 des modèles d'IA les plus intelligents disponibles aujourd'hui, y compris les « champions » comme o3-mini, GPT-4o et DeepSeek-R1.
Le tableau des scores :
- Le meilleur robot : Même le modèle le plus intelligent, o3-mini, n'a obtenu la bonne réponse que pour environ 60 % des questions.
- Le robot moyen : La plupart des autres modèles de premier plan ont obtenu des scores autour de 30 % à 40 %.
- La référence humaine : Les chercheurs ont noté qu'un expert humain, avec suffisamment de temps, obtiendrait généralement un score entre 70 % et 80 %.
La grande conclusion : Même l'IA la plus avancée lutte encore pour atteindre le niveau d'un expert humain en physique. Ils sont comme un étudiant qui a mémorisé le manuel scolaire mais qui reste bloqué lorsqu'on lui demande d'appliquer les règles à un scénario réel et délicat.
4. Pourquoi ont-ils échoué ? (Le « Hall des erreurs »)
Les chercheurs ont examiné de près pourquoi les robots ont donné de mauvaises réponses. Ils ont identifié cinq « mauvaises habitudes » principales :
- Inventer des règles : Parfois, les robots inventaient des faits qui ne figuraient pas dans la question. C'est comme un étudiant qui devine les pensées du professeur et ajoute des règles supplémentaires qui n'existent pas.
- Ignorer l'image : De nombreux problèmes de physique sont accompagnés de schémas. Les robots lisaient souvent mal l'image, pensant qu'un fil était connecté d'une certaine manière alors qu'il était en réalité connecté différemment.
- Le piège du « trop-penseur » : Certains robots essayaient de réfléchir si intensément et d'écrire tant de choses qu'ils manquaient d'espace ou se perdaient dans leurs propres longues explications. Ils se perdaient dans leur propre raisonnement.
- Erreurs de calcul : Même lorsque la logique était parfaite, ils commettaient de simples erreurs de calcul dans des équations complexes, comme un humain faisant une faute de frappe dans un long problème de mathématiques.
- Manquer l'essentiel : Parfois, ils ne comprenaient tout simplement pas ce que la question demandait réellement, répondant à une question totalement différente.
5. Ont-ils essayé d'aider ? (L'expérience de la « trousse de secours »)
Les chercheurs ont essayé quelques astuces pour aider les robots à mieux performer :
- Auto-réflexion : Ils ont dit aux robots : « Hé, vérifiez votre propre travail avant de soumettre. » Cela a aidé un peu, rendant les réponses légèrement plus cohérentes.
- L'astuce « Google » (RAG) : Ils ont permis aux robots de consulter des informations en ligne pendant qu'ils travaillaient. Cela a également aidé à améliorer les scores, prouvant que les robots avaient parfois juste besoin d'un rappel rapide d'une formule ou d'un fait spécifique.
Cependant, même avec ces aides, les robots n'ont toujours pas pu combler entièrement l'écart avec les experts humains.
La conclusion
Le benchmark PHYSICS nous montre que si l'IA est incroyable en mathématiques et en lecture, résoudre des problèmes scientifiques profonds et complexes reste un défi immense. Les robots sont comme des calculatrices très rapides qui oublient parfois pourquoi ils font les mathématiques. Pour les amener au niveau d'un véritable physicien, nous devons leur apprendre à raisonner plus profondément, à mieux lire les schémas et à cesser d'inventer des faits.
Il ne s'agit pas seulement de physique ; c'est un réveil qui indique que pour aider véritablement les scientifiques, l'IA doit devenir beaucoup meilleure pour « penser » comme un expert humain, et non pas seulement « calculer » comme une machine.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.