Testing the capability and performance of Claude Sonnet 4 on the GRE physics test

Résumé technique : Évaluation de la performance de Claude Sonnet 4 à l'examen de physique du GRE

Énoncé du problème
À mesure que l'intelligence artificielle (IA) s'intègre de plus en plus dans l'enseignement primaire, secondaire et supérieur, il est nécessaire d'évaluer les capacités des modèles de langage étendus (LLM) à résoudre des problèmes scientifiques complexes et à faire preuve d'un esprit critique. Alors que des recherches antérieures indiquent que les IA à usage général peinent souvent face aux problèmes de physique de niveau universitaire avancé (atteignant seulement 35 à 39 % de précision dans des domaines comme l'optique et la thermodynamique), de nouveaux modèles spécialisés, améliorés par des capacités de traitement avancées, suggèrent un potentiel accru. Cette étude visait à évaluer la performance de Claude Sonnet 4, un LLM développé par Anthropic, par rapport à une évaluation de physique standardisée de niveau master, afin de déterminer s'il pouvait dépasser un taux de précision de 90 % sur des tâches de résolution de problèmes complexes.

Méthodologie
Les chercheurs ont utilisé un examen de pratique de physique du GRE de 70 questions (Formulaire GR1775) disponible publiquement, fourni par l'Educational Testing Service (ETS). L'étude a suivi le protocole suivant :

• Modèle : Claude Sonnet 4, identifié à ce moment-là comme le modèle gratuit le plus avancé d'Anthropic.
• Entrée : Chaque question des 70 a été soumise individuellement au modèle sous forme de capture d'écran, sans texte ni contexte supplémentaire fourni.
• Protocole de notation : Les réponses ont été comparées à la clé de correction officielle de l'ETS. En raison des limites de messages, plusieurs sessions de chat ont été initiées pour traiter l'ensemble des questions. Un crédit partiel était accordé si le modèle répondait incorrectement lors de la première tentative mais correctement lors d'une seconde tentative ; sinon, les questions étaient marquées comme entièrement incorrectes.
• Analyse : Le nombre total de réponses correctes a été comptabilisé et converti en un score pondéré à l'aide de la fiche de conversion officielle du GRE. L'étude a également analysé la performance par domaines de contenu (mécanique classique, électromagnétisme, mécanique quantique, physique atomique, etc.) et a comparé la performance du modèle à la précision moyenne des candidats humains pour des questions spécifiques.

Résultats clés
L'étude a produit les conclusions quantitatives et qualitatives suivantes :

• Performance globale : Claude Sonnet 4 a répondu correctement à 65 des 70 questions, atteignant un taux de précision d'environ 93 %. Cela correspond à un score pondéré de 990, soit le score maximum possible au test de physique du GRE.
• Répartition par domaine de contenu :
  • Mécanique quantique et physique atomique : Le modèle a atteint une précision de 100 % (16/16 questions).
  • Électromagnétisme : Le modèle a obtenu un score de 12,5/13 correct.
  • Mécanique classique : Ce fut le point faible du modèle, avec un score de 12,5/14 correct (89 % de précision).
• Corrélation avec la performance humaine : Aucune corrélation n'a été trouvée entre la performance du modèle et la précision moyenne des candidats humains. Pour les 17 questions où la précision humaine se situait entre 20 et 30 %, le modèle n'a perdu que 0,5 point sur un seul problème.
• Analyse des erreurs : Lorsque des erreurs se sont produites, elles ont été attribuées à une synthèse incorrecte, telle qu'un mauvais calcul de ratios ou une mauvaise analyse de détails spécifiques dans l'énoncé du problème, plutôt qu'à un manque de compréhension conceptuelle. Le modèle a systématiquement fourni des explications approfondies pour ses choix de réponses, ce qui a facilité l'identification d'erreurs de raisonnement spécifiques.

Signification et affirmations
L'article affirme que les résultats soutiennent l'hypothèse selon laquelle les LLM de consommation courante peuvent résoudre et expliquer des questions dans des domaines scientifiques avancés avec une grande compétence. Les auteurs concluent que :

1. Capacité de haut niveau : Les LLM sont capables d'obtenir des scores maximaux à des examens de physique de niveau master, suggérant un potentiel transformateur pour l'étude et l'éducation scientifiques.
2. Utilité éducative : Ces modèles servent d'outils puissants pour traiter des questions complexes sans erreur humaine, à condition de reconnaître leurs limites en matière de raisonnement concernant les concepts philosophiques ou les questions cosmologiques non résolues.
3. Trajectoire future : Grâce à un apprentissage automatique continu et à l'entraînement des utilisateurs, les auteurs suggèrent que les modèles pourraient éventuellement atteindre une précision de 100 %. Ils notent également que la performance peut varier selon les versions du modèle (par exemple, Opus vs Sonnet) et que les abonnements payants peuvent offrir des avantages supplémentaires en termes de quotas d'utilisation et de qualité de modèle.

L'étude souligne que, bien que l'IA démontre un potentiel significatif, elle reste sujette à des limitations en matière de synthèse détaillée et ne possède pas encore les pleines capacités génératives (telles que la génération d'images ou de vidéos) présentes chez d'autres modèles concurrents comme ChatGPT.