💬 NLP

Physics-R1: An Audited Olympiad Corpus and Recipe for Visual Physics Reasoning

Le papier « Physics-R1 » identifie des flaws critiques dans les pipelines d'évaluation physique multimodaux existants — notamment la contamination des données, la dérive de traduction et la saturation des QCM — et y remédie en publiant un corpus rigoureusement audité et un nouveau modèle de raisonnement qui réalise des gains de performance significatifs sur des benchmarks olympiques nouveaux et ouverts.

Auteurs originaux : Shan Yang

Publié 2026-05-15

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shan Yang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que le monde de l'Intelligence Artificielle (IA) soit comparable à une immense compétition culinaire à hauts enjeux. L'objectif est de déterminer quels « chefs » IA peuvent résoudre des problèmes de physique complexes (comme comprendre comment une fusée vole ou comment l'électricité se déplace). Pour les juger, les organisateurs de la compétition leur soumettent un ensemble de questions d'évaluation.

Le document que vous lisez, "Physics-R1", est essentiellement un rapport de lanceur d'alerte et un nouveau livre de recettes. L'auteur, Shan Yang, soutient que la compétition culinaire actuelle est truquée car les questions d'évaluation sont contaminées et les juges sont biaisés. Voici l'explication en termes simples :

1. Le Problème : Les Questions d'Évaluation sont « Fuitées »

Imaginez un étudiant se préparant à un examen de mathématiques. S'il mémorise par accident les réponses exactes d'un livre d'exercices que le professeur utilise également pour l'examen final, il obtiendra un score parfait, mais cela ne signifie pas qu'il comprend réellement les mathématiques.

Le document a révélé que de nombreux modèles d'IA font exactement cela.

La « Fuite » : Les auteurs ont audité les « bassins de formation » publics (les livres d'exercices) utilisés pour enseigner à ces IA. Ils ont découvert que de nombreuses questions d'évaluation sur lesquelles les IA sont notées sont en réalité cachées dans les livres d'exercices qu'elles ont étudiés.
L'astuce de la « Reformulation » : Il ne s'agit pas seulement de copies exactes. Parfois, l'IA voit une question comme « Une balle tombe de 10 mètres », et l'évaluation demande « Si une sphère tombe d'une hauteur de 10 m... ». Les anciens programmes informatiques utilisés pour détecter la triche (recherchant des mots identiques) ont manqué ces cas.
Le Nouvel Audit : Les auteurs ont construit un gardien de sécurité en trois étapes :
1. Le Compteur de Mots : Vérifie les correspondances exactes de mots.
2. Le Scanner de Sens : Vérifie si les phrases signifient la même chose, même si les mots sont différents.
3. Le Juge Humain : Une IA ultra-intelligente qui lit à la fois la question d'exercice et la question d'évaluation et décide : « Oui, ce sont le même problème déguisé. »
En utilisant cela, ils ont trouvé des milliers de paires de « triche » que le domaine avait manquées. Ils ont nettoyé les données pour créer un ensemble de formation propre (appelé PHYSCORP-A) où l'IA doit réellement apprendre, et non pas simplement mémoriser.

2. Le Piège de la Traduction : La Langue Compte

Imaginez que vous passez un examen de conduite. Vous réussissez facilement lorsque les instructions sont dans votre langue maternelle, mais lorsque le même examen est traduit dans une langue étrangère, vous échouez car la grammaire est confuse ou les panneaux de signalisation sont décrits différemment.

Les auteurs ont testé cela avec des problèmes de physique en estonien (la langue originale) et en anglais (une traduction).

Le Résultat : Une IA de premier plan (Sonnet 4.5) a obtenu 30,5 % de réponses correctes sur les problèmes originaux en estonien, mais seulement 13,6 % sur les traductions en anglais.
La Leçon : Traduire des problèmes scientifiques complexes fait souvent perdre des détails subtils. Si nous ne testons l'IA qu'en anglais, nous pourrions penser qu'elle est moins bonne en physique qu'elle ne l'est réellement, ou nous pourrions tester ses compétences en traduction plutôt que ses compétences en physique.

3. Le Piège du Format : QCM vs Réflexion Réelle

Imaginez un étudiant qui est excellent pour deviner dans un quiz à choix multiples (A, B, C ou D) mais qui se fige lorsqu'on lui demande d'écrire la solution sur une feuille de papier blanche.

Le document a révélé un écart massif dans la performance de l'IA en fonction du format de l'évaluation :

Choix Multiples (Le Mode Facile) : L'IA a obtenu 79,7 % à un test à choix multiples.
Questions Ouvertes (Le Mode Difficile) : La même IA n'a obtenu que 33,4 % à un test où elle devait écrire la réponse à partir de zéro.
L'Écart : C'est une différence de 46 points. Le document soutient que le domaine a surestimé l'intelligence de l'IA car il la teste principalement sur le « mode facile » (choix multiples) où elle peut deviner ou reconnaître des motifs, plutôt que sur le « mode difficile » (résolution à partir de zéro).

4. La Solution : Une Nouvelle Recette (Physics-R1)

Pour résoudre ces problèmes, les auteurs n'ont pas seulement pointé du doigt ; ils ont construit une nouvelle cuisine.

Les Ingrédients Propres : Ils ont publié un nouvel ensemble de données audité (PHYSCORP-A) garanti exempt de questions « fuitées ».
Le Nouvel Examen : Ils ont créé un nouvel examen plus difficile appelé PHYSOLYM-A. Il utilise des problèmes originaux (principalement d'Estonie et d'Olympiades internationales) que l'IA n'a jamais vus auparavant.
La Méthode de Cuisson (Physics-R1) : Ils ont entraîné un nouveau modèle d'IA en utilisant une « recette » spécifique (une méthode appelée GSPO+DAPO).
- Au lieu de donner à l'IA un score complexe et détaillé pour chaque petite étape (ce qui peut tromper l'IA pour qu'elle écrive des réponses à l'apparence sophistiquée mais fausses), ils ont utilisé une Récompense Binaire.
- L'Analogie : Pensez-y comme un arbitre dans un jeu. Au lieu de donner des points pour une « bonne posture » ou une « belle écriture », l'arbitre dit simplement : « Avez-vous obtenu la bonne réponse ? Oui = 1 point. Non = 0 point. »
- Cette règle simple a forcé l'IA à cesser d'essayer de « contourner le système » avec une mise en forme sophistiquée et à se concentrer réellement sur la résolution correcte du problème de physique.

Les Résultats

Lorsqu'ils ont testé leur nouvelle IA (Physics-R1) sur le nouvel examen propre et difficile :

Elle a considérablement progressé par rapport au modèle de base (passant d'un score de 8 % à un score de 26 %).
Elle a battu d'autres modèles open-source.
Elle reste encore derrière les « super-IA » fermées les plus performantes (Sonnet 4.5), mais elle prouve qu'avec des données propres et la bonne méthode d'entraînement, les modèles open-source peuvent apprendre un raisonnement physique réel.

Résumé

Ce document est un appel à l'action pour la communauté de l'IA :

Arrêtez la triche : Nettoyez vos données d'entraînement afin que les modèles ne mémorisent pas simplement les réponses aux tests.
Surveillez la langue : Ne supposez pas que les traductions sont parfaites ; testez dans la langue originale.
Arrêtez de deviner : Testez les modèles sur des problèmes ouverts, pas seulement sur des choix multiples.
Gardez cela simple : Parfois, une récompense simple « Juste/Faux » est meilleure qu'un système de notation complexe pour enseigner à l'IA à réfléchir.

Les auteurs ont publié tous leurs « ingrédients » (données), « recettes » (code) et « questions d'examen » (benchmarks) pour que quiconque puisse les utiliser et les vérifier.

Résumé Technique : Physics-R1 : Un Corpus Olympique Audité et une Recette pour le Raisonnement Physique Visuel

Énoncé du Problème

Le domaine du raisonnement physique multimodal repose fortement sur des benchmarks vision-langage pour évaluer les capacités des modèles. Cependant, la construction de ces benchmarks est rarement auditée, ce qui entraîne trois lacunes méthodologiques critiques qui faussent les comparaisons inter-modèles et gonflent les classements de pointe :

Contamination Entraînement-Évaluation : Les pools d'entraînement publics (par exemple, SciInstruct, UGPhysics-Train) contiennent souvent des problèmes paraphrasés ou quasi-dupliqués par rapport aux ensembles d'évaluation. Les audits conventionnels à une seule étape par $n$ -grammes échouent à détecter ces instances de « matière noire de reformulation ».
Dérive de Traduction : Les benchmarks multilingues reposent souvent sur des traductions anglaises de problèmes initialement composés dans d'autres langues. Ces traductions peuvent dégrader le contenu informationnel (vocabulaire, cas grammatical, portée), conduisant à une sous-estimation systématique de la capacité du modèle sur les versions traduites par rapport aux originaux.
Saturation du Format et de la Nouveauté : Les benchmarks actuels sont souvent saturés par des Questions à Choix Multiples (QCM) ou manquent de nouveauté, provoquant un plafonnement des performances à un « plafond de frontière fermée » où le format et la familiarité avec la tâche, plutôt qu'un raisonnement authentique, déterminent les scores.

Méthodologie

L'article propose un audit de bout en bout du pipeline d'évaluation et introduit une recette d'entraînement et un corpus correspondants pour combler ces lacunes.

1. Le Pipeline d'Audit en Trois Étapes

Pour détecter la contamination qui échappe aux vérifications standard par $n$ -grammes, les auteurs mettent en œuvre un protocole d'audit en trois étapes appliqué par paires entre les pools d'entraînement et les ensembles d'évaluation :

Étape 1 (N-grammes) : Calcule la similarité Jaccard des 5-grammes ( $J \ge 0,4$ ) pour repérer les duplicatas verbatim ou quasi-verbatim.
Étape 2 (Embedding) : Utilise mxbai-embed-large pour calculer la similarité cosinus ( $\cos \ge 0,85$ ) afin de repérer les duplicatas paraphrasés que l'Étape 1 manque.
Étape 3 (Juge LLM) : Un juge LLM Haiku-4.5 classe les candidats de l'Étape 2 comme étant soit des duplicatas proches (paraphrases/variations numériques du même problème), soit des voisins du même sujet (physique liée mais configurations distinctes). Seuls les duplicatas proches sont supprimés.

2. Construction des Données

PHYSCORP-A : Un corpus multimodal de 6 432 enregistrements construit en appliquant l'audit en trois étapes à un pool pré-audit de 14 294 enregistrements. Il inclut des sources telles que l'Olympiade de Physique Estonienne (avec des labels de difficulté natifs), les supports de Kevin Zhou, et sept olympiades internationales.
PHYSR1CORP : Un pool d'entraînement RL à forme fermée de 2 268 enregistrements (QCM et numériques uniquement) dérivé de PHYSCORP-A, strictement audité contre six évaluations publiques de physique.
PHYSOLYM-A : Un ensemble d'évaluation d'Olympiade retenu de 500 problèmes. Il est à 99,8 % de source nouvelle (un chevauchement avec OlympiadBench-Physics a été divulgué plutôt que supprimé) et inclut un sous-ensemble bilingue anglais/estonien pour l'analyse interlinguistique.

3. Recette Physics-R1

Physics-R1 est une recette de référence d'Apprentissage par Renforcement (RL) utilisant GSPO (Optimisation de la Stratégie de Séquence de Groupe) et DAPO (Découplage du Clipping et Échantillonnage Dynamique), initialisée à froid à partir de Qwen3-VL-8B-Thinking.

Fonction de Récompense : Les auteurs recommandent une récompense de justesse binaire ( $r \in \{0, 1\}$ ) basée sur la correspondance entre la réponse extraite dans une boîte et la solution de référence. Ils soutiennent que cela est optimal en variance sous GSPO avec des avantages normalisés par groupe et robuste face aux canaux « Goodhart » où les modèles optimisent des proxies de formatage (par exemple, la structure LaTeX) plutôt que la justesse physique. Une récompense dense à cinq composantes (incluant les unités, les lois de conservation et la forme symbolique) est rapportée comme une ablation.
Curriculum : Utilise un curriculum de difficulté de style MM-Eureka, en éliminant les invites où le modèle de base obtient 0/N ou N/N de déroulements.

Résultats Clés

L'audit et les expériences révèlent trois résultats principaux :

Contamination Cachée : Alors que les pools d'entraînement publics passent les audits à une seule étape par $n$ -grammes (0 correspondances), l'audit en trois étapes révèle une contamination significative. Par exemple, dans SciInstruct, l'audit a mis en évidence 4 846 candidats de paraphrase, dont 134 ont été confirmés comme duplicatas proches par le juge LLM.
Delta de Traduction : Sur 59 problèmes d'Olympiade appariés estonien/anglais, Claude Sonnet 4.5 a atteint une justesse stricte de 30,5 % sur le texte estonien original mais seulement 13,6 % sur la traduction anglaise. Ce delta de 17 points suggère que les traductions anglaises sous-estiment systématiquement la capacité du modèle pour les modèles disposant d'un fort transfert interlinguistique.
Gradient Format et Nouveauté : Sur les mêmes poids Sonnet 4.5, les performances chutent de 46 points à travers les benchmarks : 79,7 % sur PhyX (QCM) $\to$ 50,4 % sur OlympiadBench-Physics (ouvert) $\to$ 33,4 % sur PHYSOLYM-A audité (ouvert, source nouvelle). Ce gradient démontre que les benchmarks actuels sont saturés par le format et la familiarité plutôt que par la profondeur du raisonnement.

Résultats

Physics-R1, entraîné sur PHYSR1CORP audité avec une récompense binaire, démontre l'entraînabilité du corpus nettoyé :

PHYSOLYM-A : Fait passer le modèle de base 8B de 8,0 % à 26,3 % (moyenne sur 3 graines), soit une amélioration de +18,3 points. Il est en retrait de 7,1 points par rapport à Sonnet 4.5 mais surpasse toutes les bases open-source (y compris Qwen3-VL-32B) et les API fermées non-Sonnet.
PhysReason : Passe de 23,9 % à 39,6 %, surpassant Qwen3-VL-32B et Gemini 2.5 Pro.
OlympiadBench-Physics : Passe de 46,2 % à 46,2 % (note : l'abstract indique une hausse de +6,9 points de pourcentage, impliquant un passage d'environ 39,3 % à 46,2 % sur la division spécifique utilisée, bien que le tableau affiche 46,2±1,5 pour la moyenne sur 3 graines).
PhyX (QCM) : Passe de 77,8 % à 77,8 % (stable, car les QCM sont souvent saturés).

L'article note que la récompense binaire surpasse la récompense dense sur les tâches ouvertes (+8,9 points de pourcentage sur PhysReason, +6,4 points de pourcentage sur PHYSOLYM-A) tout en performant de manière comparable sur les QCM saturés.

Importance et Revendications

L'article se positionne comme une intervention méthodologique plutôt que comme une percée purement algorithmique. Ses contributions principales sont :

Preuve d'Entraînabilité : En montrant qu'un modèle entraîné sur un corpus rigoureusement audité s'améliore significativement sur une évaluation retenue et exempte de contamination (PHYSOLYM-A), les auteurs valident que la stagnation précédente dans les benchmarks de raisonnement physique était en partie due à la contamination des données et à la saturation, et non seulement aux limites des modèles.
Protocole de Mesure : L'article soutient qu'une mesure défendable de la physique-VL nécessite trois propriétés : un audit en trois étapes, des standards de référence dans la langue originale, et une évaluation ouverte de source nouvelle.
Publication d'Artéfacts : La publication de PHYSCORP-A, PHYSR1CORP, PHYSOLYM-A et de la recette Physics-R1 fournit à la communauté des outils pour reproduire ces résultats et construire de futurs modèles sur des données propres.

Les auteurs revendiquent modestement que Physics-R1 est une « recette de référence » et que la récompense binaire est le « paramètre par défaut déployable », tout en reconnaissant que la récompense dense et les sensibilités spécifiques aux graines nécessitent une ablation supplémentaire. Le travail ne prétend pas résoudre tous les défis du raisonnement physique (par exemple, la théorie des perturbations de niveau universitaire reste difficile) mais établit une base plus propre pour mesurer les progrès.