🤖 AI

MaD Physics: Evaluating information seeking under constraints in physical environments

L'article présente MaD Physics, un nouveau benchmark conçu pour évaluer la capacité des agents IA à inférer des lois physiques et à planifier des mesures sous contraintes de ressources en les testant dans des environnements aux lois physiques altérées, révélant ainsi les limites des modèles Gemini actuels en matière de raisonnement scientifique et d'exploration structurée.

Auteurs originaux : Moksh Jain, Mehdi Bennani, Johannes Bausch, Yuri Chervonyi, Bogdan Georgiev, Simon Osindero, Nenad Tomašev

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Moksh Jain, Mehdi Bennani, Johannes Bausch, Yuri Chervonyi, Bogdan Georgiev, Simon Osindero, Nenad Tomašev

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un détective tentant de résoudre une énigme, mais que vous ayez une règle très stricte : vous ne disposez que d'une somme d'argent limitée pour acheter des indices.

Voici l'idée centrale d'un nouveau projet de recherche appelé MaD Physics (Mesurer et Découvrir la Physique). Les chercheurs de Google DeepMind et de Mila ont créé un test semblable à un jeu vidéo pour évaluer dans quelle mesure des « scientifiques » IA peuvent comprendre le fonctionnement du monde lorsqu'ils ne peuvent pas simplement consulter un manuel pour trouver les réponses, ni se permettre de tout vérifier.

Voici une explication simple du fonctionnement et de leurs découvertes :

1. Le Jeu : « La Boîte Mystère »

Dans ce test, l'IA est plongée dans un monde virtuel où des objets se déplacent. Mais il y a un piège : les lois de la physique de ce monde sont légèrement brisées ou « altérées ».

Peut-être que la gravité ne fait pas tomber les objets comme d'habitude.
Peut-être que l'eau tourbillonne selon un motif défiant la dynamique des fluides normale.
Peut-être que les particules se comportent comme si elles étaient reliées par des fils invisibles qui n'existent pas dans notre monde réel.

L'IA ne connaît pas ces règles. Elle doit les déduire en observant le mouvement des objets.

2. Le Défi : Le « Budget d'Indices »

C'est ici qu'intervient la partie « MaD ». L'IA dispose d'un budget (comme un portefeuille contenant un nombre fixe de pièces).

Observer un objet coûte de l'argent.
Observer de près (haute précision) coûte beaucoup.
Observer de loin (basse précision) coûte peu.
Attendre plus longtemps pour observer coûte plus de temps.

L'IA doit prendre des décisions judicieuses : « Dois-je dépenser tout mon budget pour vérifier un seul objet très soigneusement, ou dois-je dépenser un peu pour vérifier dix objets différents afin d'obtenir une idée générale ? »

Si l'IA gaspille son argent en mauvaises hypothèses, elle épuise ses pièces avant de pouvoir résoudre l'énigme. Une fois l'argent épuisé, le jeu s'arrête, et l'IA doit prédire où seront les objets à l'avenir en se basant uniquement sur les indices qu'elle a réussi à acheter.

3. Les Trois Mondes

Pour s'assurer que l'IA ne se contente pas de mémoriser des faits du monde réel, ils l'ont testée dans trois « univers » différents :

Le Monde de la Balle Rebondissante (Mécanique Classique) : Des objets qui rebondissent et entrent en collision, mais avec une étrange « mémoire » invisible qui les rend plus difficiles à pousser dans certaines directions.
Le Monde de l'Eau Tourbillonnante (Mécanique des Fluides) : Un liquide qui s'écoule, mais sous l'effet d'une « force alienne » invisible qui le pousse dans des motifs étranges et tournoyants.
Le Monde des Particules Fantômes (Mécanique Quantique) : De minuscules particules qui se comportent comme des ondes, mais avec une particularité : les règles régissant leur apparition lorsque vous les observez diffèrent de la réalité.

4. Les Sujets de l'Expérience

Les chercheurs ont testé quatre versions différentes des modèles d'IA Gemini de Google (de la plus petite et rapide à la plus grande et intelligente) pour voir comment elles se débrouillaient dans ce jeu.

5. Les Résultats : Ce que l'IA a mal compris

Les résultats ont été quelque peu humiliants pour l'IA :

Elles ont eu du mal à être « stratégiques » : L'IA a souvent dépensé son budget de manière inefficace. Elle regardait parfois les mauvais objets ou observait trop attentivement des éléments sans importance, épuisant son argent avant de comprendre le motif.
Elles ne pouvaient pas « inventer » de nouvelles lois : Lorsque la physique était altérée, l'IA tentait souvent d'imposer les règles du monde réel au nouveau monde. C'était comme essayer de résoudre un Sudoku en utilisant les règles des échecs.
Les meilleurs modèles ont mieux réussi, mais pas parfaitement : Les modèles d'IA les plus intelligents (comme Gemini 3) ont fait moins d'erreurs et étaient meilleurs pour prédire l'avenir, mais ils n'ont toujours pas pu décoder parfaitement le « code secret » de la physique altérée.
Les visuels ont rendu les choses plus difficiles : Lorsque l'IA devait observer des images d'objets en mouvement plutôt que de simples chiffres, elle devenait encore plus confuse.

La Conclusion

L'article conclut que, bien que l'IA devienne très bonne pour répondre à des questions dont elle connaît déjà les réponses, elle lutte toujours face à la vraie découverte scientifique : la capacité de sortir, d'utiliser judicieusement des ressources limitées, de collecter de nouvelles données et de découvrir des règles qui n'existent pas encore.

Pensez-y ainsi : l'IA est excellente pour être une bibliothécaire (trouver des livres existants), mais elle apprend encore à être une exploratrice (dessiner une carte d'un territoire que personne n'a jamais vu). MaD Physics est une nouvelle carte pour les chercheurs afin de voir exactement où l'IA se perd, afin de l'aider à apprendre à mieux explorer.

Résumé technique : MaD Physics – Évaluation de la recherche d'informations sous contraintes dans des environnements physiques

Énoncé du problème
La découverte scientifique est intrinsèquement un processus contraint par les ressources, obligeant les agents à naviguer entre les compromis qualité-quantité des mesures en raison de limitations physiques, temporelles et financières. Alors que les benchmarks existants pour la découverte scientifique se concentrent sur le raisonnement basé sur des connaissances statiques (par exemple, la réponse à des questions fondée sur des faits mémorisés) ou sur la conception expérimentale sans contraintes, ils échouent à évaluer la capacité d'un agent à effectuer des mesures stratégiques et à planifier sous des contraintes strictes. De plus, les benchmarks standards reposent souvent sur des lois physiques bien connues, permettant aux agents de réussir par la récupération de connaissances plutôt que par une découverte empirique. Il existe un vide critique dans l'évaluation des agents devant collecter activement des informations, gérer un budget fini et inférer des dynamiques sous-jacentes à partir de données bruitées et clairsemées dans des environnements où les lois régissant le système peuvent être inconnues ou modifiées.

Méthodologie : Le benchmark MaD Physics
Pour combler ce vide, les auteurs proposent MaD Physics (Measuring and Discovering Physics), un benchmark conçu pour évaluer la capacité des agents à effectuer des mesures informatives et à tirer des conclusions soumises à des contraintes sur la qualité et la quantité des mesures.

Conception de l'environnement : Le benchmark se compose de trois environnements paramétriques distincts basés sur la mécanique classique, la mécanique des fluides et la mécanique quantique. Pour empêcher les agents de s'appuyer sur des connaissances pré-entraînées de la physique standard, chaque environnement inclut des lois physiques « modifiées » (par exemple, une masse inertielle anisotrope, des lois de gravité modifiées comme $1/R$ ou des effets d'ondulation, une initialisation non linéaire de l'intrication, et des règles de Born généralisées avec des normes $L_p$ ).
Protocole d'évaluation : L'évaluation se déroule en deux phases :
1. Phase de mesure : L'agent opère sous un budget fixe $B$ . Il doit choisir séquentiellement quoi mesurer (par exemple, des particules ou des coordonnées spécifiques), quand mesurer (pas de temps) et avec quelle fidélité (niveau de bruit). Chaque observation engendre un coût $C(o_k, \sigma_k)$ , qui augmente avec la fidélité (bruit plus faible). L'agent doit maximiser le gain d'information dans le cadre du budget.
2. Phase de prédiction : Une fois le budget épuisé ou le temps maximal $T_{max}$ atteint, l'agent doit inférer la loi physique sous-jacente et prédire l'état du système à un temps de requête futur $T_{query} > T_{max}$ .
Implémentation de l'agent : Les auteurs évaluent quatre modèles Gemini (2.5 Flash Lite, 2.5 Flash, 2.5 Pro et 3 Flash) en utilisant une structure minimale d'agent avec des capacités d'exécution de code. Deux stratégies de prompt sont testées : un prompt « Base » fournissant un contexte général et un prompt « Stratégie » inspiré de la conception expérimentale bayésienne, instruisant l'agent à maximiser le gain d'information attendu (EIG) par unité de coût.

Contributions clés

Nouvelle méthodologie de benchmarking : L'article introduit un cadre pour évaluer les agents de recherche d'informations dans les domaines physiques, mettant explicitement l'accent sur le compromis coût-fidélité dans la conception expérimentale, allant au-delà des tâches de raisonnement statique.
Environnements paramétriques avec lois modifiées : La suite de trois environnements (Classique, Fluide, Quantique) inclut des altérations spécifiques et documentées des lois physiques standard. Cela garantit que les agents doivent s'engager dans une découverte active plutôt que de récupérer des connaissances mémorisées.
Benchmarking complet des modèles de pointe : Les auteurs évaluent plusieurs modèles Gemini sur MaD Physics, en analysant les performances à travers différents degrés d'altération des lois et en démontrant l'impact du prompting stratégique sur la navigation dans l'incertitude scientifique.

Résultats empiriques

Performance des modèles : Généralement, la performance s'améliore avec les capacités du modèle (de Flash Lite à Pro, puis à 3 Flash). Cependant, même les modèles les plus capables peinent avec les configurations modifiées.
Précision de la prédiction : Les agents produisent souvent des prédictions hors limites ou inexactes, même dans des configurations de physique normale. Bien que le prompt « Stratégie » améliore généralement les performances en imposant une collecte de données systématique, des erreurs significatives persistent.
Précision symbolique vs prédictive : Une découverte clé est le décalage entre la précision prédictive et la récupération symbolique. Les agents échouent fréquemment à identifier la forme symbolique correcte de la loi physique sous-jacente (par exemple, ne pas distinguer entre une gravité en $1/r^2$ et en $1/r$ ), même lorsqu'ils peuvent faire des prédictions raisonnables.
Multimodalité et apprentissage en contexte :
- Observations visuelles : Lorsque les agents reçoivent des rendus visuels plutôt que des données numériques, les erreurs de prédiction augmentent considérablement, bien que les tendances concernant la capacité du modèle restent cohérentes.
- Apprentissage en contexte : Sur plusieurs essais, Gemini 3 Flash démontre la capacité de réduire l'erreur de prédiction, tandis que Gemini 2.5 Pro échoue à apprendre dans les configurations modifiées.
Inférence de paramètres : Dans une variante où la forme structurelle est connue et l'objectif est d'inférer un seul paramètre ( $\kappa$ ), les agents ont tendance à sous-estimer le paramètre, montrant un biais vers la physique standard.

Signification et affirmations
L'article positionne MaD Physics comme une pierre de touche vers des benchmarks capturant la nature exploratoire et non structurée de la découverte scientifique. Les auteurs affirment que MaD Physics identifie efficacement les lacunes des modèles de niveau de pointe concernant les tâches dynamiques de recherche d'informations. Plus précisément, le benchmark met en évidence :

Une mauvaise performance prédictive en aval lorsque les agents ne peuvent pas s'appuyer sur des lois mémorisées.
Une difficulté à récupérer des expressions symboliques précises pour les lois physiques, même lorsque les données sont disponibles.
La nécessité d'une planification stratégique sous contraintes, une capacité où les modèles actuels montrent une marge de progression significative.

Les auteurs concluent que, bien que les modèles actuels montrent des promesses en matière de raisonnement, ils peinent face aux réalités pratiques de l'enquête scientifique : allouer des ressources limitées pour maximiser le gain d'information et inférer de nouvelles dynamiques à partir de données contraintes et bruitées. Des travaux futurs sont suggérés pour explorer des structures d'agent plus sophistiquées, un prompting optimisé et des extensions à des systèmes physiques plus complexes.