🤖 AI

MIRA-Math: A Benchmark for Minimal Information Requesting and Mathematical Reasoning

L'article introduit MIRA-Math, un benchmark déterministe comprenant 2 310 problèmes mathématiques où les solveurs doivent identifier et demander un unique fait atomique manquant sous un budget strict avant de calculer la réponse finale, permettant ainsi l'évaluation séparée des capacités de recherche d'information et de raisonnement des modèles de langage.

Auteurs originaux : Charbel Al Bateh, Samer Saab Jr

Publié 2026-07-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Charbel Al Bateh, Samer Saab Jr

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un puzzle complexe, comme un Sudoku ou un problème de mathématiques. Habituellement, lorsque vous passez un examen ou que vous utilisez un programme informatique intelligent, on vous donne tous les éléments dont vous avez besoin pour terminer l'image. Vous n'avez plus qu'à les assembler correctement.

Mais dans le monde réel, l'information est souvent manquante. Vous connaissez peut-être les règles d'un jeu, mais vous ne connaissez pas le score. Ou vous connaissez une recette, mais vous ne savez pas quelle quantité de sel ajouter.

MIRA-Math est un nouveau « test » conçu pour voir si les modèles d'IA (comme les chatbots intelligents que nous utilisons aujourd'hui) peuvent gérer cette situation spécifique : savoir ce qu'ils ne savent pas, et demander exactement la pièce d'information manquante pour terminer le travail.

Voici comment l'article l'explique, en utilisant des analogies simples :

1. Le jeu de l'« ingrédient manquant »

La plupart des tests de mathématiques pour l'IA consistent à donner à un chef une recette complète et tous les ingrédients, puis à lui demander de faire un gâteau. Le test est : « Pouvez-vous faire le gâteau ? »

MIRA-Math est différent. Il donne à l'IA une recette qui est délibérément incomplète.

La configuration : L'IA voit un problème mathématique, mais un nombre ou un fait crucial est caché (comme un ingrédient manquant).
L'objectif : L'IA doit réaliser que quelque chose manque, le demander en langage clair, puis utiliser ce nouveau fait pour résoudre le problème.
Le piège : L'IA a un « budget » strict. Elle ne peut poser que quelques questions. Si elle pose la mauvaise question, ou si elle est trop vague, elle échoue.

2. Le « bibliothécaire strict »

Pour rendre ce test équitable et précis, l'article introduit un personnage spécial : un Détenteur d'Information Fixe (pensez à eux comme un bibliothécaire très strict et littéral).

Le travail du bibliothécaire : Ce bibliothécaire détient le fait unique qui manque. Il ne vous aide pas à résoudre le problème. Il ne vous donne pas d'indices. Il n'explique rien.
Les règles :
- Si vous demandez : « Quel est le nombre manquant ? » (trop vague), le bibliothécaire répond : « Je n'ai pas cela. »
- Si vous demandez : « Quelle est la valeur de la variable X ? » (précis), et que le bibliothécaire possède ce fait spécifique, il vous le remet.
- Si vous demandez quelque chose qu'il ne possède pas, il dit : « Non. »

Cette configuration teste si l'IA est capable d'être précise dans ses questions, et pas seulement intelligente en mathématiques.

3. Deux types de défis

L'article a créé 2 310 puzzles différents, répartis en deux catégories :

Type A (Le « emplacement fixe ») : L'IA sait où se trouve la pièce manquante.
- Analogie : Imaginez un formulaire avec une ligne vide qui indique « Date de naissance : ______ ». L'IA sait qu'elle doit demander la date. Le test est : peut-elle demander la date correctement, puis l'utiliser pour résoudre le problème ?
Type B (L'« emplacement caché ») : L'IA doit trouver où se trouve la pièce manquante.
- Analogie : Imaginez un formulaire où l'une des dix lignes est vide, mais sans préciser laquelle. L'IA doit examiner tout le formulaire, comprendre : « Oh, la ligne "Numéro de téléphone" est vide », puis demander spécifiquement cette chose. C'est plus difficile car l'IA doit d'abord diagnostiquer le problème.

4. Ce que les tests ont révélé

Les chercheurs ont testé de nombreux modèles d'IA (certains très intelligents, d'autres plus petits) et ont découvert des choses surprenantes :

Demander et résoudre sont deux compétences différentes : Ce n'est pas parce qu'une IA est douée pour poser la bonne question qu'elle est bonne pour faire le calcul ensuite.
- Exemple : Une IA a demandé le fait manquant parfait (comme un excellent détective), mais a ensuite échoué dans le calcul (comme un mauvais comptable).
- Exemple : Une autre IA a fait les calculs parfaitement mais a demandé le mauvais fait, elle n'a donc jamais pu obtenir la réponse.
La pratique ne sert pas toujours : Les chercheurs ont essayé de montrer à l'IA des exemples de la manière de poser des questions (comme une « feuille de triche » ou un « prompting à 4 coups »). Parfois, cela aidait, mais souvent, cela rendait l'IA moins bonne.
- Pourquoi ? L'IA a commencé à copier les exemples de manière trop rigide. Au lieu de regarder le problème spécifique sous les yeux, elle répétait simplement le modèle qu'elle avait vu dans les exemples, même quand le problème nécessitait une question différente.

5. Pourquoi cela importe

Les auteurs affirment que ce benchmark est comme un outil de diagnostic pour les médecins.

Les tests actuels indiquent si un étudiant peut résoudre un problème s'il a toutes ses notes.
MIRA-Math indique si un étudiant peut identifier une lacune dans ses connaissances et communiquer efficacement pour la combler.

L'article conclut que pour que l'IA soit véritablement utile dans le monde réel, où l'information est souvent incomplète, elle doit maîtriser cette compétence spécifique : savoir exactement ce qu'il faut demander, et utiliser la bonne réponse correctement.

En résumé : MIRA-Math ne teste pas seulement si l'IA sait faire des mathématiques ; il teste si l'IA peut admettre ce qu'elle ne sait pas et poser la question appropriée pour y remédier, sans s'embrouiller ni deviner.

Résumé Technique : MIRA-Math

Énoncé du Problème

Les benchmarks de raisonnement mathématique actuels (par exemple, GSM8K, MATH) fournissent généralement tous les faits nécessaires pour résoudre un problème, évaluant uniquement la capacité du modèle à calculer une réponse finale à partir d'un état complet. À l'inverse, les benchmarks interactifs larges confondent souvent le raisonnement mathématique avec l'utilisation d'outils, la recherche, la navigation web et la gestion de dialogues à long horizon. Cela crée un fossé diagnostique : il est difficile d'isoler si un modèle échoue parce qu'il ne peut pas identifier l'information manquante, parce qu'il ne peut pas demander cette information avec précision, ou parce qu'il ne peut pas intégrer l'information acquise dans une solution correcte.

MIRA-Math répond à cela en introduisant un benchmark pour la demande d'informations minimales. Le problème central est défini par la résolution de problèmes mathématiques où l'état latent complet possède une réponse unique, mais où la vue du solveur est délibérément incomplète, manquant exactement un fait atomique nécessaire. Le solveur doit reconnaître le fait manquant, le demander en langage naturel sous un budget strict, et intégrer le fait retourné pour produire une réponse finale exacte.

Méthodologie

Formalisation de la Tâche

Chaque instance est générée à partir d'un état complet latent $z$ déterminant une réponse cible unique $y = f(z)$ . Le solveur reçoit une vue privée $v_A = \phi_A(z)$ qui omet un fait atomique nécessaire. Le benchmark impose deux conditions :

Bien-posé Global : L'état complet (vue + fait manquant) produit exactement une réponse cohérente.
Sous-détermination Locale : La vue privée du solveur seule produit plusieurs réponses cohérentes.

Protocole d'Interaction

L'évaluation implique deux agents :

Solveur (Agent A) : Reçoit la vue privée et un budget de requête $B$ . Il émet des requêtes en langage naturel libre ou fournit une réponse finale.
Détenteur d'Information (Agent B) : Un LLM fixe et contraint (implémenté comme gpt-4o-mini dans les expériences) qui détient uniquement le fait atomique manquant. Il opère selon un protocole de sortie structurée :
- Offre : Si la requête correspond sémantiquement au fait détenu, il retourne le fait avec has_exact_match=true.
- Refus : Si la requête ne correspond pas, il retourne un message de déclinaison fixe.
- Le détenteur ne résout pas, n'explique pas, ne négocie pas et ne propose pas de conseils supplémentaires.

Construction du Jeu de Données

MIRA-Math contient 2 310 instances dérivées de 22 familles mathématiques typées (couvrant l'algèbre, les probabilités, les systèmes linéaires, le traitement du signal, les chaînes de Markov, etc.). Le jeu de données est divisé en deux types :

Type A (Slot d'indice fixe) : L'information manquante est structurellement déterminée (par exemple, une instance de la règle de Bayes omet toujours la probabilité a priori).
Type B (Slot d'indice variable) : La position manquante varie par instance (par exemple, un coefficient manquant dans un système linéaire ou une résistance manquante dans un circuit), obligeant le solveur à localiser l'emplacement absent avant de faire la requête.

La publication inclut le code de génération, des vérificateurs exacts, des spécifications canoniques d'indices et des journaux d'interaction bruts pour garantir la reproductibilité.

Métriques

Le benchmark sépare l'acquisition d'informations de l'intégration mathématique en utilisant les métriques suivantes :

Taux de succès de la requête (Request Hit Rate) : Ratio de requêtes acceptées sur le total des messages.
Succès de la première requête (First-Request Success) : Fraction d'instances où la première requête est acceptée.
Décomposition par niveau de trace : Les instances sont classées en trois catégories disjointes :
1. Aucun indice canonique acquis : Le solveur a échoué à demander le fait correct.
2. Indice acquis, intégration échouée : Le solveur a obtenu le fait mais a calculé la mauvaise réponse.
3. Succès : Le solveur a acquis le fait et a calculé la réponse correcte.

Résultats Clés

Les expériences menées sur les modèles de pointe et les petits modèles (incluant gpt-5.1, Gemma-4, gemini-2.5-flash, Grok-4.20 et Llama-3.1-8B) révèlent que demander et résoudre sont des compétences séparables :

Divergence des compétences : Une haute performance de requête ne garantit pas une haute précision de la réponse finale. Par exemple, gemini-2.5-flash a obtenu le taux de succès de requête le plus élevé en zero-shot, mais avait une précision finale inférieure à gpt-5.1 et Gemma-4. Inversement, Gemma-4 a obtenu la plus haute précision finale en zero-shot sans atteindre les meilleures métriques de requête.
Modes d'échec :
- Échecs d'acquisition : Les modèles échouent souvent à identifier le slot spécifique manquant ou demandent de manière trop vague, entraînant des refus répétés.
- Échecs d'intégration : Les modèles plus puissants acquièrent souvent l'indice canonique mais échouent lors de l'arithmétique exacte en aval, de la reconstruction symbolique ou de la normalisation de la réponse.
Effets du Prompting : Le prompting à quatre coups (four-shot) (fournissant des exemples de requêtes minimales) n'a pas amélioré les performances de manière uniforme. Dans les familles de Type B, où le slot manquant varie, les exemples few-shot ont parfois induit un "ancrage par l'exemplaire", causant les modèles à imiter les formes de requête démontrées plutôt qu'à s'adapter au slot manquant spécifique, ce qui a potentiellement dégradé les performances.
Type A vs Type B : Les familles de Type B (slots variables) n'étaient pas uniformément plus difficiles en termes de précision finale ; les modèles forts performaient souvent mieux sur le Type B que sur le Type A. Cependant, les familles de Type A contenaient des tâches où la requête était facile mais le calcul en aval était fragile (par exemple, la reconstruction exacte par le théorème des restes chinois).

Signification et Revendications

Le papier positionne MIRA-Math non pas comme un remplacement des benchmarks mathématiques à information complète, mais comme un outil de diagnostic pour exposer les structures cachées et les lacunes d'évaluation. Sa principale importance réside dans :

Isolation d'un goulot d'étranglement spécifique : Il mesure explicitement la capacité à reconnaître des problèmes sous-déterminés, à identifier le fait atomique manquant et à le demander précisément, séparant cela de la capacité à calculer la réponse finale.
Conception centrée sur les données : Suivant les tendances récentes de conception de jeux de données responsables, la publication privilégie la reproductibilité en fournissant des générateurs, des vérificateurs et des journaux bruts, permettant à la communauté d'auditer le pipeline "requête-vers-résolution" plutôt que de se fier uniquement à la précision globale.
Raffinement de l'évaluation : Les résultats démontrent que la performance d'un modèle sur les benchmarks mathématiques standards n'implique pas nécessairement une compétence en acquisition d'informations. Un modèle peut être fort en mathématiques mais échouer à MIRA-Math s'il ne peut pas identifier ce qui manque, ou peut être bon pour demander mais échouer pour les mathématiques.

Les auteurs concluent que MIRA-Math sert de suite de base pour les futurs modèles et d'outil d'analyse pour étudier quand les modèles de langage demandent l'information mathématique manquante plutôt que de deviner, sans prétendre mesurer la collaboration ouverte, la communication humaine ou la prise de décision en situation réelle.