The CompMath-MCQ Dataset: Are LLMs Ready for Higher-Level Math?

Ce papier présente CompMath-MCQ, un nouveau jeu de données de 1 500 questions à choix multiples conçues par des professeurs pour évaluer les capacités de raisonnement mathématique avancé des modèles de langage, révélant que ces derniers peinent encore à maîtriser ce niveau de complexité.

L'essentiel

🎓 Le Défi : Les IA sont-elles prêtes pour l'université ?

Imaginez que les grands modèles d'intelligence artificielle (les "LLMs" comme ChatGPT) soient des élèves brillants. Jusqu'à présent, on les a surtout testés avec des exercices de niveau école primaire (comme "combien font 2+2 ?") ou des concours de mathématiques style Olympiades (des énigmes très créatives mais courtes).

Mais qu'en est-il de leur niveau université, voire doctorat ? Sont-ils capables de gérer les cours avancés que suivent les étudiants en master ou en thèse ? C'est là que les chercheurs de l'Université de Bologne ont décidé de lancer un nouveau défi.

📚 La Solution : Le "CompMath-MCQ"

Ils ont créé un nouveau jeu de questions, qu'ils appellent CompMath-MCQ. C'est un peu comme un examen blanc très spécial pour les IA.

Voici ce qui le rend unique :

1. C'est du "Zéro Plagiat" : Contrairement à d'autres tests où les IA ont pu "apprendre par cœur" les réponses en lisant des livres sur Internet, ici, toutes les questions ont été inventées sur mesure par des professeurs de mathématiques. C'est comme si le prof inventait un sujet d'examen le jour même, juste pour voir si l'élève comprend vraiment la logique ou s'il triche avec sa mémoire.
2. Le Format "QCM" (Question à Choix Multiples) : Au lieu de demander à l'IA d'écrire une dissertation (ce qui est difficile à corriger objectivement), on lui donne trois réponses possibles. Elle doit juste pointer la bonne. C'est plus juste, plus rapide et moins sujet aux erreurs de correction.
3. Les Matières : Le test couvre des sujets de niveau master : Algèbre linéaire, Optimisation numérique, Calcul vectoriel, Probabilités et même de la programmation Python pour les sciences.

🔍 Comment ont-ils vérifié que le test était bon ?

Ils ne voulaient pas que leur examen soit rempli de pièges ou d'erreurs. Alors, ils ont utilisé une méthode en deux étapes, un peu comme un contrôle qualité :

• Étape 1 : Le test croisé. Ils ont fait répondre le même examen par plusieurs IA différentes (des modèles très puissants). Si toutes les IA se trompent sur la même question, c'est suspect : soit la question est mal formulée, soit la réponse indiquée comme "correcte" est fausse.
• Étape 2 : L'œil humain. Les professeurs ont relu manuellement les questions qui posaient problème pour s'assurer que tout était clair et juste.

🏁 Les Résultats : Qui gagne ?

Ils ont fait passer ce test à plusieurs IA, des plus petites aux plus puissantes (comme GPT-5, Claude, ou des modèles open-source). Voici ce qu'ils ont découvert :

• Les champions : Les IA sont excellentes en Probabilités et en Python. C'est comme si elles avaient beaucoup lu de livres sur ces sujets et qu'elles s'y sentaient très à l'aise.
• Le point faible : Le Calcul Vectoriel (c'est-à-dire manipuler des formules complexes avec plusieurs variables) reste un cauchemar. Même les meilleures IA font des erreurs de signe ou oublient des étapes, un peu comme un étudiant qui a compris la théorie mais qui se trompe dans ses calculs à la main.
• Le verdict général : Les IA sont devenues très fortes, mais elles ne sont pas encore des "docteurs" en mathématiques appliquées. Elles ont du mal avec la logique complexe et les calculs symboliques précis qui demandent une attention de tous les instants.

💡 En résumé

Cette recherche nous dit deux choses importantes :

1. On ne peut plus se fier aux vieux tests de mathématiques pour juger les IA, car elles les ont déjà "lus". Il faut créer de nouveaux examens originaux.
2. Bien que les IA soient impressionnantes, elles ont encore besoin de faire leurs preuves sur les mathématiques de haut niveau, surtout quand il s'agit de faire des calculs complexes étape par étape sans se tromper.

C'est un peu comme si on testait un pilote d'avion : jusqu'ici, on le testait sur un simulateur de vol calme. Avec CompMath-MCQ, on le met enfin dans une tempête pour voir s'il sait vraiment piloter ! 🌪️✈️

Résumé technique

1. Problématique et Contexte

L'évaluation des Grands Modèles de Langage (LLM) sur le raisonnement mathématique s'est principalement concentrée sur des problèmes élémentaires (ex: GSM8K), des questions de type concours (ex: MATH) ou la preuve formelle de théorèmes. Cependant, il existe une lacune significative concernant l'évaluation des modèles sur des mathématiques computationnelles et appliquées de niveau master et doctorat.

Les défis actuels incluent :

• Manque de benchmarks adaptés : Les existants se concentrent soit sur des solutions courtes et ingénieuses (olympiades), soit sur des preuves formelles nécessitant des outils spécialisés, négligeant la compréhension conceptuelle et technique requise dans les cursus universitaires avancés.
• Risque de fuite de données (Data Leakage) : De nombreux benchmarks utilisent des problèmes issus de manuels ou de ressources en ligne, ce qui fausse les résultats car les modèles ont pu être entraînés sur ces mêmes données.
• Subjectivité de l'évaluation : Les formats de réponse libre (open-ended) nécessitent une évaluation humaine ou des heuristiques complexes, introduisant des biais et manquant de reproductibilité.

2. Méthodologie

Les auteurs proposent CompMath-MCQ, un nouveau jeu de données conçu pour combler ces lacunes.

A. Construction du Dataset

• Contenu : 1 500 questions à choix multiples (QCM) originales, rédigées manuellement par des professeurs d'université.
• Domaines couverts : Algèbre linéaire, Optimisation numérique, Calcul vectoriel, Probabilités et Calcul scientifique basé sur Python.
• Format : Chaque question propose exactement trois options, dont une seule est correcte. Les options incorrectes (leurres) sont conçues pour refléter des erreurs de raisonnement courantes ou des malentendus conceptuels.
• Absence de fuite de données : Aucune question n'est extraite de manuels existants, de dépôts en ligne ou de benchmarks précédents, garantissant une évaluation honnête des capacités de généralisation.

B. Cadre de Validation (Two-Stage Validation)

Pour assurer la qualité et l'absence d'ambiguïté, un processus de validation en deux étapes a été mis en place :

1. Analyse automatique par consensus de modèles : Huit LLMs (modèles propriétaires et open-source) ont répondu aux questions. Les auteurs ont calculé le taux d'erreur par question et le consensus sur les mauvaises réponses. Les questions où plusieurs modèles échouent systématiquement ou convergent vers la même mauvaise réponse sont flaggées comme potentiellement ambiguës.
2. Révision manuelle par des experts : Les questions identifiées comme problématiques ont été réexaminées par les auteurs pour corriger les erreurs mathématiques, clarifier les énoncés ou supprimer les items ambigus.

C. Protocole d'Évaluation

• Outil : Utilisation de la bibliothèque lm-eval.
• Modèles Open-Weights : Évaluation basée sur le classement par vraisemblance logarithmique (log-likelihood ranking). Au lieu de générer du texte, le modèle calcule la probabilité de chaque option de réponse. La réponse prédite est celle ayant la vraisemblance la plus élevée (normalisée par la longueur pour éviter les biais vers les réponses courtes).
• Modèles Closed-Weights : Évaluation par génération de texte contrainte (prompting), où le modèle doit sélectionner uniquement l'index de la bonne réponse (0, 1 ou 2) dans un format XML spécifique, avec un decoding déterministe (température = 0).

3. Contributions Clés

1. CompMath-MCQ : Le premier benchmark de QCM spécifiquement conçu pour les mathématiques computationnelles de niveau supérieur, aligné sur les programmes universitaires et exempt de fuite de données.
2. Cadre de validation robuste : Une méthodologie combinant des statistiques de désaccord entre modèles multiples et une revue humaine experte pour garantir la fiabilité interne du dataset.
3. Évaluation objective et reproductible : L'utilisation d'un format QCM avec évaluation par vraisemblance logarithmique élimine les ambiguïtés du parsing de réponses libres, permettant des comparaisons équitables entre architectures.
4. Lignes de base (Baselines) : Des résultats préliminaires sur des modèles d'état de l'art (GPT-5, Claude Sonnet 4.5, Qwen3, Llama-3.1, etc.) établissant un point de référence pour les travaux futurs.

4. Résultats Expérimentaux

Les résultats révèlent des écarts significatifs de performance selon les domaines mathématiques :

• Performances Globales : Les modèles propriétaires (GPT-5, Claude Sonnet 4.5) obtiennent les meilleurs scores globaux (environ 90-91%), suivis de près par des modèles open-source spécialisés comme Qwen3-Coder 30B Instruct (89,4%).
• Forces des modèles :
  • Probabilités et Python : Les modèles excellent dans ces domaines (souvent >95% pour les meilleurs modèles), suggérant que ces sujets sont bien représentés dans les corpus d'entraînement et que la compétence en programmation aide au raisonnement computationnel.
• Faiblesses des modèles :
  • Calcul Vectoriel : C'est le domaine le plus difficile, même pour les modèles les plus avancés (ex: ~78% pour Qwen3 30B, ~83% pour Gemini 3). Les erreurs fréquentes incluent des erreurs de signe, des dérivées partielles incorrectes et des échecs dans l'application de la règle de la chaîne.
  • Algèbre Linéaire : Reste également un défi, bien que moins critique que le calcul vectoriel.
• Impact de la spécialisation : Les modèles spécialisés en mathématiques (ex: Qwen2.5-Math) surpassent souvent les modèles généraux de taille similaire, soulignant l'importance du post-entraînement axé sur les mathématiques.

5. Signification et Conclusion

L'article conclut que, bien que les LLMs aient fait des progrès notables, le raisonnement mathématique computationnel de haut niveau reste un défi majeur.

• Limites actuelles : Les modèles peinent encore avec les manipulations symboliques multi-étapes et la rigueur nécessaire dans le calcul vectoriel et l'algèbre linéaire avancée.
• Importance du format QCM : L'adoption d'un format à choix multiples permet une évaluation déterministe et exempte de biais d'interprétation, cruciale pour mesurer les progrès réels au-delà du niveau licence.
• Avenir : CompMath-MCQ offre une plateforme fiable pour tester les futures avancées en raisonnement mathématique, en particulier pour les applications scientifiques et l'ingénierie où la précision computationnelle est non négociable.

En résumé, ce travail fournit un outil essentiel pour évaluer si les IA sont véritablement prêtes à assister dans la recherche mathématique et scientifique de pointe, en mettant en lumière les lacunes persistantes dans la manipulation symbolique complexe.