Do We Need Frontier Models to Verify Mathematical Proofs?

1. Problématique et Contexte

Les modèles de langage de grande taille (LLM) ont démontré des capacités remarquables pour résoudre des problèmes mathématiques complexes, allant jusqu'à remporter des médailles d'or dans des compétitions comme les Olympiades Internationales de Mathématiques (IMO). Cependant, la fiabilité de ces générations nécessite une vérification rigoureuse.

Le défi principal réside dans le fait que la vérification de preuves mathématiques en langage naturel est elle-même difficile en raison des ambiguïtés, des hypothèses implicites et des sauts logiques. Bien que l'on considère souvent que la vérification est une tâche plus facile que la génération, il est incertain si les modèles de petite taille (open-source) possèdent la capacité nécessaire pour vérifier des preuves au niveau des modèles de pointe (frontier models), ou si l'échelle massive de ces derniers est indispensable.

L'article pose la question centrale : Les modèles de pointe sont-ils nécessaires pour vérifier les preuves mathématiques complexes, ou des modèles plus petits peuvent-ils atteindre un niveau de performance équivalent grâce à des techniques d'inférence appropriées ?

2. Méthodologie

Les auteurs ont mené une évaluation systématique et reproductible en comparant des modèles de pointe et des modèles open-source plus petits sur des preuves générées par des LLM pour des problèmes de niveau olympique.

A. Configuration Expérimentale

• Modèles évalués :
  • Frontier (Pointe) : GPT-5.2 (OpenAI) et Gemini 3.1 Pro (Google).
  • Open-source (Plus petits) : GPT-OSS (20B et 120B) et Qwen3.5 (35B et 122B).
  • Pour chaque modèle, des variantes à faible et fort effort de raisonnement (high reasoning) ont été testées.
• Données : Trois benchmarks récents contenant des problèmes de niveau IMO et leurs preuves générées par LLM, annotées par des humains (IMO-GradingBench, ProofArena, ProofBench).
• Métriques :
  • Précision équilibrée (Balanced Accuracy) : Moyenne des taux de vrais positifs et de vrais négatifs.
  • Auto-cohérence (Self-Consistency) : Taux d'accord entre plusieurs jugements répétés sur la même preuve (mesure de la reproductibilité).

B. Approche de Recherche de Prompts

L'étude s'est déroulée en deux phases principales :

1. Analyse des échecs : Identification des modes d'échec spécifiques des petits modèles (notamment les faux négatifs, où le modèle accepte une preuve erronée).
2. Synthèse d'un ensemble de prompts (Prompt Ensemble) :
   • Utilisation d'un agent (Claude Code) pour rechercher itérativement des prompts capables de corriger les modes d'échec identifiés.
   • Création d'un ensemble de 12 prompts spécialisés (ex: "Logic Chain Verifier", "Proof Repair", "Extreme Skeptic", "Theorem Usage Analysis") couvrant différentes stratégies de vérification.
   • Agrégation : Les jugements de ces 12 appels de prompts sont combinés via un vote à seuil (une preuve est validée si au moins 8 des 12 prompts la jugent correcte).

3. Contributions Clés

1. Évaluation Comparative Systématique : Une analyse approfondie de la capacité des modèles de différentes tailles à vérifier des preuves, mesurant à la fois la précision et la cohérence.
2. Démonstration de la Capacité Latente : Preuve que les petits modèles possèdent déjà les capacités mathématiques nécessaires pour la vérification, mais qu'ils échouent à les exprimer de manière fiable avec des prompts génériques.
3. Méthode d'Ensemble de Prompts Spécialisés : Développement d'une méthode de recherche de prompts guidée par LLM pour synthétiser un ensemble de jugements complémentaires, réduisant les biais et les erreurs spécifiques.
4. Réduction de l'Écart de Performance : Démonstration qu'un ensemble de prompts permet aux modèles open-source (comme Qwen3.5-35B) de rivaliser avec les modèles de pointe (comme Gemini 3.1 Pro) en termes de précision et de cohérence.

4. Résultats Principaux

• Écart de Précision Réduit : Les petits modèles open-source ne sont en retard que d'environ 10 % par rapport aux modèles de pointe en termes de précision équilibrée (Balanced Accuracy) lorsqu'ils utilisent des prompts standards.
• Problème de Cohérence : La principale faiblesse des petits modèles réside dans leur manque de cohérence (jusqu'à 25 % de moins que les modèles de pointe). Ils sont plus susceptibles de donner des verdicts différents pour la même preuve lors de répétitions.
• Impact des Prompts : La précision est extrêmement sensible au choix du prompt. Certains prompts (comme GIMO) augmentent les faux négatifs, tandis que d'autres augmentent les faux positifs.
• Efficacité de l'Ensemble de Prompts :
  • L'application de l'ensemble de 12 prompts spécialisés a permis d'augmenter la précision équilibrée des petits modèles de jusqu'à 9,1 %.
  • La cohérence auto (self-consistency) a été améliorée de jusqu'à 15,9 %.
  • Résultat marquant : Le modèle Qwen3.5-35B (35 milliards de paramètres), une fois optimisé avec cet ensemble, atteint des performances équivalentes, voire supérieures sur certains jeux de données, aux modèles de pointe comme Gemini 3.1 Pro et GPT-5.2.

5. Signification et Implications

• Pas de Nécessité de Modèles de Pointe pour la Vérification : L'article conclut que les modèles de pointe ne sont pas strictement nécessaires pour vérifier des preuves mathématiques complexes. Les modèles plus petits, couplés à des techniques d'inférence avancées (comme l'ensemble de prompts), suffisent.
• Le Goulot d'Étranglement est la Stratégie, pas la Capacité : L'écart de performance ne provient pas d'un manque de compétences mathématiques intrinsèques des petits modèles, mais de leur incapacité à adopter la stratégie de vérification appropriée sans guidance spécifique.
• Généralisation : La méthode d'ensemble de prompts se généralise bien à travers différents modèles et différents jeux de données, suggérant que les modes d'échec des petits modèles sont des faiblesses générales de la tâche de vérification plutôt que des défauts spécifiques à un modèle.
• Avenir de la Vérification : Ces résultats ouvrent la voie à l'utilisation de modèles open-source plus économiques et accessibles pour des tâches de vérification critique, en utilisant des techniques de "test-time scaling" (mise à l'échelle au moment de l'inférence) plutôt que le simple scaling de la taille du modèle.

En résumé, cette étude démontre que la vérification fiable de preuves mathématiques peut être démocratisée en utilisant des modèles open-source intelligemment orchestrés, rendant l'accès aux modèles de pointe moins critique pour cette tâche spécifique.