APE-Bench: Evaluating Automated Proof Engineering for Formal Math Libraries
Ce document présente APE-Bench, le premier cadre et benchmark systématique pour évaluer l'ingénierie de preuves automatisée dans les bibliothèques de mathématiques formelles en extrayant des tâches réelles à l'échelle de dépôts et en fournissant un harnais unifié pour valider tant la compilation syntaxique que la correction sémantique à travers diverses implémentations d'agents.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez d'apprendre à un robot comment être un bibliothécaire expert pour une immense bibliothèque vivante de preuves mathématiques. Cette bibliothèque, appelée Mathlib, contient des millions de pages. Elle n'est pas seulement un livre statique ; elle est constamment réécrite, étendue et corrigée par des experts humains.
Pendant longtemps, des chercheurs ont testé des robots sur leur capacité à résoudre des énigmes mathématiques isolées et uniques (comme « Prouvez que 2+2=4 »). Mais dans le monde réel, être mathématicien ne se résume pas à résoudre une seule énigme ; c'est de l'ingénierie de preuve. Cela signifie naviguer dans toute la bibliothèque, trouver les bons outils, réparer les pages cassées et s'assurer que vos nouveaux ajouts s'intègrent parfaitement avec les millions de pages déjà existantes sans rien casser d'autre.
Ce document présente une nouvelle façon de tester les robots sur ces compétences du monde réel. Voici la décomposition utilisant des analogies simples :
1. Le Problème : L'« Énigme Isolée » vs La « Bibliothèque Vivante »
- L'ancienne méthode (miniF2F) : Imaginez tester un chef en lui donnant une seule fiche de recette et en lui demandant de cuisiner un seul plat. Si le plat est bon, il réussit. Cela ne vous dit pas s'il peut gérer toute la cuisine d'un restaurant, commander des ingrédients ou réparer un four cassé.
- La Réalité : Le vrai travail mathématique est comme la gestion de ce restaurant. Vous devez vous coordonner avec d'autres chefs, utiliser des outils spécifiques et vous assurer que votre nouveau plat ne gâche pas le menu.
- L'Écart : Les tests existants ne vérifiaient que si le robot pouvait cuisiner ce plat unique. Ils ne vérifiaient pas si le robot pouvait gérer le chaos d'une véritable cuisine.
2. La Solution : APE-Bench (Le test de la « Bibliothèque Vivante »)
Les auteurs ont créé APE-Bench, un nouveau terrain d'essai qui imite la maintenance réelle d'une bibliothèque.
- Comment ça marche : Au lieu de donner au robot une fausse énigme, le système examine l'histoire réelle de la bibliothèque Mathlib. Il trouve un moment où un expert humain a effectué un changement (un « commit »), cache ce changement, et demande au robot : « Voici la bibliothèque avant le changement. Voici une note indiquant ce que l'humain voulait faire. Pouvez-vous effectuer ce changement ? »
- Le Twist : Le robot n'est pas seulement évalué sur le fait que le code « fonctionne » (syntaxe). Il est évalué sur deux choses :
- Compilation : Le code a-t-il réellement compilé sans erreur ? (Le plat a-t-il brûlé ?)
- Vérification Sémantique : Le robot a-t-il réellement fait ce qui était demandé ? (A-t-il réparé le bon problème, ou a-t-il simplement modifié des lignes au hasard ?)
3. L'Infrastructure : APE-Harness (La « Cuisine Universelle »)
Pour exécuter ces tests de manière équitable, ils ont construit un système appelé APE-Harness. Considérez cela comme un simulateur de cuisine universel.
- Le « Contrat » : Chaque test vient avec un contrat strict. Il dit : « Vous êtes dans cette version spécifique de la bibliothèque. Vous ne pouvez toucher qu'à ces fichiers. Vous devez prouver que vous avez fait le travail. »
- Les « Échafaudages » : Le système est conçu pour que vous puissiez brancher différents robots (comme Claude Code, Codex, ou leur propre APE-Agent) dans la même cuisine. Comme les règles de la cuisine (le contrat) sont les mêmes pour tout le monde, vous pouvez comparer équitablement qui est réellement le meilleur chef, plutôt que de simplement voir qui a eu de la chance avec les instructions.
- L'astuce du « Voyage dans le Temps » : La bibliothèque possède 67 versions différentes (comme 67 éditions différentes d'un livre). Stocker toutes ces versions prendrait énormément de place. Les auteurs ont construit un système intelligent de « déduplication ». Si une page est identique dans la Version 1 et la Version 67, le système ne la stocke qu'une seule fois et crée simplement un lien vers elle. Cela leur a permis d'économiser 85 % de l'espace de stockage et 98 % de l'argent nécessaire pour traiter les données.
4. Les Résultats : Qui a réussi le test ?
Ils ont testé trois modèles d'IA de haut niveau (GPT-5.2, Gemini 3 Pro et Gemini 3 Flash) sur ce nouveau test plus difficile.
- La Difficulté : Ce nouveau test était beaucoup plus difficile que les anciens tests de « l'énigme isolée ».
- Sur les anciens tests, les robots obtenaient 80 à 90 % de réussite.
- Sur ce nouveau test de « Maintenance de Bibliothèque », le meilleur robot n'a obtenu que 47 % de réussite.
- Le Gagnant : Gemini 3 Flash était le plus efficace. Il a résolu le plus de problèmes pour le moins d'argent dépensé. Les autres modèles ont essayé plus fort (plus de tours de conversation) mais ont épuisé leur « budget » avant de terminer.
- La Leçon : Les robots sont excellents pour résoudre des problèmes mathématiques isolés, mais ils ont encore du mal avec la tâche complexe et désordonnée de la gestion d'un immense code source en évolution.
5. Pourquoi cela compte
Le papier affirme qu'il s'agit de la première fois que nous avons un système systématique et automatisé pour tester si une IA peut faire de l'« ingénierie logicielle pour les preuves ».
- Cela déplace les objectifs : de « L'IA peut-elle résoudre un problème mathématique ? » à « L'IA peut-elle travailler comme un mathématicien professionnel dans un environnement d'équipe ? »
- Cela fournit un terrain de jeu équitable où différents systèmes d'IA peuvent être comparés en utilisant exactement les mêmes règles et outils.
En bref : Les auteurs ont construit une simulation réaliste d'une immense et complexe bibliothèque mathématique ainsi qu'un ensemble de règles pour tester si l'IA peut la réparer. Ils ont découvert que, bien que l'IA s'améliore, elle a encore un long chemin à parcourir avant de pouvoir gérer de manière fiable des projets mathématiques complexes et réels de manière autonome.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.