🤖 machine learning

OptProver: Bridging Olympiad and Optimization through Continual Training in Formal Theorem Proving

OptProver est un modèle de preuve formelle qui parvient à transférer efficacement des capacités de raisonnement mathématique de niveau olympiade vers le domaine de l'optimisation universitaire grâce à une curation de données spécialisée et un nouvel objectif d'apprentissage par préférence.

Auteurs originaux : Chenyi Li, Yanchen Nie, Zhengyu Ming, Gong Zhang, Kun Yuan, Zaiwen Wen

Publié 2026-04-28

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Chenyi Li, Yanchen Nie, Zhengyu Ming, Gong Zhang, Kun Yuan, Zaiwen Wen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : Le "Choc des Cultures" Mathématiques

Imaginez que vous avez un étudiant brillant, capable de résoudre les problèmes les plus tordus des Olympiades de mathématiques (le genre de défis qui demandent de l'astuce et de la créativité). C'est notre modèle d'intelligence artificielle de base.

Maintenant, demandez à cet étudiant de devenir un expert en Optimisation. L'optimisation, c'est l'art de trouver la "meilleure solution possible" (le chemin le plus court, le coût le plus bas, l'efficacité maximale). C'est la base de tout ce qui est moderne : de l'entraînement des IA à la gestion des réseaux électriques.

Le problème ? L'optimisation n'utilise pas les mêmes "codes" que les Olympiades. C'est comme si vous demandiez à un poète de devenir soudainement un ingénieur en aéronautique. Le poète connaît les mots, mais il ne connaît pas les normes de sécurité, les calculs de résistance des matériaux ou le langage technique des ingénieurs.

Si on force le poète à lire des manuels d'ingénierie trop vite, il va paniquer : il va essayer d'écrire des poèmes avec des boulons, ou il va oublier comment faire des rimes. C'est ce qu'on appelle en informatique l'oubli catastrophique.

La Solution : OptProver (Le Coach de Transition)

Les chercheurs ont créé OptProver. Au lieu de simplement "jeter" des livres d'optimisation devant l'IA, ils ont mis en place un programme d'entraînement intelligent en trois étapes :

1. L'Apprentissage par l'Action (L'Expertise par l'Essai-Erreur)

Au lieu de simplement lire des solutions toutes faites, l'IA est mise dans un simulateur (un outil appelé Lean 4). On lui donne des problèmes et on la laisse essayer de les résoudre.

L'analogie : C'est comme apprendre à conduire. Vous ne lisez pas juste un manuel ; vous montez dans une voiture de simulation, vous tournez le volant, et si vous sortez de la route, le simulateur vous le dit immédiatement. L'IA apprend de ses propres succès.

2. Le Filtre "Utilité vs Validité" (Éviter les Impasses)

C'est l'innovation la plus maline du papier. Dans les mathématiques formelles, une étape peut être "correcte" (elle ne viole aucune règle) mais totalement "inutile" (elle ne fait pas avancer le problème).

L'analogie : Imaginez que vous cherchez vos clés dans votre salon. Vous pouvez passer 10 minutes à déplacer chaque coussin de votre canapé un par un. Chaque mouvement est "valide" (vous ne cassez rien), mais c'est une perte de temps monumentale.
OptProver a été entraîné à reconnaître ces "mouvements de coussins" inutiles. On lui apprend à préférer les chemins qui mènent directement aux clés, plutôt que les chemins qui sont juste "corrects mais sans but".

3. Le Stabilisateur de Mémoire (Le Poids des Mots)

Pour éviter que l'IA n'oublie ses talents de "poète" (ses capacités de raisonnement général) en devenant "ingénieur", les chercheurs ont utilisé une technique de pondération. Ils calculent la "surprise" de l'IA face à un nouveau mot. Si un mot est trop étrange ou trop complexe, l'IA ne va pas s'acharner dessus au point de dérégler tout son cerveau. Elle apprend doucement, en restant ancrée dans ce qu'elle sait déjà.

Le Résultat : Un Expert Polyvalent

Grâce à cette méthode, OptProver ne se contente pas de devenir un expert en optimisation (il réussit là où les autres modèles échouent, avec un taux de réussite de plus de 55% sur leurs tests spécialisés).

Mieux encore : il n'a pas perdu son intelligence d'origine. Il est devenu cet étudiant rare qui est à la fois un poète brillant et un ingénieur rigoureux. Il peut passer d'un problème de logique pure à un calcul complexe de trajectoire sans perdre le fil.

En résumé : OptProver, c'est l'art d'apprendre une nouvelle spécialité complexe sans perdre son intelligence de base, en apprenant non seulement ce qui est vrai, mais surtout ce qui est efficace.

Résumé Technique : OptProver

Titre : OptProver: Bridging Olympiad and Optimization through Continual Training in Formal Theorem Proving

1. Problématique (Le Problème)

Les modèles de langage (LLM) actuels spécialisés dans la preuve de théorèmes formels (utilisant des assistants comme Lean 4) excellent dans les mathématiques de niveau Olympiades (ex: MiniF2F). Cependant, ils échouent massivement lorsqu'ils sont appliqués au domaine de l'optimisation (mathématiques de niveau licence/master).

Les auteurs identifient deux obstacles majeurs à l'adaptation de domaine :

Le décalage de distribution interactif (Interactive Distribution Shift) : Contrairement au texte naturel, la preuve formelle est binaire (correct ou incorrect). L'apprentissage direct sur de nouveaux manuels crée un décalage entre le style de preuve de l'Olympiade et les idiomes tactiques de l'optimisation.
Le piège de la faible perplexité (The Low-Perplexity Trap) : Minimiser la perplexité sur un nouveau corpus ne garantit pas l'utilité de la preuve. Le modèle peut apprendre des tactiques syntaxiquement valides mais "stagnantes" (qui ne font pas progresser la preuve), agissant comme des impasses dans l'arbre de recherche.
L'oubli catastrophique : L'adaptation à la syntaxe spécialisée de l'optimisation entraîne souvent une perte des capacités de raisonnement général acquises précédemment.

2. Méthodologie (L'Approche)

Pour surmonter ces défis, les auteurs proposent OptProver, un pipeline d'entraînement continu structuré en trois composantes innovantes :

Auto-distillation à grande échelle via l'Itération d'Expert (EI) : Au lieu de simplement copier des manuels, le modèle explore l'espace des preuves de la bibliothèque Mathlib par recherche (self-play). Il génère ses propres trajectoires de preuves réussies, transformant ainsi la connaissance statique en un langage de tactiques maîtrisé par le modèle.
Optimisation de Préférence Sensible à l'Utilité (UAPO) : Les auteurs introduisent une échelle d'utilité $u(s, a) \in \{0, 1, 2\}$ $u (s, a) \in {0, 1, 2}$ pour les paires état-tactique :
- $u=2$ : Transition réussie (preuve complétée).
- $u=0$ : Erreur de compilation.
- $u=1$ : Transition stagnante (tactique syntaxiquement correcte mais qui mène à une impasse de recherche).
  L'objectif est de pénaliser explicitement ces tactiques $u=1$ pour guider la recherche vers des trajectoires efficaces.
DPO pondéré par la perplexité (PW-DPO) : Pour stabiliser l'entraînement, ils modifient l'objectif Direct Preference Optimization (DPO) en appliquant un poids inverse à la perplexité des tokens. Cela empêche les tokens à haute perplexité (souvent du bruit ou des données hors distribution) de dominer le gradient, évitant ainsi l'instabilité numérique.

3. Contributions Clés

Nouveau Benchmark (OptBench) : Un ensemble de 400 problèmes d'optimisation formels (fondamentaux, convexité, algorithmique) pour évaluer rigoureusement les modèles.
Cadre d'entraînement robuste : Une méthode qui combine l'itération d'expert, la gestion de l'utilité des tactiques et la pondération par la perplexité.
Algorithme PW-UAPO : Une fusion de l'optimisation de préférence basée sur l'utilité et de la pondération par la perplexité.

4. Résultats

Performance sur OptBench : OptProver atteint un taux de réussite de 55,25 % (Pass@32), surpassant largement les modèles de génération de preuve complète (qui plafonnent sous les 20 %) et les modèles de preuve par étape (step-level) de taille comparable.
Absence d'oubli catastrophique : Les tests sur les benchmarks généraux (MiniF2F et ProofNet) montrent que le modèle maintient, voire améliore, ses capacités de raisonnement mathématique général.
Efficacité de recherche : Le modèle démontre une capacité supérieure à utiliser des définitions spécialisées (ex: sous-gradients, opérateurs proximaux) en "déballant" (unfolding) les définitions pour raisonner sur leurs propriétés concrètes.

5. Signification (L'Impact)

Ce travail démontre que l'adaptation de domaine pour la preuve formelle ne peut pas être traitée comme un simple ajustement de texte (SFT). Elle nécessite une compréhension de la stratégie de recherche. En distinguant la validité syntaxique de l'utilité de recherche, OptProver ouvre la voie à des agents capables de maîtriser des domaines mathématiques de plus en plus spécialisés et complexes, essentiels pour l'informatique scientifique et l'apprentissage automatique.