🤖 machine learning

Escaping the Cognitive Well: Efficient Competition Math with Off-the-Shelf Models

Cet article présente un pipeline d'inférence rentable utilisant des modèles prêts à l'emploi qui atteint des performances de pointe sur les problèmes de mathématiques de type IMO en surmontant le mode de défaillance du « puits cognitif » grâce à l'extraction de conjectures détachées du contexte et à une vérification indépendante.

Auteurs originaux : Xingyu Dang, Rohit Agarwal, Rodrigo Porto, Anirudh Goyal, Liam H Fowl, Sanjeev Arora

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xingyu Dang, Rohit Agarwal, Rodrigo Porto, Anirudh Goyal, Liam H Fowl, Sanjeev Arora

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un casse-tête mathématique incroyablement difficile, comme ceux donnés aux meilleurs lycéens du monde lors des Olympiades Internationales.

Pendant longtemps, les ordinateurs (plus précisément les modèles de langage de grande taille ou « LLM ») ont été très mauvais à cela. Ils pouvaient résoudre des énigmes faciles, mais quand les choses devenaient difficiles, ils restaient bloqués, commettaient des erreurs et répétaient les mêmes erreurs encore et encore.

Pour corriger cela, des chercheurs ont tenté une approche de « force brute » : ils demandaient à l'ordinateur d'essayer de résoudre le problème des milliers de fois, en faisant jouer une partie de l'ordinateur en tant que « Résolveur » (essayant d'écrire la réponse) et une autre partie en tant que « Correcteur » (vérifiant le travail). Si le Correcteur trouvait une erreur, le Résolveur essayait à nouveau.

Le Problème : Le « Puits Cognitif »
Les auteurs de cet article ont découvert un piège aussi amusant que dangereux dans ce processus. Ils l'appellent le « Puits Cognitif ».

Imaginez que vous marchez dans une vallée profonde et brumeuse. Vous pensez monter une colline, mais vous ne faites que marcher en cercles au fond de la vallée.

Le Résolveur écrit une preuve qui semble presque correcte.
Le Correcteur (qui est le même modèle d'IA) examine ce travail. Parce que l'IA est « contaminée » par le contexte de la preuve qu'elle vient de lire, elle est trompée. Elle se dit : « Oh, cela semble presque correct ! Juste une petite faute de frappe par-ci par-là. »
Le Correcteur lui donne un score élevé.
Le Résolveur se dit : « Super ! J'ai presque fini ! » et continue d'affiner la même idée erronée.
L'IA est maintenant coincée dans un « puits » de sa propre création, convaincue qu'elle résout le problème alors qu'elle est complètement dans l'erreur.

Les méthodes précédentes tentaient de s'échapper de ce puits en injectant des sommes massives d'argent dans le problème — en faisant tourner l'ordinateur des milliers de fois en parallèle. Une méthode coûtait environ 3 000 $ pour un seul problème de mathématiques. C'est trop cher pour la plupart des gens.

La Solution : Le Pipeline du « Détective »
Les auteurs ont construit un nouveau système beaucoup moins coûteux (coûtant environ 9 $ par problème) qui échappe au Puits Cognitif grâce à trois astuces ingénieuses :

Ne vous contentez pas de deviner, isolez les indices (Extraction de conjectures) :
Au lieu de simplement demander à l'IA d'« essayer plus fort », le système s'arrête et demande : « Quel élément de logique spécifique manque ? »
Imaginez un détective examinant un alibi brisé. Au lieu de dire simplement « Cela n'a pas de sens », le détective extrait l'affirmation spécifique : « Il a dit qu'il était au parc à 17h. » Le système isole cette affirmation unique et la traite comme un problème mathématique distinct et minuscule.
Le test des « Yeux Frais » (Détachement du contexte) :
C'est la partie la plus importante. Le système prend cette affirmation isolée (la « conjecture ») et la place dans une nouvelle pièce, propre et neuve. Il demande à l'IA de prouver l'affirmation et de prouver le contraire de l'affirmation, sans voir la preuve désordonnée originale.
- Si l'IA prouve que l'affirmation est vraie, elle l'ajoute à une « fiche de triche » de faits.
- Si l'IA prouve que l'affirmation est fausse (en prouvant le contraire), elle réalise que la preuve originale était construite sur un mensonge.
- Cela sort l'IA du « Puits Cognitif » car l'IA ne peut plus être trompée par le contexte confus de la preuve erronée originale.
L'équipe « Dialectique » :
Le système ne demande pas seulement à une IA de faire le travail. Il crée une salle de réunion virtuelle avec différentes « personnalités ».
- L'Architecte : Tente de construire la solution.
- Le Sceptique (Momus) : Attaque constamment le plan, cherant les failles.
- Le Correcteur : Vérifie la logique ligne par ligne.
  En forçant ces différentes « personnalités » à argumenter entre elles, le système évite la pensée paresseuse qui mène au Puits Cognitif.

Les Résultats
Les auteurs ont testé ce nouveau pipeline sur les problèmes mathématiques les plus difficiles disponibles (le « IMO-ProofBench »).

Performance : Leur système a résolu 87,6 % des problèmes correctement. C'est meilleur que les systèmes gagnants de la « Médaille d'Or » des grandes entreprises technologiques (qui sont secrets et non publiés), et bien meilleur que les autres méthodes publiques.
Coût : Alors que d'autres méthodes coûtent des milliers de dollars par problème, la leur coûte environ 9 $.
Polyvalence : Cela fonctionne sur de nombreux types de modèles d'IA, pas seulement une marque spécifique.

En Résumé
Ce document montre qu'il n'est pas nécessaire de dépenser une fortune ou de lancer des millions de simulations pour résoudre des problèmes mathématiques complexes. Il faut plutôt une stratégie plus intelligente : quand l'IA se retrouve coincée dans une boucle de confiance concernant une mauvaise réponse, il faut extraire le « suspect » spécifique (la lacune logique) de la foule, le tester de manière isolée, et utiliser le résultat pour guider l'étape suivante. Cela transforme une approche de force brute, confuse et coûteuse, en une histoire de détective efficace et logique.

Résumé technique : S'échapper du puits cognitif : Une résolution efficace des mathématiques de compétition avec des modèles prêts à l'emploi

Énoncé du problème

Les progrès récents en raisonnement mathématique ont vu des modèles personnalisés et non publiés (par exemple, « Deep Think » de Google DeepMind) ainsi que de vastes pipelines agentiques atteindre des performances de niveau médaille d'or aux Olympiades Internationales de Mathématiques (IMO). Cependant, ces succès reposent sur des budgets de calcul prohibitifs, coûtant souvent des milliers de dollars par problème (par exemple, environ 3 000 $/question pour DeepSeekMath V2) et nécessitant un parallélisme massif (jusqu'à 64 000 appels de LLM par problème). De plus, les pipelines existants utilisant des modèles publics échouent souvent à résoudre des problèmes difficiles de manière fiable en un seul appel, nécessitant un raffinement itératif.

Les auteurs identifient deux modes d'échec critiques dans les pipelines solveur-évaluateur actuels qui nécessitent un tel parallélisme :

Plateau Cognitif : Le solveur progresse, mais l'évaluateur identifie des failles que le solveur ne peut pas corriger, entraînant une stagnation du score.
Puits Cognitif : Un échec plus insidieux où le raffinement itératif converge vers une solution logiquement cohérente mais fondamentalement incorrecte. L'évaluateur interne (partageant souvent les mêmes paramètres et contexte que le solveur) est « contaminé » par le contexte plausible mais erroné, attribuant une note élevée (par exemple, 7/7) à la solution erronée et négligeant les erreurs fatales. Cela s'apparente au « détournement de récompense » (reward hacking) ou au fait de rester bloqué dans un minimum local.

Méthodologie

Le papier propose un nouveau pipeline d'inférence, le « pipeline Momus », conçu pour atteindre des performances de premier plan sur des problèmes de type IMO en utilisant uniquement des modèles généralistes prêts à l'emploi à une fraction du coût. La méthodologie repose sur trois principes de conception fondamentaux :

1. Largeur étroite (Parallélisme limité)

Au lieu d'un parallélisme par force brute (par exemple, 64 branches), le pipeline limite le parallélisme à un niveau modeste (typiquement $K=4$ solutions concurrentes). De nouvelles solutions sont générées en étant conditionnées par l'état actuel, qui comprend les solutions précédentes, le feedback de l'évaluateur et les résultats d'un processus de conjecture.

2. Extraction de conjectures

Pour remédier à l'incapacité des évaluateurs internes à distinguer les « glissements mineurs » des « lacunes fatales », le pipeline emploie un prompt de Solveur avec Conjectures. Lorsque les preuves stagnent, ce module force le modèle à formaliser explicitement les lacunes logiques sous forme de conjectures auto-contenues (et leurs négations). Cela transforme une incertitude vague en énoncés mathématiques falsifiables.

3. Détachement contextuel

Pour s'échapper du « Puits Cognitif », le pipeline extrait les conjectures de leur contexte de preuve parent. Ces conjectures (et leurs négations) sont présentées comme de nouveaux problèmes indépendants à de nouvelles instances de solveurs.

Si une conjecture est prouvée, elle est ajoutée à une Mémoire Globale ( $M_{lemma}$ ) pour guider les futurs solveurs.
Si la négation d'une conjecture est prouvée, le pipeline utilise cela pour discréditer activement la logique de la preuve qui stagnait, forçant le solveur à abandonner la voie erronée.

Architecture du pipeline

Le processus d'inférence est une boucle étatique comprenant trois phases :

Phase I (Exploration limitée) : Génère un petit ensemble de solutions candidates ( $K=4$ ) en utilisant un « Solveur Dialectique » (un cadre d'ingénierie de prompt à multi-personnalités). Un évaluateur adversaire vérifie la présence de lacunes logiques spécifiques.
Phase II (Détachement contextuel) : Si les solutions sont plausibles mais non vérifiées, le système extrait les conjectures porteuses de charge. Il lance ensuite des instances parallèles pour prouver à la fois la conjecture et sa négation dans un contexte frais.
Phase III (Raffinement avec Mémoire Globale) : De nouveaux solveurs sont lancés. La plupart sont injectés avec les lemmes vérifiés de la Phase II, tandis qu'un solveur « zero-shot » subsiste pour maintenir la diversité et éviter de retomter dans un Puits Cognitif.

Le pipeline inclut également une étape de Post-Amélioration où, si aucune solution vérifiée n'est trouvée, le système réécrit les preuves basées sur les conjectures et exécute une étape finale d'agrégation pour sélectionner la meilleure sortie.

Contributions clés

Pipeline Efficace : Un nouveau pipeline de solution utilisant uniquement des modèles prêts à l'emploi qui atteint des performances de premier plan sur des problèmes de type IMO à un coût des ordres de grandeur inférieur aux méthodes concurrentes (par exemple, ~$9/question contre ~$3 000/question).
Identification des « Puits Cognitifs » : Le papier identifie et fournit une solution efficace au mode d'échec du « Puits Cognitif » via un mécanisme de détachement de contexte basé sur les conjectures. Cela réduit les faux positifs et améliore mesurablement les performances.
Conception et Évaluation de l'Évaluateur : Les auteurs proposent de nouvelles méthodes pour concevoir des évaluateurs efficaces (en utilisant un cadre « coupable jusqu'à preuve du contraire ») et évaluent le décalage entre la performance d'un évaluateur en tant que scoreur autonome et son utilité en tant que fournisseur de feedback dans un pipeline.
Accessibilité Open-Source : Les prompts et la méthodologie sont en accès libre, démontrant l'efficacité sur des modèles de pointe (Gemini 3.1 Pro, Opus 4.6, DeepSeek-V3.2) à des coûts abordables, abaissant ainsi la barrière à l'entrée pour les chercheurs.

Résultats

Le pipeline a été évalué sur IMO-ProofBench Advanced (PB-Adv), un benchmark de 30 questions difficiles de type IMO sélectionnées.

Performance : En utilisant Gemini 3.1 Pro, le pipeline a atteint une performance de 87,6 % (évaluée par des experts), surpassant le modèle gagnant l'or à l'IMO, DeepThink, et plus que triplant le taux de réussite du second meilleur pipeline accessible publiquement (Huang et Yang [2025]) opérant à un coût abordable.
Efficacité des Coûts : Le coût moyen par question était d'environ 9 $. C'est nettement moins cher que le pipeline de Huang et Yang (~~371 $/question) et DeepSeekMath V2 (~~3 000 $/question).
Généralisation : La méthode s'est généralisée à travers différents backbones. Par exemple, sur Claude 4.6 Opus, la performance est passée de 23,8 % (appel de base) à 85,7 % avec le pipeline. Sur DeepSeek-V3.2, elle est passée de 15,2 % à 66,7 %.
Études d'Ablation : Supprimer l'étape d'extraction de conjectures a entraîné une chute significative des performances (passant de 55 % à 34,3 % sur PB-Adv avec Gemini 2.5 Pro), même lorsque les budgets de tokens étaient équivalents, confirmant que les gains ne sont pas simplement dus à une augmentation de la diversité d'échantillonnage.

Signification

Le papier affirme que la démonstration de théorèmes fiable par les LLM ne nécessite pas nécessairement un parallélisme massif ou des budgets de réflexion colossaux. En identifiant et en traitant les modes d'échec « Puits Cognitif » et « Plateau Cognitif » via l'extraction de conjectures et le détachement contextuel, les auteurs démontrent que des modèles prêts à l'emploi peuvent atteindre des performances de pointe sur des problèmes de mathématiques de compétition difficiles à une fraction du coût.

Le travail suggère que les pipelines solveur-évaluateur actuels pourraient être profondément ancrés dans ces modes d'échec, ce qui pourrait s'étendre aux systèmes plus larges d'IA appliquée à la science. Les auteurs soulignent que leur approche abaisse considérablement la barrière à l'entrée pour la recherche en raisonnement mathématique, rendant la résolution de problèmes de haut niveau accessible aux chercheurs ne disposant pas de modèles propriétaires entraînés sur mesure ou de ressources de calcul massives.