Résumé technique : OpenDeepThink

Énoncé du problème

Les paradigmes actuels pour l'augmentation du calcul au moment de l'inférence dans les grands modèles de langage (LLM) se concentrent principalement sur l'extension de la profondeur d'une seule trace de raisonnement (par exemple, des chaînes de pensée plus longues ou des recherches arborescentes). Bien que efficaces, ces approches séquentielles souffrent d'une fragilité critique : une erreur précoce unique peut dévier toute la trajectoire. À l'inverse, les approches parallèles comme l'échantillonnage « Best-of-N », qui génèrent plusieurs candidats, font face à un « goulot d'étranglement de sélection ». Sélectionner le meilleur candidat parmi un pool nécessite généralement des vérificateurs de vérité terrain (indisponibles dans les tâches ouvertes), des modèles de récompense entraînés ou des juges LLM ponctuels. L'article note que le jugement ponctuel par LLM est intrinsèquement bruyant et biaisé positivement, le rendant peu fiable pour distinguer les solutions correctes des incorrectes en l'absence de vérification externe.

Méthodologie : OpenDeepThink

Les auteurs introduisent OpenDeepThink, un cadre de calcul au moment de l'inférence basé sur une population, conçu pour augmenter la largeur du raisonnement sans nécessiter de vérificateurs externes ni d'infrastructure spécifique au domaine. Le système maintient une population de $n$ solutions candidates et les fait évoluer sur $T$ générations en utilisant un seul LLM ($\pi$) agissant à la fois comme générateur et juge.

Le pipeline opère en trois phases distinctes par génération :

1. Échantillonnage parallèle et comparaison par paires :

   • Le système s'initialise avec $n$ solutions candidates.
   • À chaque génération, les candidats sont appariés aléatoirement ($K$ pairs par candidat).
   • Le juge LLM effectue des comparaisons par paires, déterminant quelle solution a le plus de chances d'être acceptée par un juge en ligne hypothétique. Crucialement, le juge produit également des justifications en langage naturel (critiques) expliquant le verdict.
   • Pour atténuer le biais de position, l'ordre de présentation des candidats est randomisé.

2. Agrégation Bradley–Terry :

   • Au lieu de s'appuyer sur les taux de victoire bruts, le système agrège les résultats par paires en utilisant le modèle Bradley–Terry (BT).
   • Le modèle BT estime un score de compétence global ($s_i$) pour chaque candidat en maximisant la vraisemblance logarithmique des comparaisons observées, en tenant compte de la force des adversaires affrontés. Ce « vérificateur doux » convertit des votes par paires bruyants en un classement global cohérent.
   • Sélection : Les 25 % supérieurs des candidats sont conservés en tant qu'« élites ». Les 25 % inférieurs sont écartés. Les 50 % du milieu et les élites (75 % du total) passent à la mutation.

3. Mutation pilotée par la rétroaction :

   • Les candidats des 75 % supérieurs sont mutés sur la base des critiques en langage naturel agrégées de leurs comparaisons par paires.
   • L'invite de mutation permet explicitement au modèle soit d'affiner la solution actuelle, soit de l'abandonner entièrement pour une approche fondamentalement différente. Cela est conçu pour empêcher le modèle de simplement « corriger » une stratégie défectueuse.
   • Le processus se répète sur $T$ générations.

4. Sélection finale :

   • Après la dernière génération, un tour plus dense de comparaisons par paires ($M$ pairs) est effectué sur la population restante.
   • Un classement final Bradley–Terry sélectionne la solution soumise.

L'ensemble du pipeline est conçu pour être « embarrassamment parallèle » au sein de chaque tour, ne nécessitant qu'une profondeur séquentielle de huit appels LLM (un échantillon initial, deux tours par génération pour $T=3$, et un tour de sélection final).

Contributions clés

1. Un cadre sans vérificateur : OpenDeepThink élimine le besoin de cas de test de vérité terrain ou de modèles de récompense entraînés en utilisant des jugements LLM par paires agrégés via Bradley–Terry comme vérificateur doux.
2. Évolution basée sur la population : Contrairement aux méthodes d'auto-affinement qui itèrent sur une seule trajectoire, OpenDeepThink maintient une population diversifiée, permettant aux erreurs d'être mises en évidence par des confrontations directes plutôt que par une auto-évaluation.
3. Transférabilité inter-modèles : Le cadre démontre qu'un seul ensemble d'hyperparamètres peut efficacement augmenter le raisonnement à travers des modèles de capacités variées (Gemini 3.1 Pro, 3 Flash et 2.5 Pro) sans réajustement.
4. Jeu de données CF-73 : Les auteurs publient CF-73, un ensemble curaté de 73 problèmes Codeforces annotés par des experts (notés 2000–3100) avec un accord de 99 % entre l'évaluation locale et les verdicts officiels, spécifiquement conçu pour éviter la contamination par l'entraînement préalable.

Résultats expérimentaux

Le cadre a été évalué sur 192 problèmes de programmation compétitive (CF-73 et NOI-119) et 82 questions du benchmark multi-domaines HLE, en utilisant Gemini 3.1 Pro comme modèle de base.

• Programmation compétitive (Codeforces) :

  • OpenDeepThink a augmenté l'Elo Codeforces effectif de Gemini 3.1 Pro de +405 points (d'environ 2851 à environ 3256) sur huit tours séquentiels (environ 27 minutes de temps réel).
  • Ce gain est comparable à l'amélioration de +411 points obtenue par « Gemini 3 Deep Think » par rapport au modèle de base sur LiveCodeBench Pro.
  • Sur les problèmes « Difficiles » (où le taux de réussite initial du modèle de base est d'environ 11 %), le cadre a amélioré le taux de réussite à 36 % par évolution et à 50 % par sélection.
  • Le cadre s'est transféré avec succès vers des modèles plus faibles (Gemini 3 Flash) et plus forts (Gemini 2.5 Pro) sans ajustement des hyperparamètres.

• Transversal aux domaines (Benchmark HLE) :

  • Les résultats étaient mitigés et dépendants du domaine. Dans les domaines objectivement vérifiables (Mathématiques, Biologie, Physique), le cadre a montré des gains (par exemple, +17 points en Physique).
  • Dans les domaines subjectifs (Humanités, Sciences sociales), les performances ont considérablement diminué (par exemple, -25 points en Humanités).
  • Les auteurs attribuent cela à la fiabilité du juge par paires : là où le juge peut discriminer fièrement la correction, l'agrégation BT amplifie le signal ; là où le jugement est ambigu, la sélection itérative amplifie le bruit.

• Études d'ablation :

  • Par paires vs Ponctuel : Le jugement par paires a atteint 86 % de précision sur un ensemble de diagnostic contre 59 % pour le jugement ponctuel, confirmant la supériorité de la comparaison relative par rapport au score absolu.
  • Signal de rétroaction : La rétroaction négative (critiques de ce qui a mal tourné) a entraîné presque toutes les améliorations de mutation ; la rétroaction positive a apporté un bénéfice négligeable.
  • Évolution vs Sélection : Sur les problèmes faciles, la sélection (agrégation BT) était le facteur dominant. Sur les problèmes difficiles, le processus de mutation évolutive était le principal moteur d'amélioration.

Importance et affirmations

L'article postule que OpenDeepThink répond à un goulot d'étranglement fondamental dans l'augmentation du calcul au moment de l'inférence : l'incapacité à sélectionner le meilleur candidat parmi un pool parallèle sans vérification externe. En combinant l'agrégation Bradley–Terry par paires avec une mutation pilotée par la rétroaction, le cadre permet aux LLM d'améliorer itérativement la qualité du raisonnement dans des domaines ouverts.

Les auteurs affirment que l'efficacité du cadre est étroitement liée à la fiabilité du juge par paires. Il agit comme un « vérificateur doux » qui peut considérablement booster les performances dans des domaines avec des critères de correction objectifs (comme la programmation compétitive) mais peut dégrader les performances dans des domaines subjectifs où le juge ne peut pas distinguer fièrement le raisonnement correct du incorrect. Le travail suggère que les futurs efforts d'augmentation devraient se concentrer sur des conceptions basées sur la population qui exploitent la comparaison relative plutôt que l'auto-évaluation absolue, à condition que le mécanisme de jugement sous-jacent soit robuste.