🤖 AI

Refining Over Resampling: Test-Time Self-Correction for LLM Reasoning

Ce document propose un cadre « largeur-profondeur » sans vérificateur qui améliore le raisonnement des LLM en utilisant le calcul au moment du test pour affiner de manière itérative divers échantillonnages de parcours via l'auto-critique et l'auto-correction, atteignant une performance supérieure sur plusieurs benchmarks mathématiques par rapport aux méthodes traditionnelles d'échantillonnage et de sélection basées sur un vérificateur.

Auteurs originaux : Ahsan Bilal, Muhammad Ahmed Mohsin, Muhammad Umer, Lena Trigg, Ali Subhan, Muhammad Ali, Dean F. Hougen

Publié 2026-08-07

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ahsan Bilal, Muhammad Ahmed Mohsin, Muhammad Umer, Lena Trigg, Ali Subhan, Muhammad Ali, Dean F. Hougen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un casse-tête mathématique vraiment difficile, comme une énigme qui nécessite une longue chaîne de logique pour être déchiffrée. Vous avez un ami super intelligent (un grand modèle de langage, ou LLM) qui peut discuter avec vous. Habituellement, quand vous posez une question à cet ami, il donne immédiatement une réponse. Mais parfois, il reste bloqué sur la première étape et continue de commettre la même erreur tout au long du processus.

Pour corriger cela, des scientifiques ont essayé deux astuces principales. La première est le « rééchantillonnage » : demander à votre ami d'essayer de résoudre l'énigme dix fois et de choisir la réponse qui apparaît le plus souvent. C'est comme demander à dix personnes différentes de résoudre la même énigme et de voir sur qui elles sont d'accord. La seconde astuce est d'utiliser un « vérificateur » : un enseignant séparé, très strict, qui évalue chaque réponse pour voir laquelle est la meilleure. Mais il y a un piège : demander à dix personnes permet souvent d'obtenir dix versions légèrement différentes de la même mauvaise idée, et compter sur un enseignant signifie que vous devez avoir confiance dans le fait que l'enseignant n'est pas confus ou biaisé.

Ce document, intitulé « Refining Over Resampling », suggère une troisième voie. Au lieu de simplement demander plus de tentatives ou d'embaucher un professeur, les auteurs proposent d'apprendre à l'IA à être son propre éditeur. Ils laissent l'IA générer quelques idées de départ différentes, puis, pour chaque idée, ils laissent l'IA faire une pause, critiquer son propre travail, trouver ses propres erreurs et les corriger avant de donner la réponse finale. C'est comme donner à votre ami une seconde chance de réfléchir, non pas en lui demandant de recommencer, mais en lui disant : « Hé, attends, tu as fait une petite erreur à l'étape trois ; corrigeons cela et continuons. »

Le Problème : L'« Chambre d'Écho » et le « Plancher d'Hallucination »

Les chercheurs ont remarqué quelque chose d'étrange lorsqu'ils demandaient aux modèles d'IA de résoudre des problèmes mathématiques en générant simplement de plus en plus de réponses. Ils ont appelé cela la « saturation de la diversité ». Imaginez que vous demandiez à un groupe d'amis de deviner le nombre de bonbons dans un bocal. Si vous demandez à dix personnes, vous obtiendrez peut-être dix devinettes différentes. Mais si vous demandez à cent personnes, vous pourriez découvrir que quatre-vingt-dix d'entre elles proposent des nombres très proches les uns des autres parce qu'elles ont toutes vu le même indice (faux) « évident ». L'IA faisait la même chose : elle continuait de générer des variations des mêmes quelques mauvais chemins, gaspillant sa puissance cérébrale dans la répétition plutôt que dans la recherche de nouvelles solutions.

En plus de cela, il y avait le « plancher d'hallucination ». Même si l'IA connaissait la bonne réponse au fond d'elle-même, elle pouvait accidentellement trébucher sur une petite erreur d'arithmétique ou un glissement de logique pendant la rédaction. Comme chaque tentative était faite de manière indépendante, chaque tentative était également susceptible de trébucher sur ce même genre d'erreur. Demander plus de tentatives ne servait à rien car cela ne corrigeait pas la chute ; cela ne faisait que vous donner plus de chutes.

La Solution : Largeur et Profondeur

Les auteurs ont élaboré une stratégie qu'ils appellent « Affinement par Largeur-Profondeur » (Breadth-Depth Refinement). Pensez à cela comme l'exploration d'un labyrinthe.

La Largeur (Breadth) consiste à jeter un large filet. Au lieu de suivre un seul chemin, l'IA génère plusieurs itinéraires de départ différents (appelés « rollouts »). Cela garantit qu'ils ne sont pas tous coincés dans la même « chambre d'écho » d'idées erronées.

La Profondeur (Depth) est la véritable magie. Une fois qu'ils ont ces différents itinéraires, ils ne choisissent pas immédiatement le meilleur. Au lieu de cela, ils prennent chaque itinéraire et l'envoient dans une boucle d'auto-amélioration.

Le Générateur : L'IA écrit la partie suivante de la solution.
Le Critique : L'IA s'arrête et agit comme un éditeur strict, lisant ce qu'elle vient d'écrire et disant : « Attends, ce calcul ne correspond pas » ou « Cette logique n'a pas de sens ».
Le Correcteur : L'IA écoute le critique et réécrit cette partie spécifique pour corriger l'erreur.

Ils effectuent cette boucle plusieurs fois (appelée « profondeur ») pour chaque itinéraire. Enfin, ils prennent toutes les réponses maintenant polies et auto-corrigées et les laissent voter. La réponse qui gagne le vote est la réponse finale.

Ce Qu'Ils Ont Trouvé

L'équipe a testé cette idée sur des compétitions mathématiques très difficiles, comme l'AIME (American Invitational Mathematics Examination) et le jeu de données MATH500. Ils ont comparé leur méthode aux anciennes méthodes : simplement deviner une fois (Greedy), deviner huit fois et voter (Majority Voting), ou deviner huit fois et laisser une IA « professeur » choisir le vainqueur (Verifier-based Best-of-N).

Les résultats sont très prometteurs. Leur méthode bat systématiquement les autres. Par exemple, lorsqu'ils ont utilisé un modèle d'IA plus petit et moins puissant appelé Qwen2.5-1.5B, l'ancienne méthode du « professeur » a réussi environ 29,6 % des questions de MATH500. Mais avec leur nouvelle méthode d'« auto-édition », ce même modèle a bondi à 58,0 % de précision. C'est presque le double ! Sur le test AMC (American Mathematics Competitions), le même petit modèle est passé de 25,0 % à 32,5 %.

Même avec des modèles plus gros et plus intelligents, leur méthode a toujours amélioré les scores, bien que les gains soient un peu plus faibles car les modèles intelligents font déjà un travail décent par eux-mêmes.

Pourquoi Cela Fonctionne (et Pourquoi C'est Différent)

L'idée clé est que l'IA n'a pas besoin d'un professeur extérieur pour lui dire ce qui ne va pas. Elle peut apprendre à repérer ses propres erreurs si on lui donne la bonne structure. Le document suggère que l'étape du « critique » est cruciale ; lorsqu'ils ont supprimé la partie où l'IA critique explicitement son propre travail, les scores ont chuté. Il s'avère que demander simplement à l'IA de « réessayer » ne suffit pas ; il faut lui dire quoi corriger.

De plus, cette méthode est « sans entraînement » (training-free). Ils n'ont pas eu besoin d'apprendre de nouvelles choses à l'IA ou de lui montrer des milliers d'exemples de la façon de se corriger. Ils ont simplement utilisé la puissance cérébrale existante de l'IA de manière plus intelligente lors du test.

Le Compromis

Il y a un coût, cependant. Cette méthode demande plus de puissance de calcul et de temps. Parce que l'IA doit générer, critiquer et réécrire plusieurs fois pour chaque problème, elle utilise plus de « compute » (le terme technique pour la puissance de calcul du cerveau de l'ordinateur) que si elle se contentait de deviner une seule fois. Cependant, les auteurs ont calculé que pour la quantité de travail supplémentaire effectuée, l'amélioration de la précision en vaut la peine, surtout pour les petits modèles qui peinent à obtenir la bonne réponse dès le premier essai.

En fin de compte, le document suggère que lorsque nous voulons qu'une IA soit plus intelligente, nous ne devrions pas seulement lui demander d'essayer plus fort ou de proposer plus de réponses. Nous devrions lui donner le temps et la structure pour réfléchir, vérifier son travail et corriger ses propres erreurs avant de nous remettre la réponse finale. C'est un passage de « plus est mieux » à « mieux est mieux ».

Résumé technique : Préférer le raffinement au rééchantillonnage

Énoncé du problème

L'article traite des limites des stratégies actuelles de mise à l'échelle au moment de l'inférence (test-time scaling) pour les modèles de langage de grande taille (LLM) en raisonnement mathématique. Bien que l'allocation de calcul d'inférence supplémentaire via un échantillonnage plus large (par exemple, Best-of-N) ou une sélection basée sur un vérificateur améliore les performances, les auteurs identifient deux modes de défaillance critiques :

Saturation de la diversité : Augmenter le budget d'échantillonnage ( $N$ ) produit souvent des rendements décroissants. Au lieu de découvrir de nouveaux chemins de raisonnement, les échantillons supplémentaires ont tendance à se regrouper autour de quelques directions sémantiques dominantes, revisitant des schémas de réponses existants plutôt que d'élargir l'espace de solution.
Hallucination par trace et dépendance au vérificateur :
- Hallucination : Chaque déroulement indépendant est sujet au même bruit de génération. Si la réponse « voulue » par le modèle est correcte mais perturbée par des erreurs de génération, le simple rééchantillonnage ne corrige pas l'erreur sous-jacente ; il ne fait que répéter l'erreur.
- Calibration du vérificateur : La sélection basée sur un vérificateur (utilisant des modèles de récompense de processus ou de résultat) repose fortement sur la calibration d'un modèle de récompense externe. Les erreurs de calibration peuvent directement dégrader la sélection de la réponse finale, et ces méthodes nécessitent souvent un entraînement supplémentaire ou des politiques d'arrêt apprises.

Les auteurs soutiennent que le calcul au moment de l'inférence est utilisé plus efficacement non pas en échantillonnant davantage, mais en raffinant les trajectoires échantillonnées avant l'agrégation.

Méthodologie : Raffinement Largeur–Profondeur

Le cadre proposé est une approche sans entraînement et sans vérificateur qui utilise le calcul au moment de l'inférence selon deux axes : la Largeur (tentatives initiales diverses) et la Profondeur (autocorrection itérative).

Composants de base

La méthode utilise un seul modèle de base $\pi_\theta$ conditionné par des invites spécifiques à chaque rôle pour agir comme trois agents distincts :

Générateur ( $\pi^G_\theta$ ) : Produit des continuations de raisonnement.
Critique ( $\pi^C_\theta$ ) : Identifie les erreurs logiques, arithmétiques ou structurelles.
Correcteur ( $\pi^R_\theta$ ) : Révise la trace de raisonnement basée sur la critique.

L'algorithme

Initialisation (Largeur) : $N$ déroulements de raisonnement indépendants sont échantillonnés à partir du générateur à une température fixe $\tau > 0$ . Cela garantit des points de départ diversifiés pour contrer la saturation de la diversité.
Raffinement itératif (Profondeur) : Chacun des $N$ $N$ déroulements subit $D$ $D$ cycles à trois étapes :
- Continuation du raisonnement : Le générateur étend ou réécrit la trace précédente.
- Auto-critique : Le critique analyse la trace et produit une critique en langage naturel. S'il ne trouve aucune erreur, il confirme explicitement la trace.
- Auto-correction : Le correcteur révise la trace conditionnée à la fois par le raisonnement et la critique.
Agrégation : Après $D$ étapes de raffinement, les traces corrigées finales sont extraites en réponses candidates. La prédiction finale est déterminée par un vote majoritaire (pluralité) sur les $N$ réponses raffinées.

Crucialement, ce processus ne nécessite aucun vérificateur externe, aucun modèle de récompense, ni aucun entraînement supplémentaire.

Principales contributions

Identification des limitations : Les auteurs caractérisent formellement la « saturation de la diversité » (où un $N$ plus grand ne parvient pas à augmenter les directions de raisonnement uniques) et l'« hallucination par trace » (où la mise à l'échelle uniquement en largeur ne peut pas corriger les erreurs de génération systématiques).
Cadre Largeur–Profondeur : Ils proposent une méthode de raffinement structurée qui préserve les tentatives initiales diverses (Largeur) tout en appliant une auto-critique et une auto-correction itératives (Profondeur) pour réparer les erreurs locales avant l'agrégation.
Validation empirique : La méthode est évaluée sur cinq benchmarks mathématiques (AIME24, AIME25, AMC, OlympiadBench, MATH500) et quatre modèles à poids ouverts (Qwen2.5-7B/1.5B, Ministral-8B, LLaMA-3.1-8B).

Résultats expérimentaux

La méthode surpasse systématiquement le décodage glouton (greedy decoding), le vote majoritaire (Maj@8), le Best-of-N basé sur un vérificateur (RM@8), la recherche en faisceau (beam search) et le décodage lookahead.

Gains de performance :
- Qwen2.5-1.5B : Sur MATH500, la précision est passée de 29,6 % (baseline RM@8) à 58,0 %. Sur AMC, elle est passée de 25,0 % à 32,5 %.
- Qwen2.5-Math-7B : A montré des gains constants par rapport aux bases les plus fortes sur AIME25, AMC, OlympiadBench et MATH500.
- Ministral-8B & LLaMA-3.1-8B : Ont démontré des améliorations claires, particulièrement sur AMC et MATH500.
Études d'ablation :
- Nécessité de l'auto-critique : Supprimer l'étape explicite d'auto-critique (w/o) a entraîné des performances inférieures par rapport à la pipeline complète (w/), confirmant que la critique fournit un feedback intermédiaire utile plutôt que de simplement augmenter le nombre de tokens.
- Efficacité du calcul : Bien que la méthode entraîne des coûts d'inférence plus élevés (TFLOPs) en raison des multiples passes de raffinement, le gain normalisé par le calcul ( $\eta$ ) est positif. Les gains sont plus prononcés pour les petits modèles (ex: 1.5B), suggérant que le raffinement débloque des capacités de raisonnement latentes qui ne sont pas exprimées de manière fiable dans les générations en un seul coup (single-shot).
Dynamique de raffinement : L'analyse montre que le raffinement réussit à passer d'états faux-à-corrects tout en limitant les régressions correctes-à-faux, indiquant que la méthode ne fait pas s'effondrer tous les déroulements vers une seule réponse.

Signification et affirmations

L'article affirme que le calcul au moment de l'inférence est plus efficace lorsqu'il est utilisé pour raffiner les trajectoires échantillonnées plutôt que de simplement échantillonner plus de candidats ou de compter sur une sélection guidée par un vérificateur.

Robustesse : En agrégeant les déroulements raffinés via le vote majoritaire, la méthode est robuste aux corrections individuelles bruitées. Elle ne dépend pas de la calibration d'un modèle de récompense externe.
Agnosticisme du modèle : L'approche est applicable à n'importe quel modèle à poids ouverts sans nécessiter d'entraînement supplémentaire, d'apprentissage par renforcement ou de politiques d'arrêt apprises.
Changement de paradigme : Ce travail suggère un passage de « chercher plus large » à « raffiner plus profondément », arguant que les preuves de raisonnement utiles proviennent du fait de permettre à chaque tentative de réparer les étapes intermédiaires instables avant l'agrégation finale.

Les auteurs reconnaissent que la méthode a un coût d'inférence plus élevé que le décodage glouton ou l'échantillonnage standard, mais soutiennent que les gains de précision significatifs, particulièrement pour les petits modèles, justifient ce compromis dans les scénarios où les paramètres du modèle ne peuvent pas être mis à jour.