Résumé Technique : REVES – Entraînement Augmenté par la Révision et la Vérification pour le Passage à l'Échelle au Moment de l'Inférence

1. Énoncé du Problème

Les grands modèles de langage (LLM) déployés dans des tâches de raisonnement complexes produisent rarement des réponses correctes dès la première tentative. Les flux de travail réels reposent souvent sur des algorithmes de Passage à l'Échelle au Moment de l'Inférence (Test-Time Scaling - TTS), tels que la révision séquentielle, la recherche en arbre ou le raffinement évolutif, qui génèrent de manière itérative des réponses basées sur les tentatives précédentes et les retours (feedback).

Le problème central identifié par les auteurs est un désalignement fondamental entre les objectifs de post-entraînement standards et ces dynamiques d'inférence multi-étapes :

• Objectifs Standards : Des méthodes comme RLHF, RLVR et GRPO optimisent une récompense attendue en un seul coup ($J_{OneShot}$). Elles traitent le modèle comme une application statique d'un problème vers une réponse.
• Le Désalignement : Les algorithmes de TTS opèrent via des trajectoires multi-étapes. L'apprentissage par renforcement (RL) multi-tour standard tente de corriger cela en optimisant sur des trajectoires complètes. Cependant, cette approche souffre d'un problème d'attribution de crédit dépendant du chemin (path-dependent credit assignment). Dans une trajectoire de type "Faux $\to$ Faux $\to$ Correct", le RL standard attribue un crédit positif aux étapes intermédiaires "Faux" simplement parce que le résultat final a été réussi. Cela crée un signal d'apprentissage biaisé qui ne parvient pas à enseigner au modèle comment identifier et corriger spécifiquement les erreurs intermédiaires.

Les auteurs posent la question suivante : Pouvons-nous concevoir un algorithme de post-entraînement qui optimise explicitement la capacité du modèle à effectuer une révision séquentielle, plutôt que de se contenter du résultat final d'un déroulement (rollout) spécifique ?

2. Méthodologie : Le Cadre REVES

Les auteurs proposent REVES (REvision and VErification–Augmented Training), un cadre itératif en deux étapes conçu pour optimiser directement l'objectif de Révision Séquentielle (SR) ($J_{\phi_{SR}}$).

Fondement Théorique

L'article établit que l'objectif SR peut être exactement décomposé en une somme pondérée de probabilités de récupération par étape (per-state one-step recovery probabilities) (Lemme 4.1).
$$J_{\phi_{SR}}(\theta) = \sum_{z} \rho_{\theta}(z) \mathbb{E}_{y' \sim \pi_\theta(\cdot|z)} [r^*(x, y')]$$
Où :

• $z$ représente un état de révision (problème + tentative précédente + feedback).
• $\rho_{\theta}(z)$ est le nombre de visites attendues de l'état $z$.
• $V_\pi(z)$ est la probabilité de récupérer de l'état $z$ vers une réponse correcte en une seule étape.

Cette décomposition révèle que l'optimisation de $J_{\phi_{SR}}$ ne nécessite pas d'attribution de crédit sur des trajectoires à long horizon. Au lieu de cela, elle nécessite de maximiser la probabilité de récupération à chaque état intermédiaire.

L'Algorithme en Deux Étapes

REVES alterne entre l'augmentation de données et l'optimisation de la politique :

Étape I : Augmentation de Données/Prompts en Ligne

1. La politique actuelle $\pi_\theta$ effectue des déroulements de Révision Séquentielle (Sequential Revision rollouts) sur un ensemble de problèmes.
2. Filtrage : Seules les trajectoires qui réussissent à récupérer dans un budget $K$ sont conservées.
3. Découplage : Pour chaque trajectoire réussie, les réponses intermédiaires "proches de la cible" (incorrectes) sont converties en deux types de prompts d'entraînement :
   • Prompts de Révision : "Étant donné le problème $x$ et la tentative précédente $y_{prev}$ (qui est incorrecte), produisez une solution corrigée."
   • Prompts de Vérification : "Étant donné le problème $x$ et la réponse proposée $y$, jugez s'il est correct."
4. Cela crée un jeu de données augmenté où le modèle apprend à récupérer à partir d'états d'erreur spécifiques et à s'auto-vérifier.

Étape II : Optimisation de la Politique en un Seul Tour

1. La politique est entraînée sur le jeu de données augmenté en utilisant un RL à tour unique standard (ex: GRPO ou PPO).
2. Parce que les données sont découpées en paires (état $\to$ récupération) à tour unique, l'entraînement évite la variance élevée et le biais de l'attribution de crédit des trajectoires multi-tours.
3. La politique mise à jour est ensuite utilisée pour générer de nouvelles données augmentées pour l'époque suivante, garantissant que la distribution d'entraînement reste alignée avec les modes de défaillance actuels du modèle.

Efficacité et Règles d'Arrêt

• Efficacité Hors-Politique (Off-Policy) : La génération de données (Étape I) peut s'exécuter de manière asynchrone et parallèle à l'entraînement, évitant le goulot d'étranglement computationnel des déroulements synchrones multi-tours.
• Arrêt au Moment de l'Inférence : Comme les vérificateurs de vérité terrain (ground-truth) sont souvent indisponibles au moment de l'inférence, REVES utilise des règles d'arrêt substitutives :
  • Mathématiques : Utilise des métriques de "Confiance de Queue" (Tail Confidence) pour détecter quand la confiance du modèle se stabilise ou chute.
  • Codage : Utilise les résultats d'exécution des cas de test publics comme récompense de substitution (proxy reward).

3. Contributions Clés

1. Conceptuelle : L'article cadre le passage à l'échelle au moment de l'inférence comme un problème de Meta-RL. Il prouve (Théorème 3.1) qu'améliorer la probabilité de récupération en une étape sur des entrées de Révision Séquentielle garantit théoriquement des gains de performance pour tout algorithme de TTS utilisant la révision (incluant MCTS et la recherche évolutive), à condition que la distribution d'entraînement couvre les entrées de déploiement.
2. Méthodologique : Les auteurs proposent REVES, qui transforme les erreurs intermédiaires en états de formation découplés. En convertissant les réponses "proches de la cible" en prompts de révision et de vérification, la méthode isole le signal d'apprentissage sur la récupération locale plutôt que sur le succès global de la trajectoire.
3. Empirique : La méthode démontre des améliorations constantes à travers divers domaines (codage, mathématiques, puzzles) et se généralise à des tâches hors distribution sans entraînement spécifique.

4. Résultats Expérimentaux

Les auteurs ont évalué REVES sur plusieurs benchmarks en utilisant des modèles allant de 3B à 7B de paramètres (Qwen2.5, Qwen3, DeepSeek-R1-Distill).

• Codage (LiveCodeBench) : REVES a obtenu +6,5 points par rapport à une ligne de base RL en un seul coup et +4,0 points par rapport à un entraînement multi-tour standard. Il a montré une robustesse à travers différents budgets de temps d'inférence.
• Mathématiques (AIME24/25, MATH500) : Sous un arrêt "Oracle" (arrêt immédiat dès la découverte de la réponse correcte), REVES a montré des gains substantiels dans la capacité de révision séquentielle. Ces gains ont persisté sous des règles d'arrêt de "Auto-Confiance", indiquant que la capacité apprise se transfère à un déploiement pratique.
• Circle Packing : Un modèle Qwen3-4B entraîné avec REVES a égalé les résultats de l'État de l'Art (SOTA) (somme des rayons de 2.635983) précédemment atteints par des systèmes de recherche évolutive beaucoup plus grands basés sur Gemini-2.0 Pro/Flash et Qwen3-8B. Ceci a été accompli avec un modèle de base plus petit et nettement moins de déroulements.
• Généralisation Hors Distribution : Les modèles entraînés uniquement sur des données de mathématiques et de codage ont montré des améliorations significatives sur des puzzles de satisfaction de contraintes (n_queens, mini_sudoku) où la correction est définie entièrement par les contraintes du problème, démontrant une forte généralisation inter-tâches.
• Transfert vers d'autres Algorithmes de TTS : Comme prédit par le Théorème 3.1, les modèles entraînés avec REVES ont amélioré la performance d'autres algorithmes de TTS basés sur la révision, incluant MCTS, les variantes AB-MCTS et Mind Evolution.

5. Signification et Revendications

L'article affirme que REVES comble une lacune critique dans l'entraînement des LLM : le désalignement entre les objectifs d'entraînement en un seul coup et les processus de raisonnement multi-étapes au moment de l'inférence.

• Efficacité : En se concentrant sur la récupération par état plutôt que sur l'optimisation de la trajectoire complète, REVES réduit la surcharge computationnelle de l'échantillonnage à long horizon tout en fournissant un signal d'apprentissage plus net et moins biaisé.
• Scalabilité : La méthode passe à l'échelle efficacement avec les budgets d'augmentation et permet à de petits modèles (4B) de rivaliser avec les performances de systèmes beaucoup plus grands sur des problèmes d'optimisation complexes.
• Généralisabilité : L'approche n'est pas limitée à des domaines spécifiques ; elle améliète la capacité fondamentale du modèle à "penser à nouveau" et à se corriger, bénéficiant à toute stratégie d'inférence reposant sur la révision.

Les auteurs concluent que l'alignement de l'entraînement avec les mécanismes spécifiques du passage à l'échelle au moment de l'inférence (spécifiquement la révision séquentielle) est une étape nécessaire pour débloquer le plein potentiel de raisonnement des LLM, particulièrement dans les domaines vérifiables comme le codage, les mathématiques et la découverte scientifique.