Résumé Technique : LatentRevise : Apprendre du raisonnement à zéro succès (Zero-Hit)

1. Énoncé du Problème : Le régime de "zéro succès" dans le RLVR

L'apprentissage par renforcement avec récompenses vérifiables (RLVR - Reinforcement Learning with Verifiable Rewards) est devenu une approche standard pour améliorer le raisonnement des modèles de langage. Cependant, il fait face à un goulot d'étranglement fondamental appelé le régime de zéro succès (zero-hit regime). Dans ce scénario, un prompt est présenté où la politique actuelle échoue à générer une seule trajectoire correcte dans un budget d'échantillonnage pratique (c'est-à-dire $pass@N = 0$).

Les algorithmes RLVR standards, tels que le Group Relative Policy Optimization (GRPO), reposent sur des avantages normalisés par groupe pour mettre à jour la politique. Lorsque toutes les trajectoires échantillonnées dans un groupe échouent, elles reçoivent des récompenses identiques (typiquement zéro ou négatives). Par conséquent, la moyenne du groupe est égale aux récompenses individuelles, ce qui provoque l'effondrement de l'avantage normalisé vers zéro. Cela entraîne une absence de signaux de gradient constructifs, écartant de fait ces prompts "difficiles" comme étant du bruit impossible à apprendre.

Les remèdes existants tentent de traiter cela en :

1. Augmentant le budget d'échantillonnage : Augmenter $N$ ou la température de décodage, ce qui est coûteux en termes de calcul et reste limité au résultat final (manquant de guidage intermédiaire).
2. La distillation on-policy : Utiliser un modèle enseignant ou des informations privilégiées pour fournir des cibles au niveau du jeton (token). Cependant, ces méthodes dépendent d'un guidage externe qui peut être faible, mal adapté ou indisponible lorsque le modèle étudiant est déjà en difficulté.

Le problème central est que ces prompts à zéro succès se situent souvent à la "frontière d'échantillonnage" où de nouveaux comportements de raisonnement sont le plus nécessaires, mais les pipelines standards ne peuvent pas apprendre à partir d'eux car ils manquent d'un signal positif.

2. Méthodologie : LatentRevise

Les auteurs proposent LatentRevise, une méthode de révision latente du premier ordre conçue pour récupérer des signaux d'entraînement à partir de déroulements (rollouts) échoués sans nécessiter de modèles enseignants externes ou de traces de référence. Au lieu de rejeter une trajectoire échouée, LatentRevise la traite comme une trace informative et optimise les embeddings d'entrée du préfixe de raisonnement dans l'espace latent continu.

Pipeline Central

1. Entrée : Un déroulement échoué $y_{fail} = [r; c]$, où $r$ est le préfixe de raisonnement et $c$ est la continuation échouée, ainsi que la réponse d'or $y_{GT}$.
2. Gel et Optimisation : Les paramètres du modèle $\theta$ sont gelés. Les embeddings d'entrée du préfixe de raisonnement, $E_r$, sont optimisés pour éloigner la trajectoire de l'échec et la rapprocher de la solution.
3. Objectif Composé : L'optimisation minimise une perte totale $L_{total}$ composée de trois termes :
   • Perte d'Exploration Latente ($L_{explore}$) : Un signal répulsif qui minimise la probabilité de reproduire la continuation échouée originale $c$. Cela encourage l'état latent à explorer des chemins alternatifs.
   • Perte de Guidage Latente ($L_{guide}$) : Un signal de guidage qui maximise la probabilité de générer la réponse d'or $y_{GT}$ (conditionnée sur un modèle de réponse fixe). Cela ancre la révision vers la solution correcte.
   • Prior de Fluidité du Langage ($L_{NLL}$) : Un terme de régularisation qui maintient la log-vraisemblance négative des jetons de raisonnement originaux $r$. Cela garantit que l'embedding optimisé reste sémantiquement cohérent et ne dérive pas vers un bruit adversaire.
4. Contrainte de Variété (Frank-Wolfe) : Pour empêcher les embeddings continus de dériver vers un espace de caractéristiques ininterprétable (où le modèle pourrait "tricher" en encodant des réponses dans des vecteurs arbitraires), l'optimisation est contrainte à l'enveloppe convexe des embeddings du vocabulaire du modèle. Ceci est réalisé via l'algorithme de Frank-Wolfe (Gradient Conditionnel). À chaque étape, la mise à jour est une combinaison convexe de l'embedding actuel et du sommet optimal (token du vocabulaire) qui minimise l'approximation linéaire de la perte.
5. Récupération Discrète : Le préfixe "soft" optimisé $E^*_r$ est projeté de nouveau vers des jetons discrets via une recherche de plus proche voisin dans la matrice du vocabulaire. Une nouvelle continuation est décodée de manière autorégressive. Si la trajectoire résultante passe le vérificateur, elle est conservée comme donnée supervisée ou réinjectée dans les groupes RL.

3. Contributions Clés

Le papier expose trois contributions principales :

1. Recadrage de la Frontière de Zéro Succès : Les auteurs identifient les prompts à zéro succès non pas comme des valeurs aberrantes impossibles à apprendre, mais comme une frontière récupérable. Ils démontrent que des signaux d'entraînement valides peuvent être récupérés algorithmiquement de ces échecs en utilisant l'espace latent du modèle lui-même.
2. Algorithme LatentRevise : Un nouveau cadre de révision latente du premier ordre qui convertit les déroulements échoués en réussites. Crucialement, il opère sans distributions d'enseignants externes ou traces privilégiées, s'appuyant plutôt sur la réponse d'or et la propre continuation échouée du modèle pour générer des signaux de correction denses, position par position.
3. Validation Empirique : Les trajectoires récupérées s'avèrent être des données d'entraînement de haute valeur. Elles améliorent à la fois le $pass@1$ et le $pass@k$ sur les benchmarks de raisonnement mathématique, particulièrement dans les scénarios où le RL standard et des budgets d'échantillonnage plus larges n'apportent aucune amélioration.

4. Résultats Expérimentaux

La méthode a été évaluée sur DAPO-Math-14K en utilisant les modèles Qwen2.5-1.5B-Instruct et Qwen3-8B-Base sur des benchmarks incluant MATH500, AIME 24/25, AMC 23, OlympiadBench et Minerva Math.

• Régime de Zéro Succès (DAPO-Hard) : Sur le sous-ensemble de requêtes où le modèle de base a obtenu un $pass@32 = 0$ (environ 46 % du jeu de données pour le plus petit modèle), le GRPO standard a fourni une amélioration négligeable en raison de l'effondrement des avantages. LatentRevise, lorsqu'il est utilisé pour générer des données SFT ou injecté dans des groupes RL, a nettement surpassé les bases.
  • Pour Qwen2.5-1.5B, GRPO+Ours a atteint un $pass@32$ moyen de 53,51 %, contre 44,84 % pour le GRPO standard et 50,69 % pour le GRPO avec un groupe de déroulement doublé ($N=16$).
  • Notamment, la méthode a surpassé l'OPSD (On-Policy Self-Distillation), qui repose sur un enseignant conditionné par la réponse d'or, suggérant que l'optimisation latente interne de LatentRevise est plus efficace que le conditionnement de l'enseignant par rétrospection (hindsight) dans ce régime.
• Jeu de Données Complet (DAPO-Full) : Appliqué à l'ensemble de la distribution d'entraînement (mélange de prompts faciles et difficiles), LatentRevise continue de surpasser GRPO, DAPO et les bases à plus grands déroulements, avec les gains les plus significatifs observés aux valeurs de $k$ plus élevées ($pass@32$).
• Efficacité : LatentRevise a engendré un surcoût de calcul inférieur à celui consistant simplement à doubler la taille du groupe de déroulement ($N=16$). Il a ajouté environ 24 % de temps d'entraînement et 3 % de mémoire par rapport au GRPO standard ($N=8$), tandis que doubler la taille du groupe augmentait le temps de ~66 % et la mémoire de ~14 %.
• Analyse Qualitative : Les trajectoires révisées présentaient une longueur accrue et des marqueurs explicites d'auto-réflexion (ex: "Attendez, laissez-moi reconsidérer"), indiquant que la méthode fait émerger des comportements de correction d'erreurs que l'échantillonnage discret atteint rarement.

5. Signification et Revendications

Le papier affirme que LatentRevise offre un axe complémentaire pour le RL de raisonnement. Lorsque le tirage de jetons (token-level sampling) atteint sa limite de budget fini, la révision du premier ordre dans l'espace latent du modèle peut transformer des déroulements échoués en supervision vérifiée.

Les auteurs affirment que :

• Les prompts à zéro succès sont précieux : Ils ne sont pas de simples bruits mais représentent une frontière d'entraînement à haute valeur. Une fois révisés, ils fournissent des signaux qui étendent la couverture de solution du modèle.
• La récupération interne est viable : Un modèle peut apprendre de ses propres échecs sans avoir besoin d'un enseignant plus fort ou de traces de référence externes, à condition que l'optimisation soit contrainte à la variété du vocabulaire.
• Efficacité : Récupérer des signaux à partir de déroulements échoués est plus efficace en termes de calcul que l'expansion brute de l'échantillonnage, surtout à mesure que l'échelle des modèles et la longueur des chaînes de raisonnement augmentent.

Le travail suggère qu'à mesure que les tâches de raisonnement deviennent plus difficiles, la limite de l'entraînement basé sur l'échantillonnage peut être repoussée non seulement en échantillonnant davantage, mais en révisant ce qui a déjà été échantillonné, transformant les "impasses" de la politique actuelle en une source de curriculum et de signal d'entraînement.