Résumé Technique : TTRL-CoCoV

Problématique

L'apprentissage par renforcement au moment du test (Test-Time Reinforcement Learning - TTRL) est apparu comme un paradigme sans étiquettes pour améliorer les capacités de raisonnement des grands modèles de langage (LLM) en optimisant les politiques via l'auto-échantillonnage et la construction de récompenses internes, contournant ainsi le besoin d'annotations humaines ou d'étiquettes oracle. Bien que les méthodes récentes de TTRL aient réussi à améliorer la précision de génération en un seul passage (Pass@1), l'optimisation du Pass@k (couverture de génération dans $k$ échantillons) reste de manière critique sous-explorée dans les contextes sans étiquettes.

L'application directe des stratégies standard d'optimisation de Pass@k issues de l'apprentissage par renforcement avec récompenses vérifiables supervisées (RLVR) échoue en raison de trois défis fondamentaux identifiés par analyse empirique :

1. Signaux d'exploration bruités : L'optimisation du Pass@k repose sur l'exploration d'échantillons à faible confiance. Dans les contextes sans étiquettes, ces échantillons souffrent d'un bruit de pseudo-étiquette sévère, corrompant les signaux d'exploration et dégradant les performances au fil du temps.
2. Effondrement de la variance de longueur : Contrairement aux contextes supervisés, l'optimisation du Pass@k dans le TTRL ne parvient pas à maintenir la diversité des réponses. Les modèles présentent un « effondrement de la longueur » où les écarts-types des réponses rétrécissent, indiquant une convergence prématurée vers des modèles de raisonnement rigides et répétitifs.
3. Échec de la formulation : Les formulations d'avantage supervisées standard pour le Pass@k ne se traduisent pas efficacement dans les environnements non supervisés, entraînant une dégradation de la performance réelle du Pass@k plutôt que l'expansion prévue de l'espace exploratoire.

Méthodologie : TTRL-CoCoV

Les auteurs proposent TTRL-CoCoV (Test-Time Reinforcement Learning with Confidence-Conditioned Verification), un nouveau cadre utilisant un modèle unique à poids partagés ($\pi_\theta$) agissant à la fois comme générateur et comme vérificateur. L'innovation centrale est un mécanisme conditionné par la confiance qui alloue dynamiquement les ressources de vérification en fonction de la confiance de consensus interne du modèle ($C_{maj}$) pour résoudre les défis identifiés.

Le cadre classifie les échantillons en trois zones d'optimisation distinctes :

1. Zone d'exploration à haute confiance ($C_{maj} \ge \tau_{high}$)

• Statut : Le modèle présente un consensus élevé ; les pseudo-étiquettes sont considérées comme fiables.
• Action : La réponse majoritaire est utilisée comme pseudo-étiquette. La vérification est activée ($I_{verify}=1$) non pas pour le filtrage, mais pour amorcer le vérificateur (bootstrapping) en utilisant des données de haute qualité, permettant une co-évolution.
• Mécanisme de diversité : Pour prévenir l'« effondment de la longueur » observé dans le TTRL standard, une récompense favorisant l'exploration ($R_{div}$) est appliquée. Cette récompense incite la diversité des trajectoires (écarts par rapport à la longueur moyenne des réponses) pour les échantillons correctement étiquetés, garantissant que le modèle continue d'explorer des stratégies de raisonnement variées même sur des problèmes maîtrisés.

2. Zone de vérification à faible confiance ($C_{maj} < \tau_{low}$)

• Statut : Le modèle présente un faible consensus ; les pseudo-étiquettes issues du vote majoritaire sont hautement bruitées.
• Action : Le cadre délègue la sélection des pseudo-étiquettes au vérificateur. Le modèle génère plusieurs trajectoires de vérification pour les réponses candidates.
• Filtrage : Seuls les candidats présentant un taux de passage de vérification (VPR) élevé sont admis dans l'ensemble de confiance. Si aucun candidat ne passe, l'échantillon est ignoré pour éviter de contaminer le modèle avec des gradients erronés. Cela résout le défi du « signal d'exploration bruité ».

3. Zone de transition à confiance moyenne ($\tau_{low} \le C_{maj} < \tau_{high}$)

• Statut : Niveaux de confiance ambigus où la vérification offre un avantage négligeable par rapport au vote majoritaire.
• Action : La vérification est contournée ($I_{verify}=0$) pour économiser les coûts d'inférence. La réponse majoritaire est utilisée directement pour les mises à jour du générateur sans récompenses d'exploration supplémentaires.

Objectif d'entraînement

La perte totale est une somme pondérée de la perte de politique de génération ($L_{first}$) et de la perte de politique de vérification ($L_{second}$). La perte de vérification utilise une matrice de récompense douce asymétrique, pénalisant plus lourdement les faux positifs (validation incorrecte d'une mauvaise réponse) que les faux négatifs pour garantir que le vérificateur agisse comme un filtre strict.

Stratégie d'amortissement en deux étapes

Pour combler davantage l'écart entre les performances sans étiquettes et supervisées, les auteurs introduisent une phase d'amortissement de la politique (policy annealing) post-entraînement. Après la phase initiale d'« exploration » (TTRL-CoCoV), la récompense de diversité est supprimée et le modèle subit une phase d'« exploitation » axée sur la maximisation du Pass@1 en un seul chemin. Cela permet au modèle de raffiner les trajectoires de raisonnement diverses accumulées pendant l'exploration en solutions hautement optimisées.

Contributions clés

1. Diagnostic empirique : L'article fournit la première investigation systématique des modes d'échec de l'optimisation du Pass@k dans le TTRL non supervisé, identifiant le bruit des signaux, l'effondrement de la diversité et les désaccords de formulation comme causes profondes.
2. Cadre adaptatif à la confiance : TTRL-CoCoV introduit un mécanisme où le générateur et le vérificateur co-évoluent. Les échantillons à haute confiance entraîent le vérificateur, qui à son tour filtre le bruit pour les échantillons à faible confiance, créant un cycle vertueux.
3. Récompense favorisant l'exploration : Un mécanisme de récompense sur mesure ($R_{div}$) est conçu pour maintenir la diversité des trajectoires spécifiquement dans les régions à haute confiance, empêchant la convergence prématurée.
4. Performance SOTA : La méthode atteint des résultats de pointe sur plusieurs benchmarks, inversant la dégradation typique du Pass@k dans les contextes sans étiquettes.

Résultats expérimentaux

Les expériences ont été menées sur six benchmarks de raisonnement (incluant MATH500, AIME24/25, AMC, GPQA et DAPO) en utilisant des backbones Qwen3-4B et Qwen3-8B.

• Améliorations du Pass@1 : TTRL-CoCoV a obtenu des gains absolaux moyens de +9,8 % sur le standard TTRL pour Qwen3-4B et +6,2 % pour Qwen3-8B.
• Améliorations du Pass@16 : La méthode a produit des gains massifs en couverture de génération, avec des améliorations absoles moyennes de +18,7 % (Qwen3-4B) et +13,0 % (Qwen3-8B) par rapport au TTRL.
• Surpasser les bases supervisées : Grâce à la stratégie d'amortissement en deux étapes, le TTRL-CoCoV entièrement non supervisé a atteint des améliorations de Pass@1 allant jusqu'à +5,0 % par rapport aux bases GRPO entièrement supervisées sur certains benchmarks de raisonnement complexes (ex: AIME25, GPQA), brisant ainsi efficacement le plafond de performance établi par les méthodes supervisées.
• Stabilité : Le cadre a maintenu une précision de récompense stable (>0,8) tout au long de l'entraînement, évitant l'effondrement de la pseudo-étiquette en fin de parcours observé dans les méthodes concurrentes.

Signification et Revendications

L'article affirme que TTRL-CoCoV traite fondamentalement l'« écart de vérification-génération » dans l'apprentissage non supervisé. En démontrant que la capacité de vérification mène généralement à la capacité de génération, le cadre exploite la capacité du modèle à vérifier ses propres sorties pour affiner les signaux d'entraînement.

Les auteurs soutiennent que leur approche comble avec succès l'écart entre l'apprentissage sans étiquettes et l'apprentissage supervisé. Notamment, ils affirment qu'en élargissant d'abord l'espace exploratoire (Pass@k) puis en le raffinant (amortissement), la méthode peut non seulement égaler, mais aussi dépasser les limites de performance des bases entièrement supervisées sur des tâches de raisonnement difficiles, le tout sans nécessordre aucune étiquette de vérité terrain durant le processus d'entraînement.