🤖 machine learning

Verifier-Induced Support Reshaping in On-Policy Optimization

Cet article révèle que l'apprentissage par renforcement on-policy avec des récompenses vérifiables (RLVR) peut améliorer la performance immédiate des tâches tout en provoquant par inadvertance un « remodelage du support induit par le vérificateur », où la politique rétrécit sa distribution de sortie pour rendre les trajectoires réussies pour des objectifs futurs trop rares pour être échantillonnées, compromettant ainsi la capacité d'entraînement à long terme et la capacité conjointe.

Auteurs originaux : Shaohang Wei, Zikun Su, Feifan Song, Wen Luo, Wei Li, Guangyue Peng, Houfeng Wang

Publié 2026-08-04

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shaohang Wei, Zikun Su, Feifan Song, Wen Luo, Wei Li, Guangyue Peng, Houfeng Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot super intelligent comment devenir un assistant utile. Vous ne voulez pas seulement qu'il connaisse des faits ; vous voulez qu'il suive des règles, résolve des problèmes mathématiques complexes et écrive du code. Pour ce faire, les scientifiques utilisent une méthode appelée « apprentissage par renforcement », qui est comme un jeu où le robot essaie différentes réponses, reçoit un score de la part d'un « vérificateur » (un juge strict) et apprend à répéter les mouvements qui ont obtenu un score élevé. Le grand espoir est que nous puissions enseigner au robot une compétence après l'autre — d'abord les mathématiques, puis l'écriture, puis le codage — sans qu'il n'oublie ce qu'il sait déjà ou qu'il ne s'embrouille. C'est le rêve de l'« apprentissage continu » : construire un robot qui s'améliore de plus en plus dans tout, étape par étape. Mais et si l'acte même d'enseigner au robot comment être parfait dans une chose finissait par verrouiller la porte de l'apprentissage de la suivante ? Et si le robot apprenait à être si bon pour suivre des instructions qu'il oubliait comment réfléchir étape par étape, ou vice versa ?

Ce document étudie un problème sournois appelé « remodelage du support induit par le vérificateur » (verifier-induced support reshaping). Les chercheurs ont découvert que lorsqu'on entraîne une IA à être excellente dans une tâche spécifique à l'aide d'un juge strict, l'IA ne se contente pas de s'améliorer dans cette tâche ; elle change réellement sa personnalité d'une manière qui rend l'apprentissage d'autres tâches beaucoup plus difficile plus tard. C'est comme si vous entraîniez un chien à s'asseoir uniquement quand vous dites « Assis », et qu'en faisant cela, vous lui aviez accidentellement appris que « Assis » est le seul mot qui compte. Plus tard, quand vous essaierez de lui apprendre à « Rester », il pourrait être confus parce que son cerveau a été remodelé pour ignorer tout le reste. L'article montre qu'il ne s'agit pas seulement de l'oubli des anciennes astuces (un problème connu sous le nom d'« oubli catastrophique ») ; il s'agit du fait que l'IA rend les réponses de type « correct » si rares que le processus d'apprentissage ne peut plus les trouver. Même si le robot possède toujours la capacité de résoudre un problème mathématique, il pourrait cesser d'essayer de le résoudre de la bonne manière parce qu'il s'est habitué à un style de réponse différent.

Les chercheurs ont testé cela en entraînant deux types de modèles d'IA sur deux tâches très différentes : résoudre des problèmes mathématiques et suivre des instructions d'écriture strictes (comme « écrivez exactement 50 mots » ou « utilisez des puces »). Ils ont entraîné un groupe pour être des génies des mathématiques et un autre pour être des pros du respect des instructions. Ensuite, ils ont inversé les juges pour voir ce qui se passerait.

Voici ce qu'ils ont découvert :

Le piège Mathématiques-vers-Instructions
Lorsqu'ils ont d'abord entraîné l'IA pour être un génie des mathématiques, celle-ci est devenue meilleure pour suivre les instructions en moyenne. Cependant, quelque chose d'étrange s'est produit : l'IA est devenue très « polarisée ». Elle réussissait soit parfaitement l'instruction, soit la ratait complètement, avec très peu de tentatives de « juste milieu ». Auparavant, l'IA pouvait essayer de nombreuses façons de répondre, certaines étant proches de la solution. Après l'entraînement mathématique, elle a cessé d'essayer ces chemins intermédiaires. Cela signifie que si vous essayiez de générer de nombreuses réponses (comme demander à l'IA d'essayer 32 fois), vous auriez moins de chances de trouver une seule réponse réussie pour la tâche d'instruction. L'entraînement mathématique avait tellement réduit le champ de vision de l'IA qu'elle a cessé d'explorer le « support » (la variété des tentatives) nécessaire pour apprendre de nouvelles astuces de suivi d'instructions.

Le piège Instructions-vers-Mathématiques
L'inverse était encore plus intéressant. Lorsqu'ils ont d'abord entraîné l'IA à suivre des instructions, elle a commencé à changer sa façon de répondre aux problèmes mathématiques. Au lieu de montrer son raisonnement étape par étape (comme « D'abord, j'ajoute 2 et 2... »), l'IA a commencé à sauter directement à la réponse (« La réponse est 4 »). Les chercheurs appellent cela un passage du « Raisonnement Délibéré par Initiation » (DRI - Deliberate Reasoning Initiation) à une « Initiation par Réponse Directe » (DAI - Direct Answer Initiation).
Ce changement était crucial. En commençant à sauter les étapes, l'IA rendait la recherche de la bonne réponse beaucoup plus difficile, même si l'IA connaissait toujours les mathématiques. En fait, plus l'IA sautait vers des réponses directes, plus son taux de réussite diminuait lorsque l'on tentait de générer plusieurs tentatives. Le « support » pour trouver la bonne réponse mathématique s'était réduit.

Le secret du « Premier Token »
Les chercheurs ont creusé plus loin pour comprendre pourquoi cela se produisait. Ils ont découvert que le changement ne concernait pas l'oubli par l'IA de la façon de faire des mathématiques plus loin dans la phrase. Le changement se produisait dès le tout premier mot tapé par l'IA !
Il s'avère que le « juge » (vérificateur) pour les mathématiques encourage l'IA à commencer par des mots comme « D'accord » ou « Voyons procéder par étapes », tandis que le juge pour les instructions encourage à commencer par « Réponse » ou « Voici ». Une fois que l'IA a appris à commencer par « Réponse », elle se retrouve verrouillée sur un chemin où elle saute les étapes de raisonnement. Les chercheurs ont prouvé cela en forçant l'IA à commencer par les mots de « mathématiques » même lorsqu'elle avait été entraînée à suivre des instructions. En faisant cela, la capacité de l'IA à trouver des solutions mathématiques s'est miraculeusement améliorée. Cela suggère que l'IA n'a pas perdu son « cerveau mathématique » ; elle est juste restée coincée dans une mauvaise habitude de « premier mouvement ».

Peut-on réparer cela ?
L'équipe a tenté de corriger ce problème. Ils ont essayé de « pré-entraîner » l'IA pour qu'elle commence toujours par les bons mots (un « DRI prior »), mais cela n'a fait que retarder le problème ; l'IA a fini par basculer vers le style de réponse directe. Ils ont également essayé une technique de « distillation on-policy », où une IA étudiante tente de copier une IA enseignante. Mais cela n'a fonctionné que s'ils choisissaient l'enseignante très soigneusement ; si l'enseignante avait déjà appris la « mauvaise » habitude, l'étudiante la copiait aussi.

L'essentiel à retenir
L'article conclut que le simple fait de rendre une IA meilleure dans une tâche ne garantit pas qu'elle sera prête à apprendre la suivante. En fait, les progrès dans un domaine peuvent parfois rendre l'espace de recherche de l'autre domaine si étroit que l'IA ne peut plus trouver les bonnes réponses. Les gains en mathématiques ou en suivi d'instructions ne se traduisent pas toujours par des réponses qui sont à la fois correctes et respectent les règles. C'est un avertissement pour les développeurs d'IA : le fait qu'un modèle obtienne un score élevé à un test aujourd'hui ne signifie pas qu'il n'a pas verrouillé la porte de son apprentissage futur. Pour garder une IA flexible, nous devons nous assurer qu'elle conserve une grande variété de « premiers mouvements » disponibles, et pas seulement ceux qui obtiennent des scores élevés pour l'instant.

Résumé technique : Remodelage du support induit par le vérificateur dans l'optimisation on-policy

1. Énoncé du problème

Le papier traite d'une limitation critique dans l'apprentissage par renforcement continu avec récompenses vérifiables (RLVR - Continual On-Policy Reinforcement Learning with Verifiable Rewards). Alors que la littérature existante se concentre souvent sur la capacité d'un modèle à conserver ses performances sur les tâches précédentes (oubli catastrophique) après l'adaptation à un nouvel objectif, ce travail identifie un problème prospectif : le remodelage du support induit par le vérificateur (Verifier-Induced Support Reshaping).

Le problème central est que l'optimisation d'une politique pour un vérificateur spécifique (par exemple, la justesse mathématique) peut altérer la distribution d'échantillonnage de la politique de telle sorte que les trajectoires réussies pour des objectifs futurs (par exemple, le respect des instructions) deviennent trop rares pour être échantillonnées dans un budget de déploiement (rollout) fixe. Même si la capacité sous-jacente n'est pas « oubliée », la politique peut ne plus générer assez fréquemment les comportements « réussis » nécessaires pour fournir un signal d'entraînement positif lors des étapes ultérieures. Les auteurs définissent le support récompensable effectif comme l'ensemble des trajectoires réussies qui restent suffisamment probables pour être échantillonnées sous un budget spécifié.

2. Méthodologie

L'étude emploie un design expérimental bidirectionnel contrôlé utilisant deux familles de modèles (Qwen3-8B-Base et Qwen2.5-Math-7B) et deux objectifs de post-entraînement distincts :

Raisonnement mathématique (Math-RLVR) : Entraîné sur le jeu de données MATH avec un vérificateur contrôlant l'exactitude de la réponse finale.
Respect de consignes contraintes (IF-RLVR) : Entraîné sur IFTrain/IFBench avec des vérificateurs contrôlant les contraintes explicites (format, longueur, contenu).

Design expérimental

Entraînement bidirectionnel : Les auteurs entraînent une branche avec Math-RLVR et mesurent son impact sur le support IF, et vice versa.
Entraînement séquentiel : Ils testent l'ordre des opérations (Math $\to$ IF et IF $\to$ Math) pour observer comment la première étape contraint la seconde.
Métriques d'évaluation :
- Pass@1 (mean@k) : Taux de succès moyen.
- Best@k : Si une trajectoire réussie existe au sein de $k$ échantillons (mesurant la capacité de recherche/searchability).
- Analyse par compartiments de prompts (Prompt Bucket Analysis) : Catégorisation des prompts en « tout faux », « mixtes » et « tout vrai » sur la base de $k=32$ déploiements.
- Benchmarks conjoints : Utilisation de MathIF et ReasonIF pour tester si une réponse unique satisfait à la fois la justesse et les contraintes.

Analyse des mécanismes

Distribution au niveau des tokens : Analyse de la divergence de Jensen-Shannon (JS) pour localiser où les changements de politique se produisent.
Interventions causales : Forcer des ouvertures de réponses spécifiques (ex: « Answer » vs « Alright ») pendant le décodage pour tester si le choix du premier token affecte causalement la recherche (searchability) en aval.
Stratégies d'atténuation : Test des contraintes de politique de référence (divergence KL), des priors de routage (SFT sur des types d'ouvertures spécifiques) et de la distillation on-policy (OPD).

3. Résultats clés

3.1 Remodelage asymétrique du support

Math-RLVR $\to$ IF : Math-RLVR augmente le succès moyen du respect des instructions (pass@1) mais réduit significativement le best@32. Les prompts passent de « mixtes » (certains succès, certains échecs) à « tout vrai » ou « tout faux ». Cette polarisation réduit le nombre de prompts où l'échantillonnage peut récupérer un succès, réduisant ainsi efficacement le support pour l'entraînement IF futur.
IF-RLVR $\to$ Math : IF-RLVR réduit la recherche mathématique (best@k chute sur tous les budgets testés de $k=4$ à $k=32$ ). Crucialement, cela déplace le style de réponse de l'Initiation de Raisonnement Délibéré (DRI - Deliberate Reasoning Initiation) (étape par étape) vers l'Initiation de Réponse Directe (DAI - Direct Answer Initiation). Ce changement est fortement corrélé à la perte de la capacité de recherche mathématique.

3.2 Conséquences de l'entraînement séquentiel

IF en premier : L'entraînement sur IF en premier laisse le Math-RLVR subséquent avec presque aucun prompt « mixte » (seulement « tout faux » ou « tout vrai »). Sans prompts mixtes, les mises à jour relatives au groupe manquent de variation de récompense, empêant le modèle de récupérer les stratégies de raisonnement basées sur la DRI.
Math en premier : L'entraînement sur Math en premier permet à l'IF-RLVR d'améliorer les scores IF, mais cela se fait au prix d'un déclin marqué de la performance mathématique précédemment acquise. Les contraintes de politique de référence (KL) peuvent maintenir la performance mathématique mais échouent à égaler les gains IF de la baseline non contrainte.

3.3 Mécanisme : Le rôle causal des ouvertures

Localisation : Les plus grands changements de distribution se produisent au premier token généré. Le ratio de la divergence JS au premier token par rapport aux tokens intérieurs varie de $9,8\times$ à $106,7\times$ .
Reranking vs Effacement : Le RLVR reclasse (rerank) principalement les candidats déjà présents dans le top-3 de la politique de base, plutôt que d'introduire des tokens entièrement nouveaux. Cependant, il peut promouvoir des tokens de faible probabilité (ex: « Answer ») vers la dominance.
Causalité : Des interventions contrôlées confirment que forcer une ouverture DRI (ex: « Alright ») sur un modèle IF-RLVR récupère la recherche mathématique, tandis que forcer une ouverture DAI la supprime. Cela prouve que le choix de l'ouverture dicte causalement la capacité de recherche du chemin de raisonnement.

3.4 Limites de l'atténuation

Priors de routage : Un prior SFT biaisé vers la DRI retarde le passage à la DAI mais ne l'empêche pas ; à l'étape 100, la dominance de la DAI est atteinte quel que soit le prior.
Distillation On-Policy (OPD) : Les résultats de l'OPD sont très sensibles à l'état de l'enseignant. Un enseignant IF convergé ne préserve pas le support mathématique, et aucun état d'enseignant unique n'optimise simultanément le transfert IF et la rétention mathématique.

3.5 Capacité conjointe

Sur les benchmarks MathIF et ReasonIF, les gains marginaux dans un domaine (ex: l'amélioration de la justesse via Math-RLVR) ne se traduisent pas proportionnellement en un succès conjoint (justesse + respect des contraintes). Le support conjoint ( $J = C \land F$ ) n'augmente que très légèrement, indiquant que les améliorations de l'objectif final dans un domaine ne garantissent pas la capacité ou l'entraînabilité conjointe.

4. Contributions

Cadre de remodelage du support : Le papier cadre le RLVR continu en termes de capacité d'entraînement future, définissant le « support récompensable effectif » et démontnant que les vérificateurs remodèlent ce support, rendant potentiellement les objectifs futurs inaccessibles.
Rôle causal des ouvertures : Il localise les changements inter-tâches sur les premiers tokens et établit un lien causal entre les ouvertures de réponse (DRI vs DAI) et la recherche en aval, suggérant que le problème est une sélection de route plutôt qu'un effacement large des capacités.
Limites de la préservation : Il démontre empiriquement que les techniques d'atténuation standard (entraînement séquentiel, contraintes KL, priors de routage, OPD) ne préservent que partiellement le support ou imposent un compromis avec les gains de la tâche cible, et que les améliorations des métriques isolées ne garantissent pas la capacité conjointe.

5. Signification et affirmations

Le papier affirme que les améliorations de l'extrémité (endpoint) ne garantissent pas la capacité d'entraînement future ou la capacité conjointe sous optimisation on-policy. Contrairement à l'oubli catastrophique, qui mesure la performance retenue, le remodelage du support mesure si les trajectoires réussies pour des tâches futures restent découvrables.

Les auteurs soutiennent que le choix du vérificateur dans le RLVR modifie fondamentalement l'« espace d'initiation » du modèle. Si un vérificateur pousse le modèle vers une ouverture spécifique (ex: réponses directes), il peut par inadvertance fermer l'espace de recherche requis pour d'autres tâches (ex: raisonnement étape par étape). Par conséquent, le papier suggère que les futures stratégies d'optimisation on-policy doivent explicitement estimer et préserver le support récompensable effectif à travers les optimisations multi-vérificateurs, plutôt que de se fier uniquement aux scores de la tâche actuelle ou aux métriques d'oubli standard.