💬 NLP

CEPO: RLVR Self-Distillation using Contrastive Evidence Policy Optimization

L'article présente l'optimisation de politique par preuve contrastive (CEPO), une nouvelle méthode d'auto-distillation RLVR qui exploite à la fois les trajectoires correctes et rejetées pour générer un signal de récompense contrastif, identifiant ainsi avec précision les étapes de raisonnement décisives tout en évitant la fuite d'informations et surpassant les bases existantes telles que GRPO sur des benchmarks de raisonnement mathématique multimodal.

Auteurs originaux : Ahmed Heakl, Abdelrahman M. Shaker, Youssef Mohamed, Rania Elbadry, Omar Fetouh, Fahad Shahbaz Khan, Salman Khan

Publié 2026-05-20

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ahmed Heakl, Abdelrahman M. Shaker, Youssef Mohamed, Rania Elbadry, Omar Fetouh, Fahad Shahbaz Khan, Salman Khan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseignez à un robot comment résoudre un problème mathématique complexe. Vous laissez le robot essayer de le résoudre, et lorsqu'il trouve la bonne réponse, vous lui donnez une étoile dorée. Lorsqu'il se trompe, vous lui donnez un signal « réessayez ».

C'est ainsi que fonctionne l'entraînement actuel des IA (appelé RLVR). Mais il y a un gros problème avec cette approche : le robot reçoit la même étoile dorée pour chaque mot qu'il a tapé, même si certains mots étaient des idées brillantes et d'autres n'étaient que des « euh », « donc » ou « par conséquent».

C'est comme un enseignant qui donnerait la note A+ pour un devoir entier, alors que l'élève n'a écrit qu'une seule excellente phrase et que le reste n'était que du remplissage. Le robot ne sait pas quels mots précis ont résolu le problème, il apprend donc lentement et se perd.

L'ancienne solution (et pourquoi elle a échoué)

Les scientifiques ont essayé de corriger cela en disant : « D'accord, disons au robot la bonne réponse avant qu'il n'écrive, et voyons ce qu'il aurait écrit différemment. »

Cependant, cela a créé un nouveau problème appelé « fuite d'information ».

L'analogie : Imaginez un élève qui triche lors d'un examen. Si vous donnez la clé des réponses à l'élève pendant qu'il écrit, il risque simplement de mémoriser la clé au lieu d'apprendre les mathématiques. Il commence à écrire des choses qui ressemblent à la clé des réponses mais qui n'ont pas vraiment de sens. L'article a montré que les méthodes précédentes faisaient exactement cela : l'IA a commencé à « tricher » en mémorisant la réponse plutôt qu'en apprenant le raisonnement.

La nouvelle solution : CEPO

Les auteurs proposent une nouvelle méthode appelée CEPO (Contrastive Evidence Policy Optimization). Voici comment elle fonctionne, en utilisant une analogie simple :

L'interrogatoire « Bon flic, mauvais flic »
Au lieu de simplement demander au robot : « Avez-vous trouvé la bonne réponse ? », le CEPO pose une question plus précise : « Ce mot précis vous a-t-il aidé à obtenir la bonne réponse, et a-t-il réduit vos chances d'obtenir une mauvaise réponse ? »

Le bon professeur (Réponse correcte) : L'IA examine la solution correcte et se demande : « Aurais-je écrit ce mot si je savais que la réponse était juste ? »
Le mauvais professeur (Réponse incorrecte) : L'IA examine une tentative échouée (celle qu'elle a déjà essayée et où elle s'est trompée) et se demande : « Aurais-je écrit ce mot si j'essayais d'obtenir la mauvaise réponse ? »

La comparaison magique :

Les mots « remplissage » : Si le mot est simplement « par conséquent » ou « le », le bon professeur et le mauvais professeur l'auraient écrit de toute façon. Comme ils sont d'accord, le mot reçoit un score neutre. Il ne reçoit pas de crédit supplémentaire.
Les mots « décisifs » : Si le mot est une étape mathématique cruciale (comme « diviser par 2 »), le bon professeur dit : « Oui, j'en ai besoin ! » tandis que le mauvais professeur dit : « Non, je ne ferais pas cela ! » Comme ils ne sont pas d'accord, l'IA réalise : « Aha ! Ce mot est la clé pour résoudre le problème ! » Il reçoit un énorme boost de crédit.

Pourquoi c'est mieux

Pas de triche : Parce que l'IA compare le chemin « Juste » par rapport à un chemin « Faux » au sein du même lot de tentatives, elle ne fuit pas la réponse dans le processus d'entraînement. Elle reste sûre et apprend la logique réelle.
Précision : Elle arrête de perdre du temps à féliciter le robot pour avoir écrit « le » ou « et ». Elle concentre toute la louange sur les étapes spécifiques qui ont réellement résolu l'énigme.

Les résultats

L'article a testé cela sur deux tailles de modèles d'IA (2 milliards et 4 milliards de paramètres) en utilisant des problèmes mathématiques impliquant la géométrie et la logique.

Le gagnant : Le CEPO a constamment battu les meilleures méthodes précédentes.
Les perdants : Les anciennes méthodes qui tentaient de « tricher » en fuyant la réponse (appelées OPSD et SDPO) ont en réalité performé moins bien que le robot non entraîné. Cela a prouvé que la théorie des auteurs était juste : si vous n'empêchez pas l'IA de mémoriser la réponse, elle devient moins intelligente.

Résumé

Pensez au CEPO comme à un projecteur intelligent. Au lieu d'éclairer toute la scène (la phrase entière), il zoome uniquement sur l'acteur qui délivre réellement la chute. Il ignore le bruit de fond et le remplissage, garantissant que l'IA apprend exactement ce qui a fait fonctionner la solution, sans mémoriser accidentellement la clé des réponses.

Résumé Technique : CEPO – Auto-distillation par RLVR utilisant l'Optimisation de Politique par Preuve Contrastive

1. Énoncé du Problème

L'apprentissage par renforcement avec récompenses vérifiables (RLVR) est devenu le paradigme dominant pour l'entraînement postérieur des grands modèles de langage (LLM) sur des tâches de raisonnement. L'approche standard, l'Optimisation de Politique Relative par Groupes (GRPO), simplifie l'entraînement en éliminant les réseaux de valeur et en normalisant les récompenses au sein de groupes de réponses échantillonnées. Cependant, GRPO souffre d'un goulot d'étranglement fondamental dans l'attribution de crédit : il attribue un avantage uniforme au niveau de la séquence à chaque token d'une trajectoire correcte et un signal négatif uniforme à chaque token d'une trajectoire incorrecte.

Cette uniformité est inefficace pour le raisonnement mathématique, où une seule étape inférentielle décisive ou une erreur arithmétique mineure détermine le résultat, tandis que la majorité des tokens sont des remplisseurs grammaticaux ou du texte générique. L'attribution de crédit uniforme gaspille le signal de gradient sur les tokens de remplissage et échoue à distinguer les étapes de raisonnement décisives du contenu non informatif, entraînant une convergence lente et des mises à jour bruyantes.

Les tentatives antérieures pour résoudre ce problème via l'auto-distillation on-policy (conditionnement du modèle sur la réponse correcte en tant qu'enseignant) ont fait face à deux problèmes critiques :

Fuite d'Information : Des méthodes comme OPSD et SDPO minimisent la divergence par token entre l'élève et un enseignant privilégié. Théoriquement, cela introduit une somme à l'échelle du vocabulaire de poids conditionnés par $r$ dans le gradient. À mesure que l'entraînement progresse, cette « déviation néfaste » domine le signal bénin, amenant le modèle à encoder des corrélations spurious entre l'entrée et la réponse ( $x \to r^+$ ), dégradant ainsi la généralisation.
Qualité du Signal Faible : La récente méthode RLSD a résolu la fuite en utilisant un stop-gradient sur le rapport de preuve $P^+_T(y_t)/P_S(y_t)$ $P_{T}^{+} (y_{t}) / P_{S} (y_{t})$ pour moduler l'avantage GRPO. Cependant, RLSD présente trois limitations de signal :
- Conflit de Fluidité : Le dénominateur $P_S(y_t)$ reflète la fluidité de base, supprimant le ratio pour les tokens communs indépendamment de leur pertinence sémantique.
- Signal Négatif Asymétrique : Pour les trajectoires incorrectes, la pénalité est indirecte et manque d'ancrage explicite dans ce que la mauvaise réponse prédit.
- Preuve Unilatérale : RLSD ne peut pas distinguer un token de remplissage (soutenu également par les réponses correcte et incorrecte) d'une étape de raisonnement décisive (soutenue par la réponse correcte mais défavorisée par la réponse incorrecte), car les deux produisent le même ratio.

2. Méthodologie : Optimisation de Politique par Preuve Contrastive (CEPO)

Les auteurs proposent CEPO, qui remplace le rapport de preuve à référence unique par un rapport contrastif entre un enseignant de réponse correcte et un enseignant de réponse incorrecte.

Mécanisme Central

Au lieu de comparer l'a priori de l'élève $P_S$ avec l'enseignant correct $P^+_T$ , CEPO compare l'enseignant correct $P^+_T$ avec un enseignant incorrect $P^-_T$ . L'enseignant incorrect est construit en conditionnant le modèle sur une réponse rejetée ( $r^-$ ) tirée du même lot d'entraînement (spécifiquement, le rollout rejeté avec la récompense la plus basse), n'engendrant aucun coût d'échantillonnage supplémentaire.

Le Delta de Preuve Contrastive est défini comme suit :
$\Delta^{CE}_t = \text{sg}\left( \log \frac{P^+_T(y_t)}{P^-_T(y_t)} \right)$
Où $\text{sg}(\cdot)$ est l'opérateur stop-gradient.

Interprétation Bayésienne

Les auteurs dérivent une interprétation bayésienne claire de $\Delta^{CE}_t$ en tant que mise à jour différentielle de croyance. Elle mesure dans quelle mesure un token $y_t$ renforce simultanément la croyance a posteriori en la réponse correcte $r^+$ tout en affaiblissant la croyance en la réponse incorrecte $r^-$ .

Étapes Décisives : Reçoivent un $\Delta^{CE}_t$ positif élevé (fortement favorisé par $r^+$ , défavorisé par $r^-$ ).
Tokens de Remplissage : Reçoivent un $\Delta^{CE}_t \approx 0$ (soutenus également par $r^+$ et $r^-$ ).

Objectif d'Entraînement

L'avantage au niveau du token est modulé par ce poids contrastif :
$\hat{A}^{(i)}_t = A^{(i)} \cdot \left[ (1-\lambda) + \lambda \cdot \text{clip}(w^{CE}_t, 1-\epsilon_w, 1+\epsilon_w) \right]$
où $w^{CE}_t = \exp(\text{sign}(A) \cdot \Delta^{CE}_t)$ . La politique est mise à jour en utilisant un objectif de substitution standard PPO-clipped. Le paramètre $\lambda$ décroît linéairement d'une valeur initiale à 0 sur une période de warmup.

3. Contributions Clés et Garanties Théoriques

L'article établit que CEPO hérite de la sécurité structurelle de RLSD tout en généralisant strictement la qualité de son signal :

Sécurité Structurelle : CEPO satisfait l'Ancrage Directionnel (l'information privilégiée ne peut pas inverser le signe de la mise à jour) et des Gradients Sans Fuite (aucune somme à l'échelle du vocabulaire conditionnée par $r$ ). L'enseignant de réponse incorrecte $r^-$ n'intervient que comme un scalaire stop-gradienté.
Contenement de RLSD : Si l'enseignant de réponse incorrecte ne porte aucune information ( $P^-_T = P_S$ ), CEPO se réduit exactement à RLSD. Ainsi, RLSD est un cas dégénéré de CEPO.
Précision Discriminante : Les auteurs prouvent que CEPO attribue un crédit strictement plus précis que RLSD à un token $y_t$ si et seulement si l'enseignant de réponse incorrecte défavorise ce token par rapport à l'a priori de l'élève ( $P^-_T(y_t) < P_S(y_t)$ ). Cette condition se concentre empiriquement sur les positions arithmétiques et inférentielles décisives, tandis que les tokens de remplissage reçoivent des poids neutres ( $w^{CE}_t \approx 1$ ), évitant l'introduction de signaux spurious.

4. Résultats Expérimentaux

Les auteurs ont évalué CEPO sur des modèles Qwen3-VL (2B et 4B paramètres) entraînés sur le dataset de géométrie Geo3k et testés sur cinq benchmarks de raisonnement mathématique multimodal : DynaMath, LogicVista, MathVisionmini, MMMU et WeMath.

Gains de Performance :
- Échelle 2B : CEPO a atteint une précision moyenne de 43,43 %, surpassant GRPO (41,17 %) de +2,26 points de pourcentage.
- Échelle 4B : CEPO a atteint 60,56 %, surpassant GRPO (57,43 %) de +3,13 points de pourcentage.
- Les gains ont été les plus significatifs sur les benchmarks nécessitant un raisonnement multi-étapes fin (par exemple, LogicVista, MathVisionmini) et minimes sur les benchmarks de récupération de connaissances (MMMU).
Échec des Baselines :
- OPSD et SDPO ont dégradé les performances en dessous de la baseline non entraînée (par exemple, 34,96 % contre 39,73 % pour 2B), confirmant empiriquement la prédiction théorique de fuite d'information.
- RLSD a montré une amélioration marginale par rapport à GRPO mais a été surpassé par CEPO.
Efficacité : CEPO ajoute un seul passage avant d'enseignant supplémentaire par trajectoire par rapport à GRPO (surcharge similaire à RLSD), sans coût d'échantillonnage supplémentaire.

5. Importance et Revendications

L'article revendique que CEPO offre une solution principielle et pratique au problème de l'attribution de crédit dans le RLVR. Son importance réside dans :

Résolution du Compromis : Il réalise le « meilleur des deux mondes » : la sécurité structurelle requise pour prévenir la fuite d'information (une condition préalable à un entraînement stable) et la qualité de signal nécessaire pour distinguer les étapes de raisonnement décisives du remplissage.
Validation Empirique de la Théorie : L'effondrement des méthodes sujettes aux fuites (OPSD/SDPO) en dessous de la baseline sert de confirmation empirique de l'analyse théorique des fuites, tandis que le succès de CEPO valide l'approche contrastive.
Interprétabilité : L'analyse des poids des tokens montre que CEPO localise avec succès le crédit sur les dérivations algébriques critiques et supprime la prose fluide mais non informative, un comportement non observé dans RLSD.

Les auteurs concluent que CEPO fournit un bloc de construction robuste pour la prochaine génération d'entraînement RLVR conscient du crédit, avec des travaux futurs suggérés pour étendre la méthode à des modèles plus grands, au raisonnement texte seul et à la génération de code.