Résumé Technique : Attribution de Crédit de Token par Contraste de Guidance pour l'Optimisation de Politique Discrète

Énoncé du Problème

Les récents progrès en apprentissage par renforcement (RL) pour les modèles génératifs, en particulier l'Optimisation de Politique Relative par Groupes (GRPO) et ses variantes comme DAPO, ont démontré de fortes performances dans des domaines allant du raisonnement mathématique à la synthèse texte-vers-image. Cependant, ces méthodes reposent sur des récompenses au niveau de l'échantillon, qui sont diffusées uniformément sur tous les tokens d'une séquence générée. Cette attribution de crédit uniforme échoue à capturer les contributions fines au niveau du token.

En réalité, tous les tokens ne sont pas également importants. Dans le raisonnement par chaîne de pensée (CoT), des tokens spécifiques (par exemple, les dérivations mathématiques) déterminent l'exactitude de la réponse, tandis que d'autres (par exemple, la ponctuation, les verbes de liaison) sont des éléments de remplissage. De même, dans la génération texte-vers-image, certaines régions de l'image sont directement associées au prompt textuel, tandis que d'autres (les arrière-plans) sont moins pertinentes. Les méthodes existantes d'attribution de crédit aux tokens reposent souvent sur des heuristiques telles que la confiance du token, les gradients ou l'entropie, mais elles manquent d'un mécanisme unifié pour identifier les régions sémantiquement critiques à la fois dans les modalités visuelles et textuelles.

Méthodologie : Optimisation de Politique par Contraste de Guidance (GCPO)

Les auteurs proposent l'Optimisation de Politique par Contraste de Guidance (GCPO), un algorithme novateur qui attribue des avantages par token en contrastant les prédictions du modèle sous des prompts positifs et négatifs. La méthode s'inspire de la Guidance sans Classificateur (CFG), une technique d'inférence standard dans les modèles de diffusion texte-vers-image.

1. Mécanisme de Guidance par Contraste

Le GCPO calcule un poids d'importance par token ($\eta$) en mesurant la divergence entre la prédiction du modèle donnée un prompt positif ($x$) et un prompt négatif ($x^-$).

• Pour le Texte-vers-Image : Le prompt positif est l'entrée utilisateur, et le prompt négatif est typiquement une chaîne vide (génération inconditionnelle).
• Pour le Raisonnement Multimodal (VLMs) : Puisque les modèles ajustés par instruction ne prennent pas nativement en charge les prompts vides, les auteurs construisent un prompt négatif en ajoutant le suffixe d'instruction "générer la mauvaise réponse" à la question originale. Cela crée un contraste entre la croyance implicite du modèle en une réponse correcte versus une réponse incorrecte.

Le poids d'importance est calculé en utilisant la divergence de Kullback-Leibler (KL) entre les distributions de tokens sous ces deux conditions :
$$\eta_{i,t} = D_{KL}(\pi_\theta(y_{i,t}|x, y_{i,<t}) \parallel \pi_\theta(y_{i,t}|x^-, y_{i,<t}))$$
Les tokens avec des valeurs $\eta$ élevées indiquent des régions où la prédiction du modèle est hautement sensible au prompt, signifiant une importance sémantique.

2. Normalisation Basée sur le Rang

Les valeurs brutes de divergence KL peuvent varier considérablement en échelle entre différentes tâches, prompts et longueurs de séquence. Les techniques de normalisation standard comme le softmax ou min-max sont sujettes à concentrer la masse de probabilité sur les valeurs aberrantes (par exemple, le premier token). Pour y remédier, le GCPO emploie l'égalisation d'histogramme (normalisation basée sur le rang).

• Les valeurs $\eta$ non normalisées sont converties en valeurs de fonction de distribution cumulative (CDF) au sein de la séquence.
• Cela garantit que la distribution des poids normalisés est cohérente entre les échantillons, indépendamment de l'échelle absolue de la divergence, facilitant un entraînement stable sans ajustement d'hyperparamètres spécifique à la tâche.

3. Objectif d'Optimisation de Politique

Les poids normalisés ($\eta_{normalisé}$) sont utilisés pour mettre à l'échelle l'avantage par échantillon ($\hat{A}_i$) afin d'obtenir un avantage par token ($\hat{A}^{GCPO}_{i,t}$) :
$$\hat{A}^{GCPO}_{i,t} = \eta_{normalisé, i,t} \cdot \hat{A}_i$$
Cet avantage par token remplace l'avantage uniforme dans l'objectif GRPO standard, permettant à la mise à jour de la politique de se concentrer davantage sur les tokens sémantiquement critiques.

Contributions Clés

1. Attribution de Crédit de Token Novatrice : Le GCPO introduit une méthode pour dériver des poids d'importance par token en contrastant des prompts positifs et négatifs, identifiant efficacement les étapes de raisonnement clés ou les régions visuelles sans nécessiter de récompenses explicites au niveau du token.
2. Extension aux Domaines Linguistiques et Multimodaux : Alors que la CFG est standard dans la génération d'images, l'article étend avec succès ce concept à la génération de langage discrète et au raisonnement multimodal en concevant une stratégie de prompt négatif spécifique ("générer la mauvaise réponse") qui révèle les croyances implicites du modèle sur l'exactitude.
3. Normalisation Robuste : La proposition de normalisation basée sur le rang (égalisation d'histogramme) résout les problèmes d'instabilité associés aux métriques de divergence brutes dans l'entraînement RL, assurant une optimisation fluide à travers des tâches diverses.
4. Généralisabilité : La méthode s'est avérée efficace à la fois pour la génération texte-vers-image et pour des tâches complexes de raisonnement multimodal, surpassant les bases de référence existantes.

Résultats Expérimentaux

Les auteurs ont évalué le GCPO sur deux principaux benchmarks :

Génération Texte-vers-Image

• Benchmark : GenEval.
• Modèle de Base : Janus-Pro-7B.
• Résultats : Le GCPO a obtenu un score global de 0,89, surpassant le modèle de base (+0,09), la méthode RL précédente Janus-Pro-R1, et la base GRPO (0,85). Il a égalé les performances de modèles significativement plus grands (par exemple, Qwen-Image-2507, BAGEL).
• Observation : Les gains les plus significatifs ont été observés dans les tâches de "Comptage" et d'"Attribution de Couleur", où un alignement précis au niveau du token avec le prompt est critique.

Raisonnement Multimodal

• Benchmarks : MathVerse, MathVision, MM12K, LogicVista et MMMU-Pro.
• Modèles de Base : Qwen2.5-VL-7B et Qwen3-VL-8B.
• Comparaison : Le GCPO a été comparé à GRPO, DAPO et VPPO (un travail antérieur se concentrant sur les tokens dépendants visuellement).
• Résultats : Le GCPO a constamment surpassé toutes les bases de référence. Par exemple, sur le modèle Qwen3-VL-8B, le GCPO a obtenu 55,3 % sur MMMU-Pro, dépassant VPPO (52,4 %) et DAPO (50,5 %).
• Ablation : L'étude a confirmé que la divergence KL est la métrique la plus efficace par rapport au Gain d'Information ou à la différence absolue, et que le prompt négatif "générer la mauvaise réponse" surpasse d'autres stratégies comme les images vides ou les prompts génériques.

Signification et Revendications

L'article revendique que le GCPO est une stratégie d'optimisation simple, générale et évolutive pour l'apprentissage de politique discrète. Sa signification réside dans :

• Raffinement des Signaux d'Apprentissage : En passant de récompenses uniformes au niveau de l'échantillon à des avantages fins au niveau du token, le GCPO permet aux modèles de se concentrer sur la "substance" des traces de raisonnement et des régions visuelles pertinentes, plutôt que de traiter tous les tokens de manière égale.
• Pont entre Inférence et Entraînement : Il adapte avec succès une technique de temps d'inférence (CFG) en un mécanisme de façonnage de récompense au temps d'entraînement, démontrant que des signaux contrastifs peuvent guider l'optimisation de politique même dans des domaines où la CFG n'est pas explicitement utilisée lors de l'échantillonnage.
• Supériorité sur les Heuristiques : Contrairement aux méthodes précédentes d'attribution de crédit aux tokens qui reposent sur des heuristiques statiques (confiance, gradients), le GCPO dérive des poids dynamiquement basés sur la sensibilité propre du modèle aux conditions de prompt, fournissant un signal plus ancré sémantiquement.

Les auteurs notent des limitations, spécifiquement que la méthode nécessite que le modèle ait des capacités initiales pour différencier les réponses correctes des incorrectes (pour répondre au prompt négatif) et qu'elle s'applique strictement aux tâches RL dépendantes du prompt. Cependant, ils affirment que le GCPO ouvre la voie à des avancées futures en optimisation de politique discrète en fournissant un mécanisme robuste pour l'attribution de crédit au niveau du token.