Technische Samenvatting: Guidance Contrastive Token Credit Assignment voor Discrete Policy Optimization

Probleemstelling

Recente vooruitgang in versterkingsleer (RL) voor generatieve modellen, met name Group Relative Policy Optimization (GRPO) en varianten zoals DAPO, heeft sterke prestaties aangetoond in domeinen variërend van wiskundig redeneren tot tekst-naar-afbeelding synthese. Deze methoden vertrouwen echter op beloningen op nivo van het voorbeeld (sample-level rewards), die uniform over alle tokens in een gegenereerde sequentie worden uitgezonden. Deze uniforme toewijzing van krediet faalt om fijnmazige, token-specifieke bijdragen vast te leggen.

In werkelijkheid zijn niet alle tokens even belangrijk. Bij chain-of-thought (CoT) redeneren drijven specifieke tokens (bijvoorbeeld wiskundige afleidingen) de correctheid van het antwoord, terwijl andere (bijvoorbeeld leestekens, koppelwerkwoorden) vullers zijn. Evenzo zijn bij tekst-naar-afbeelding generatie bepaalde afbeeldingsregio's direct gekoppeld aan de tekstprompt, terwijl andere (achtergronden) minder relevant zijn. Bestaande methoden voor token-krediettoewijzing vertrouwen vaak op heuristieken zoals token-gevoeligheid, gradiënten of entropie, maar missen een unificerend mechanisme om semantisch kritieke regio's te identificeren in zowel visuele als tekstuele modaliteiten.

Methodologie: Guidance Contrastive Policy Optimization (GCPO)

De auteurs stellen Guidance Contrastive Policy Optimization (GCPO) voor, een nieuw algoritme dat per-token voordelen toekent door modelvoorspellingen onder positieve en negatieve prompts te contrasteren. De methode is geïnspireerd op Classifier-Free Guidance (CFG), een standaard inferentietechniek in tekst-naar-afbeelding diffusiemodellen.

1. Contrastief Guidance Mechanisme

GCPO berekent een per-token belangrijkheidsgewicht ($\eta$) door de divergentie te meten tussen de voorspelling van het model gegeven een positieve prompt ($x$) en een negatieve prompt ($x^-$).

• Voor tekst-naar-afbeelding: De positieve prompt is de gebruikersinvoer, en de negatieve prompt is doorgaans een lege string (unconditionele generatie).
• Voor multimodaal redeneren (VLM's): Aangezien instructie-gefineerde modellen geen lege prompts natief ondersteunen, construeren de auteurs een negatieve prompt door de achtervoegsel-instructie "generate the wrong answer" (genereer het verkeerde antwoord) aan de oorspronkelijke vraag toe te voegen. Dit creëert een contrast tussen het impliciete geloof van het model in een correct antwoord versus een incorrecte.

Het belangrijkheidsgewicht wordt berekend met behulp van de Kullback-Leibler (KL) divergentie tussen de tokenverdelingen onder deze twee voorwaarden:
$$\eta_{i,t} = D_{KL}(\pi_\theta(y_{i,t}|x, y_{i,<t}) \parallel \pi_\theta(y_{i,t}|x^-, y_{i,<t}))$$
Tokens met hoge $\eta$-waarden geven regio's aan waar de voorspelling van het model zeer gevoelig is voor de prompt, wat semantische belangrijkheid aangeeft.

2. Rang-gebaseerde Normalisatie

Rauwe KL-divergentiewaarden kunnen sterk variëren in schaal tussen verschillende taken, prompts en sequentielengtes. Standaard normalisatietechnieken zoals softmax of min-max zijn vatbaar voor het concentreren van waarschijnlijkheidsmassa op uitschieters (bijvoorbeeld het eerste token). Om dit aan te pakken, hanteert GCPO histogram equalization (rang-gebaseerde normalisatie).

• De genormaliseerde $\eta$-waarden worden omgezet naar cumulatieve verdelingsfunctie (CDF)-waarden binnen de sequentie.
• Dit zorgt ervoor dat de verdeling van genormaliseerde gewichten consistent is over voorbeelden, ongeacht de absolute schaal van de divergentie, wat stabiele training faciliteert zonder taakspecifieke hyperparameter-tuning.

3. Doelstelling voor Policy Optimization

De genormaliseerde gewichten ($\eta_{normalized}$) worden gebruikt om het voorbeeldspecifieke voordeel ($\hat{A}_i$) te schalen om een per-token voordeel te verkrijgen ($\hat{A}^{GCPO}_{i,t}$):
$$\hat{A}^{GCPO}_{i,t} = \eta_{normalized, i,t} \cdot \hat{A}_i$$
Dit per-token voordeel vervangt het uniforme voordeel in de standaard GRPO-doelstelling, waardoor de policy-update zich zwaarder kan richten op semantisch kritieke tokens.

Belangrijkste Bijdragen

1. Nieuwe Token-krediettoewijzing: GCPO introduceert een methode om per-token belangrijkheidsgewichten af te leiden door positieve en negatieve prompts te contrasteren, waardoor sleutelredeneerstappen of visuele regio's effectief worden geïdentificeerd zonder expliciete token-specifieke beloningen te vereisen.
2. Uitbreiding naar Taal- en Multimodale Domeinen: Waar CFG standaard is in afbeeldingsgeneratie, breidt het artikel dit concept succesvol uit naar discrete taalgeneratie en multimodaal redeneren door een specifieke strategie voor negatieve prompts ("genereer het verkeerde antwoord") te ontwerpen die de impliciete correctheidsopvattingen van het model blootlegt.
3. Robuuste Normalisatie: Het voorstellen van rang-gebaseerde normalisatie (histogram equalization) lost de instabiliteitsproblemen op die samenhangen met rauwe divergentiemetingen in RL-training, en zorgt voor soepele optimalisatie over diverse taken.
4. Generaliseerbaarheid: De methode blijkt effectief te zijn voor zowel tekst-naar-afbeelding generatie als complexe multimodale redeneertaken, en presteert beter dan bestaande baselines.

Experimentele Resultaten

De auteurs hebben GCPO geëvalueerd op twee primaire benchmarks:

Tekst-naar-afbeelding Generatie

• Benchmark: GenEval.
• Basismodel: Janus-Pro-7B.
• Resultaten: GCPO behaalde een totaalscore van 0,89, wat beter was dan het basismodel (+0,09), de vorige RL-methode Janus-Pro-R1 en de GRPO-baseline (0,85). Het kwam overeen met de prestaties van aanzienlijk grotere modellen (bijvoorbeeld Qwen-Image-2507, BAGEL).
• Observatie: De grootste winsten werden behaald bij taken "Tellen" en "Kleurtoeschrijving", waar precieze token-specifieke uitlijning met de prompt cruciaal is.

Multimodaal Redeneren

• Benchmarks: MathVerse, MathVision, MM12K, LogicVista en MMMU-Pro.
• Basismodellen: Qwen2.5-VL-7B en Qwen3-VL-8B.
• Vergelijking: GCPO werd vergeleken met GRPO, DAPO en VPPO (een eerdere studie die zich richtte op visueel afhankelijke tokens).
• Resultaten: GCPO presteerde consequent beter dan alle baselines. Bijvoorbeeld, op het Qwen3-VL-8B-model behaalde GCPO 55,3% op MMMU-Pro, wat VPPO (52,4%) en DAPO (50,5%) overtrof.
• Ablatie: De studie bevestigde dat KL-divergentie de meest effectieve metriek is in vergelijking met Informatiewinst of absolute verschil, en dat de negatieve prompt "genereer het verkeerde antwoord" beter presteert dan andere strategieën zoals lege afbeeldingen of generieke prompts.

Betekenis en Claims

Het artikel claimt dat GCPO een eenvoudige, algemene en schaalbare optimalisatiestrategie is voor discrete policy learning. De betekenis ligt in:

• Verfijning van leersignalen: Door te bewegen van uniforme beloningen op voorbeeldniveau naar fijnmazige voordelen op tokenniveau, stelt GCPO modellen in staat zich te richten op de "inhoud" van redeneersporen en relevante visuele regio's, in plaats van alle tokens gelijk te behandelen.
• Brug slaan tussen inferentie en training: Het past succesvol een techniek voor inferentietijd (CFG) toe als een beloningsvormingsmechanisme voor trainingstijd, en toont aan dat contrastieve signalen policy-optimalisatie kunnen sturen, zelfs in domeinen waar CFG niet expliciet wordt gebruikt tijdens het sampling.
• Superioriteit ten opzichte van heuristieken: In tegenstelling tot eerdere methoden voor token-krediettoewijzing die vertrouwen op statische heuristieken (gevoeligheid, gradiënten), leidt GCPO gewichten dynamisch af op basis van de eigen gevoeligheid van het model voor promptcondities, waardoor een meer semantisch onderbouw signaal wordt geboden.

De auteurs merken beperkingen op, specifiek dat de methode vereist dat het model initiële capaciteiten heeft om correcte van incorrecte antwoorden te onderscheiden (om te reageren op de negatieve prompt) en strikt van toepassing is op prompt-afhankelijke RL-taken. Zij stellen echter dat GCPO de weg effent voor toekomstige vooruitgang in discrete policy optimalisatie door een robuust mechanisme voor token-specifieke krediettoewijzing te bieden.