Resumo Técnico: Atribuição de Crédito de Token Contrastivo com Guia para Otimização de Política Discreta

Declaração do Problema

Avanços recentes em aprendizado por reforço (RL) para modelos generativos, particularmente a Otimização de Política Relativa em Grupo (GRPO) e suas variantes como DAPO, demonstraram desempenho robusto em domínios que vão desde raciocínio matemático até síntese de texto para imagem. No entanto, esses métodos dependem de recompensas em nível de amostra, que são transmitidas uniformemente por todos os tokens em uma sequência gerada. Essa atribuição de crédito uniforme falha em capturar contribuições granulares em nível de token.

Na realidade, nem todos os tokens são igualmente importantes. No raciocínio em cadeia de pensamento (CoT), tokens específicos (por exemplo, derivações matemáticas) impulsionam a correção da resposta, enquanto outros (por exemplo, pontuação, verbos de ligação) são preenchimentos. Da mesma forma, na geração de texto para imagem, certas regiões da imagem estão diretamente associadas ao prompt de texto, enquanto outras (fundos) são menos relevantes. Métodos existentes de atribuição de crédito a tokens frequentemente dependem de heurísticas como confiança do token, gradientes ou entropia, mas carecem de um mecanismo unificado para identificar regiões semanticamente críticas em ambas as modalidades visual e textual.

Metodologia: Otimização de Política Contrastiva com Guia (GCPO)

Os autores propõem a Otimização de Política Contrastiva com Guia (GCPO), um algoritmo inovador que atribui vantagens por token contrastando previsões do modelo sob prompts positivos e negativos. O método é inspirado no Guia Livre de Classificador (CFG), uma técnica padrão de inferência em modelos de difusão de texto para imagem.

1. Mecanismo de Guia Contrastivo

A GCPO calcula um peso de importância por token ($\eta$) medindo a divergência entre a previsão do modelo dada um prompt positivo ($x$) e um prompt negativo ($x^-$).

• Para Texto para Imagem: O prompt positivo é a entrada do usuário, e o prompt negativo é tipicamente uma string vazia (geração incondicional).
• Para Raciocínio Multimodal (VLMs): Como modelos ajustados por instrução não suportam nativamente prompts vazios, os autores constroem um prompt negativo anexando o sufixo de instrução "gerar a resposta errada" à pergunta original. Isso cria um contraste entre a crença implícita do modelo em uma resposta correta versus uma incorreta.

O peso de importância é calculado usando a divergência de Kullback-Leibler (KL) entre as distribuições de tokens sob essas duas condições:
$$\eta_{i,t} = D_{KL}(\pi_\theta(y_{i,t}|x, y_{i,<t}) \parallel \pi_\theta(y_{i,t}|x^-, y_{i,<t}))$$
Tokens com altos valores de $\eta$ indicam regiões onde a previsão do modelo é altamente sensível ao prompt, significando importância semântica.

2. Normalização Baseada em Ranks

Valores brutos de divergência KL podem variar drasticamente em escala entre diferentes tarefas, prompts e comprimentos de sequência. Técnicas de normalização padrão, como softmax ou min-max, tendem a concentrar massa de probabilidade em outliers (por exemplo, o primeiro token). Para abordar isso, a GCPO emprega equalização de histograma (normalização baseada em ranks).

• Os valores $\eta$ não normalizados são convertidos em valores de função de distribuição acumulada (CDF) dentro da sequência.
• Isso garante que a distribuição dos pesos normalizados seja consistente entre amostras, independentemente da escala absoluta da divergência, facilitando um treinamento estável sem ajuste de hiperparâmetros específico da tarefa.

3. Objetivo de Otimização de Política

Os pesos normalizados ($\eta_{normalizado}$) são usados para escalar a vantagem por amostra ($\hat{A}_i$) para obter uma vantagem por token ($\hat{A}^{GCPO}_{i,t}$):
$$\hat{A}^{GCPO}_{i,t} = \eta_{normalizado, i,t} \cdot \hat{A}_i$$
Essa vantagem por token substitui a vantagem uniforme no objetivo padrão da GRPO, permitindo que a atualização da política se concentre mais fortemente em tokens semanticamente críticos.

Contribuições Principais

1. Nova Atribuição de Crédito a Tokens: A GCPO introduz um método para derivar pesos de importância por token contrastando prompts positivos e negativos, identificando efetivamente etapas-chave de raciocínio ou regiões visuais sem exigir recompensas explícitas em nível de token.
2. Extensão para Domínios de Linguagem e Multimodal: Embora o CFG seja padrão na geração de imagens, o artigo estende com sucesso esse conceito para geração de linguagem discreta e raciocínio multimodal, projetando uma estratégia específica de prompt negativo ("gerar a resposta errada") que revela as crenças implícitas do modelo sobre correção.
3. Normalização Robusta: A proposta de normalização baseada em ranks (equalização de histograma) resolve problemas de instabilidade associados a métricas de divergência bruta no treinamento de RL, garantindo otimização suave em tarefas diversas.
4. Generalização: O método demonstrou ser eficaz tanto na geração de texto para imagem quanto em tarefas complexas de raciocínio multimodal, superando baselines existentes.

Resultados Experimentais

Os autores avaliaram a GCPO em dois principais benchmarks:

Geração de Texto para Imagem

• Benchmark: GenEval.
• Modelo Base: Janus-Pro-7B.
• Resultados: A GCPO alcançou uma pontuação geral de 0,89, superando o modelo base (+0,09), o método RL anterior Janus-Pro-R1 e a baseline GRPO (0,85). Igualou o desempenho de modelos significativamente maiores (por exemplo, Qwen-Image-2507, BAGEL).
• Observação: Os ganhos mais significativos foram nas tarefas "Contagem" e "Atribuição de Cor", onde o alinhamento preciso em nível de token com o prompt é crítico.

Raciocínio Multimodal

• Benchmarks: MathVerse, MathVision, MM12K, LogicVista e MMMU-Pro.
• Modelos Base: Qwen2.5-VL-7B e Qwen3-VL-8B.
• Comparação: A GCPO foi comparada contra GRPO, DAPO e VPPO (um trabalho anterior focado em tokens dependentes visualmente).
• Resultados: A GCPO superou consistentemente todas as baselines. Por exemplo, no modelo Qwen3-VL-8B, a GCPO alcançou 55,3% no MMMU-Pro, superando o VPPO (52,4%) e o DAPO (50,5%).
• Ablação: O estudo confirmou que a divergência KL é a métrica mais eficaz em comparação com Ganho de Informação ou diferença absoluta, e que o prompt negativo "gerar a resposta errada" supera outras estratégias como imagens em branco ou prompts genéricos.

Significado e Alegações

O artigo alega que a GCPO é uma estratégia de otimização simples, geral e escalável para aprendizado de política discreta. Seu significado reside em:

• Refinar Sinais de Aprendizado: Ao migrar de recompensas uniformes em nível de amostra para vantagens granulares em nível de token, a GCPO permite que os modelos se concentrem na "substância" de traços de raciocínio e regiões visuais relevantes, em vez de tratar todos os tokens igualmente.
• Ponte entre Inferência e Treinamento: Adapta com sucesso uma técnica de tempo de inferência (CFG) em um mecanismo de moldagem de recompensa em tempo de treinamento, demonstrando que sinais contrastivos podem guiar a otimização de política mesmo em domínios onde o CFG não é usado explicitamente durante a amostragem.
• Superioridade sobre Heurísticas: Diferentemente de métodos anteriores de atribuição de crédito a tokens que dependem de heurísticas estáticas (confiança, gradientes), a GCPO deriva pesos dinamicamente com base na própria sensibilidade do modelo às condições do prompt, fornecendo um sinal mais fundamentado semanticamente.

Os autores notam limitações, especificamente que o método requer que o modelo tenha capacidades iniciais para diferenciar respostas corretas de incorretas (para responder ao prompt negativo) e é estritamente aplicável a tarefas de RL dependentes de prompt. No entanto, eles afirmam que a GCPO abre caminho para avanços futuros na otimização de política discreta, fornecendo um mecanismo robusto para atribuição de crédito em nível de token.