Resumo Técnico: CoCA – Recompensa por Nível de Passo Gratuita para Modelos de Difusão T2I Ajustados via RL

1. Definição do Problema

Os modelos de difusão de texto-para-imagem (T2I) de última geração dependem cada vez mais de Aprendizado por Reforço (RL) para o ajuste fino (fine-tuning) visando o alinhamento com preferências humanas (ex: apelo estético, correção semântica). No entanto, esses métodos enfrentam uma limitação crítica: a escassez de recompensa (reward sparsity).

Em formulações padrão de RL para difusão, o processo é modelado como um Processo de Decisão de Markov (MDP) onde o agente recebe uma única recompensa terminal apenas após o passo final de denoising ($t=0$). Os métodos de gradiente de política existentes (ex: REINFORCE, DDPO) distribuem essa recompensa escalar uniformemente através de todos os $T$ passos de denoising. Isso cria um descompasso:

• Impacto Desigual: Os estágios iniciais são decisivos para estabelecer a estrutura global da imagem, enquanto os estágios posteriores servem primordialmente para refinar detalhes finos.
• Atribuição de Crédito Ineficiente: O peso uniforme falha em identificar quais passos específicos contribuíram significativamente para a qualidade final, levando a uma eficiência de amostragem suboptimal e uma precisão limitada ao atribuir recompensas às ações generativas.
• Limitações de Soluções Existentes: Tentativas anteriores para abordar isso incluem o desconto temporal fixo (que depende de suposições a priori que falham em generalizar entre diversos prompts) ou o treinamento de redes auxiliares (ex: críticos passo a passo) para prever recompensas intermediárias, o que introduz uma sobrecarga computacional significativa e exige treinamento adicional.

2. Metodologia: CoCA (Atribuição de Crédito Baseada em Contribuição)

Os autores propõem o CoCA, um framework que redistribui a recompensa terminal ao longo da trajetória de denoising para gerar sinais densos de nível de passo sem treinar redes auxiliares.

Mecanismo Central

O CoCA estima a contribuição de cada passo de denoising medindo a progressão latente em direção à imagem limpa realizada.

1. Proxy de Progresso Latente: Em vez de assumir uma importância fixa, o Co cáo rastreia a similaridade entre o estado latente intermediário ($x_{T-t}$) e o latente terminal realizado ($x_0$) no espaço de embedding.
   • Ele calcula a similaridade de cosseno: $Sim_t = \frac{\langle x_{T-t}, x_0 \rangle}{\|x_{T-t}\| \cdot \|x_0\|}$.
   • A contribuição de um passo é derivada da mudança nesta similaridade ($\Delta Sim_t$).
2. Suavização por Janela (Window Smoothing): Para reduzir as flutuações na similaridade por passo, a trajetória é segmentada em janelas não sobrepostas de tamanho fixo $W$. A similaridade média dentro de uma janela é calculada, e o escore de progresso é a diferença entre janelas consecutivas ($\Delta \bar{Sim}_i$).
3. Redistribuição de Recompensa: A recompensa terminal $r(x_0, c)$ é redistribuída para cada passo $t$ com base nos escores de progresso normalizados:
   $$\hat{R}(s_t, a_t) = w_t \cdot r(x_0, c)$$
   onde $w_t$ é proporcional à contribuição estimada daquele passo.

Estabilização e Garantias Teóricas

• Normalização de Recompensa: Para estabilizar o treinamento, o CoCA aplica normalização duas vezes:
  1. Normalização por prompt antes da redistribuição para manter a consistência de ranking entre prompts.
  2. Normalização por prompt e por passo de tempo após a redistribuição para garantir escalas de recompensa consistentes entre os passos de tempo e reduzir a variância.
• Consistência do Gradiente de Política: Os autores provam que, se as recompensas de passo redistribuídas somarem a recompensa terminal original para cada trajetória ($\sum \hat{R}_t = r(x_0, c)$), o gradiente de política esperado permanece não enviesado. Assim, o CoCA preserva os pontos estacionários do objetivo original enquanto fornece sinais de aprendizado mais densos.

3. Principais Contribuições

1. Novo Framework: Introdução do CoCA, um mecanismo de atribuição de crédito baseado em contribuição que aborda o descompasso entre atualizações de política iguais e a variação de importância dos passos em modelos de difusão ajustados via RL.
2. Sem Treinamento Auxiliar: Ao contrário de outros métodos de nível de passo, o CoCA não requer redes adicionais (críticos) ou anotações de recompensa; ele opera puramente como um mecanismo de redistribuição de recompensa condicionado às trajetórias realizadas.
3. Observação Empírica: O artigo demonstra que os padrões de progresso latente por nível de passo variam substancialmente entre diferentes prompts e trajetórias, explicando por que cronogramas de ponderação temporal fixos falham em generalizar e motivando a necessidade de uma atribuição adaptativa.
4. Aplicabilidade Geral: O framework é agnóstico ao algoritmo, sendo integrado com sucesso tanto em pipelines de otimização baseados em REINFORCE (DDPO) quanto em GRPO (DanceGRPO).

4. Resultados Experimentais

Experimentos foram conduzidos através de quatro funções de recompensa de preferência humana (Aesthetic, ImageReward, PickScore, HPSv2) e dois cenários de otimização (DDPO e DanceGRPO).

• Eficiência de Amostragem: O CoCA melhora a eficiência de otimização em 25% a 100% em comparação com baselines de nível de trajetória (DDPO) e baselines de nível de passo existentes (TDPO, UCA). Ele alcança curvas de aprendizado mais íngremes e convergência mais rápida.
• Desempenho: No cenário REINFORCE, o CoCA alcançou as pontuações mais altas em todas as métricas, superando tanto os baselines de nível de trajetória quanto os de nível de passo. No cenário GRPO, mostrou resultados superiores, particularmente em cenários de otimização de múltiplas recompensas.
• Generalização: O CoCA demonstrou melhor generalização em prompts não vistos e funções de recompensa não vistas (ex: melhorando o PickScore ao ser treinado em HPSv2), sugerindo que as melhorias derivam de incrementos genuínos na qualidade da imagem e não de "reward hacking".
• Estudos de Ablação:
  • Tamanho da Janela: Um tamanho de janela moderado ($W=5$) rendeu o melhor desempenho, equilibrando estabilidade e granularidade.
  • Métrica de Distância: A similaridade de cosseno superou a distância $\ell_2$ para medir o progresso latente.
  • Normalização: Combinar a normalização pré e pós-redistribuição proporcionou o treinamento mais estável.

5. Significância e Alegações

O artigo afirma que o CoCA oferece uma melhoria "gratuita" no ajuste fino via RL ao resolver o problema de atribuição de crédito inerente aos cenários de recompensa esparsa. Sua significância reside em:

• Eficiência: Reduz drasticamente o número de consultas de recompensa (e, portanto, computação/dados) necessários para alinhar modelos generativos com as preferências humanas.
• Simplicidade: Fornecer uma solução geral, "plug-and-play", que não aumenta a complexidade do modelo nem exige treinamento auxiliar.
• Fundamentação Teórica: Garantir que a redistribuição das recompensas não enviese o objetivo de otimização, mantendo a integridade do gradiente de política original.

Os autores concluem que, ao fornecer sinais de aprendizado mais densos e alinhados ao resultado, o CoCA reduz a barreira para aplicações benéficas em criação de conteúdo e design assistivo, ao mesmo tempo em que reconhece que a melhoria da eficiência também pode facilitar o uso indevido ou amplificar vieses se não for gerida cuidadosamente.