Resumo Técnico: dFlowGRPO

Declaração do Problema

Os Modelos de Fluxo Discreto (DFMs) representam uma classe flexível de modelos generativos para dados discretos, oferecendo um espaço de design mais amplo do que os Modelos de Linguagem de Difusão Discreta (dLLMs) ao suportar caminhos de probabilidade gerais e distribuições de origem não mascaradas. Embora a Aprendizagem por Reforço (RL) tenha sido aplicada com sucesso a dLLMs para melhorar a qualidade da geração, os métodos existentes enfrentam desafios significativos quando estendidos a DFMs gerais. O principal obstáculo é a dificuldade em estimar a verossimilhança logarítmica de DFMs, que não pode ser naturalmente decomposta como em modelos autoregressivos. As abordagens atuais de RL para dLLMs dependem de aproximações (por exemplo, campo médio ou baseadas em ELBO) que frequentemente falham em contabilizar as taxas de transição condicionais específicas e as dinâmicas posteriores inerentes a DFMs gerais. Consequentemente, há uma falta de um framework unificado de RL que aproveite efetivamente a informação completa da trajetória de DFMs, incluindo tanto as taxas de transição condicionais quanto os modelos posteriores.

Metodologia

Os autores propõem o dFlowGRPO (Discrete Flow-GRPO), um framework unificado de otimização de política consciente de taxas, projetado especificamente para DFMs. A metodologia prossegue através das seguintes etapas principais:

1. Formulação MDP: O processo de remoção de ruído de DFMs é formulado como um Processo de Decisão de Markov (MDP), onde o estado inclui a sequência de tokens atual e o passo de tempo, e a ação é a transição para o próximo estado.
2. Derivação da Probabilidade de Trajetória: Uma contribuição teórica central é a derivação da probabilidade completa da trajetória para DFMs usando um amostrador de Euler. Os autores provam que a razão de probabilidade de transição entre a política atual e a política antiga pode ser expressa como um produto de razões posteriores esperadas token a token, reponderadas por um termo dependente de taxa.
   • Especificamente, a razão $r_k(\theta)$ é derivada como:
     $$r_k(\theta) = \prod_{d \in [D]} \mathbb{E}_{X^d_1 \sim p^{\theta_{old}}_{1|t_k}} \left[ w^{\theta_{old}, d}_{Q,k} \cdot \frac{p^\theta_{1|t_k}(X^d_1|x_{t_k})}{p^{\theta_{old}}_{1|t_k}(X^d_1|x_{t_k})} \right]$$
   • Aqui, $w^{\theta_{old}, d}_{Q,k}$ é um peso dependente de taxa derivado das taxas de transição condicionais, e o segundo termo é a razão posterior.
3. Estimação Eficiente: O framework permite a estimação dessa razão de probabilidade de transição usando amostras de Monte Carlo (MC) do modelo posterior sem exigir passagens forward adicionais. Isso permite a incorporação de informações tanto das taxas de transição condicionais quanto do modelo posterior no objetivo de RL.
4. Objetivo de Otimização: Baseando-se no framework GRPO (Group Relative Policy Optimization), o dFlowGRPO otimiza a política usando um objetivo truncado que incorpora a razão de probabilidade de transição derivada e um estimador de vantagem normalizado por grupo. O objetivo inclui um termo de regularização KL para evitar o colapso da política.

Contribuições Principais

O artigo delineia três contribuições primárias:

1. Framework Unificado: A proposta do dFlowGRPO, um framework unificado de otimização de política consciente de taxas para DFMs que suporta caminhos de probabilidade gerais e taxas condicionais ao utilizar informações tanto da taxa condicional quanto do modelo posterior.
2. Derivação Teórica: A derivação da razão de probabilidade de transição para a trajetória de remoção de ruído, mostrando que ela pode ser decomposta em um produto de razões posteriores esperadas token a token reponderadas por um termo dependente de taxa. Demonstra-se que este termo é estimável via amostras MC sem passagens forward extras.
3. Validação Empírica: A aplicação do dFlowGRPO a um DFM multimodal (FUDOKI), demonstrando melhorias significativas tanto em tarefas de geração de texto para imagem quanto em tarefas de compreensão multimodal, comparado a métodos existentes de RL.

Resultados Experimentais

Os autores avaliaram o dFlowGRPO usando o FUDOKI como modelo base em dois domínios:

• Geração de Texto para Imagem:

  • Avaliado em GenEval, PickScore e DrawBench.
  • Sem orientação livre de classificador (CFG), o dFlowGRPO melhorou o PickScore do FUDOKI de 20,87 para 23,00 e a pontuação GenEval de 61% para 93%.
  • Na avaliação GenEval, o dFlowGRPO alcançou uma pontuação geral de 0,93, superando outros modelos multimodais unificados e igualando ou excedendo modelos especializados apenas em geração, apesar de usar menos passos de remoção de ruído (8 NFEs) e nenhum CFG.
  • O método demonstrou robustez contra exploração de recompensa (reward hacking), com melhorias consistentes em múltiplas métricas (HPSv3, Pontuação Estética, etc.).

• Compreensão Multimodal:

  • Avaliado em ScienceQA, POPE, MME-P, SEED, MMB e GQA.
  • No ScienceQA, o dFlowGRPO aumentou a precisão de 75,1% para 81,1% (com extração por LLM) e de 54,1% para 59,1% (sem extração por LLM), com exploração de recompensa mínima.
  • Melhorias de desempenho também foram observadas nas avaliações GQA, SEED e MMB.

• Estudos de Ablação:

  • Amostras MC: Aumentar o número de amostras MC (de $n=1$ para $n=24$) acelerou a convergência do treinamento e melhorou as recompensas finais.
  • Regularização KL: Embora o treinamento sem regularização KL tenha alcançado altas recompensas, a adição de regularização KL ($\beta=0,01$) mitigou significativamente a exploração de recompensa e melhorou o desempenho em métricas auxiliares.
  • Comparação: O dFlowGRPO superou consistentemente os métodos de aproximação de campo médio (diffu-GRPO, diffu-GSPO) e variantes online de DPO, que foram encontrados como menos estáveis ou menos eficazes para caminhos de probabilidade gerais.

Significado e Alegações

O artigo afirma que o dFlowGRPO fornece uma solução unificada e eficaz para aplicar aprendizagem por reforço a modelos de fluxo discreto gerais, abordando as limitações de métodos anteriores que eram restritos a configurações específicas de dLLM ou dependiam de aproximações imprecisas. Ao derivar a razão exata de probabilidade de transição e incorporar pesos dependentes de taxa, o framework aproveita a informação estrutural completa de DFMs.

Os autores posicionam o dFlowGRPO como um passo significativo para alinhar modelos de fluxo discreto com preferências humanas e objetivos específicos de tarefas, demonstrando que o RL pode ser aplicado com sucesso à classe mais ampla de DFMs além dos modelos de difusão mascarados. Os resultados sugerem que o dFlowGRPO alcança desempenho competitivo com modelos baseados em fluxo contínuo treinados usando Flow-GRPO, mantendo ao mesmo tempo capacidades fortes em tarefas de compreensão. O artigo nota modestamente que sua avaliação está atualmente limitada a um único DFM (FUDOKI) e sugere que trabalhos futuros poderiam explorar a aplicação dessas técnicas conscientes de taxas a outros dLLMs com taxas condicionais alternativas.