Resumo Técnico: ConsistentRFT

1. Declaração do Problema

O Ajuste Fino por Reforço (RFT) em modelos generativos baseados em fluxo é essencial para alinhar a geração de imagens com as preferências humanas. No entanto, os métodos atuais de RFT baseados em fluxo (ex: DDPO, DPO, variantes de GRPO) frequentemente introduzem alucinações visuais. Estas manifestam-se de três formas primárias:

1. Sobre-otimização de Detalhes: A geração de detalhes irrelevantes, sobre-nitidez (over-sharpening) e artefatos de grade.
2. Desalinhamento Semântico: Uma desconexão entre a imagem gerada e o prompt de texto.
3. Inconsistência entre Passos: Degradação semântica e divergência ao utilizar amostragem de poucos passos (few-step sampling).

Os autores identificam que os métodos atuais falham porque operam sob uma perspectiva unificada de Exploração (rollouts de SDE) e Explotação (atualizações de gradiente de política) que é fundamentalmente falha para modelos de fluxo:

• Exploração Limitada: Rollouts de Equações Diferenciais Estocásticas (SDE) frequentemente resultam em um domínio de exploração estreito. Ao usar o mesmo ruído inicial com variações de ruído de processo, os modelos geram imagens altamente similares que diferem apenas em detalhes locais. Isso leva a uma otimização de grão fino que enfatiza excessivamente texturas locais enquanto negligencia a semântica global.
• Distorção de Imitação de Trajetória: Métodos de gradiente de política (como o GRPO) são reinterpretados como imitação de trajetória ponderada por recompensa. Eles forçam o modelo a imitar trajetórias de SDE estocásticas e não lineares para maximizar recompensas. Isso conflita com o objetivo de pré-treinamento de aprender um campo de velocidade determinístico e consistente, o que distorce o campo vetorial fundamental do modelo e causa instabilidade.

2. Metodologia: ConsistentRFT

Para mitigar essas alucinações, os autores propõem o ConsistentRFT, um framework geral compatível com métodos de RFT online (DDPO, DPO, GRPO). Ele consiste em dois componentes principais:

A. Dynamic Granularity Rollout (DGR)

Este mecanismo aborda a limitação de Exploração ao equilibrar semântica global e detalhes locais através de um escalonamento de ruído dinâmico.

• Escalonamento Inter-Grupo: O processo de treinamento é dividido em períodos contendo rollouts de grão fino e de grão grosso.
  • Grão Fino: Utiliza injeção de ruído progressiva (variando o ruído de processo) para refinar detalhes locais.
  • Grão Grosso: Utiliza diferentes fontes de ruído inicial para explorar variações semânticas globais.
  • Isso evita que o modelo fique preso em ótimos locais focados apenas em detalhes.
• Escalonamento Intra-Grupo: Para aumentar a diversidade dentro dos grupos de grão fino sem excesso de computação, o método emprega um rollout consciente de progresso com agrupamento (clustering).
  • Realiza uma predição intermediária de passo único para avaliar o estado.
  • As amostras são agrupadas no espaço latente para selecionar grupos representativos (um para refinamento de detalhes, outro para percepção de grão grosso), garantindo diversidade enquanto reduz o custo computacional.

B. Consistent Policy Gradient Optimization (CPGO)

Este mecanismo aborda a distorção de Explotação preservando a consistência intrínseca do modelo.

• Insight Central: Em vez de puramente imitar trajetórias estocásticas de SDE, o CPGO impõe a fidelidade de predição de passo único via restrições de Equações Diferenciais Ordinárias (ODE).
• Implementação: Ele alinha a predição do modelo atual no passo $t$ com a predição do modelo antigo no passo $t-1$ usando um solver baseado em ODE.
  • A função objetivo adiciona um termo de consistência: $J_{CPGO} = -\mathbb{E}[\|\pi^{ODE}_{\theta}(x_t, t) - \pi^{ODE}_{\theta_{old}}(x_{t-1}, t-1)\|^2]$.
• Efeito: Isso restringe a otimização para seguir trajetórias mais suaves e consistentes, impedindo o modelo de imitar amostras alucinadas interpoladas da distribuição pré-treinada.

C. Visual Hallucination Evaluator (VH-Evaluator)

Os autores introduzem uma nova métrica de avaliação que combina métricas objetivas de baixo nível (ex: variância de Laplacian, detecção de padrões de grade) e avaliações de alto nível via Modelos de Linguagem de Grande Escala Multimodais (MLLMs) para quantificar especificamente a sobre-otimização de detalhes e alucinações perceptivas.

3. Principais Contribuições

1. Análise das Causas de Alucinação: O artigo fornece uma análise preliminar atribuindo as alucinações visuais no RFT de modelos de fluxo a duas escolhas de design específicas: domínios de exploração limitados em rollouts de SDE (levando à sobre-otimização de detalhes) e a distorção do campo vetorial causada pela imitação de trajetória em gradientes de política.
2. Dynamic Granularity Rollout (DGR): Um mecanismo de escalonamento inovador que equilibra dinamicamente a exploração semântica global e o refinamento de detalhes locais, evitando que o modelo foque exclusivamente em artefatos de grão fino.
3. Consistent Policy Gradient Optimization (CPGO): Uma formulação de gradiente de política que impõe consistência temporal e alinhamento com um prior estável, mitigando as inconsistências introduzidas pela imitação de trajetórias estocásticas.
4. Avaliação Abrangente: A introdução do VH-Evaluator e experimentos extensos demonstrando reduções significativas de alucinações em múltiplas métricas.

4. Resultados Experimentais

Experimentos extensos foram conduzidos no modelo FLUX.1-dev usando o dataset HPDv2 e o benchmark HPS-v2.

• Redução de Alucinação: O ConsistentRFT alcançou uma redução média de 49% em alucinações perceptivas de baixo nível (ex: padrões de grade, ruído) e 38% em alucinações perceptivas de alto nível em comparação com os métodos de base.
• Generalização Fora de Domínio: Ao contrário das bases que frequentemente sacrificam o desempenho fora de domínio em prol de ganhos dentro do domínio (ex: MixGRPO melhorou o HPS, mas reduziu o CLIP score em 10.8%), o ConsistentRFT melhorou as métricas fora de domínio. Especificamente, mostrou uma melhoria de 5.1% em pontuações abrangentes no FLUX1.dev, enquanto a base diminuiu 0.4%.
• Desempenho vs. SOTA: O método superou as bases de RFT de estado da arte (variantes de DDPO, DPO, GRPO) em pontuações de preferência humana (ImageReward, PickScore) e qualidade estética, mantendo o alinhamento semântico.
• Eficiência: O método é compatível com gradientes de política padrão e oferece acelerações. Por exemplo, o DGS Intra-Grupo reduziu o tempo de treinamento em ~18.6% comparado ao DanceGRPO padrão, mantendo ou melhorando o desempenho.
• Amostragem de Poucos Passos: O método demonstrou estabilidade superior em cenários de amostragem de poucos passos, onde outros métodos tipicamente degradam.

5. Significância e Alegações

O artigo afirma que o ConsistentRFT oferece uma solução geral para o problema persistente de alucinações visuais no ajuste fino por reforço de modelos de fluxo. Ao desacoplar a otimização de semântica global e detalhes locais (via DGR) e impor a consistência do campo vetorial (via CPGO), o framework permite que os modelos se alinhem com as preferências humanas sem sacrificar a integridade estrutural e o realismo das imagens geradas.

Os autores posicionam este trabalho como uma investigação preliminar sobre as causas específicas de alucinações na fase de pós-treinamento de modelos de fluxo. Eles enfatizam que, embora seu método forneça uma estratégia robusta de mitigação, o desafio das alucinações visuais também requer modelos de recompensa mais poderosos e escaláveis, que eles antecipam que a comunidade desenvolverá no futuro. O trabalho não pretende resolver todos os problemas de alucinação, mas demonstra um passo significativo no equilíbrio entre o alinhamento de preferências e a fidelidade visual.