Resumo Técnico: MeanFlowNFT

1. Declaração do Problema

Modelos de Difusão e Flow Matching estabeleceram-se como os paradigmas dominantes para geração de imagens e vídeos de alta qualidade. No entanto, sua dependência da integração de velocidades instantâneas ao longo de muitos passos sequenciais resulta em tempos de inferência lentos. O MeanFlow aborda esse gargalo ao prever a velocidade média sobre um intervalo de tempo, permitindo a geração de alta qualidade em apenas alguns passos.

Simultaneamente, o Aprendizado por Reforço (RL) tornou-se um método padrão para alinhar modelos generativos com as preferências humanas. Embora o DiffusionNFT tenha introduzido um framework de RL de processo direto eficiente que evita trajetórias de processo reverso e estimativa de verossimilhança, ele otimiza velocidades instantâneas. Existe uma lacuna crítica: aplicar o RL de processo direto ao MeanFlow não é trivial porque o MeanFlow realiza a amostragem usando velocidades médias, criando um descompasso entre o alvo de otimização (instantâneo) e o mecanismo de amostragem (médio). A questão central é se um modelo MeanFlow pré-treinado pode ser ajustado com RL de processo direto eficiente para permitir uma geração de poucos passos superior.

2. Metodologia: MeanFlowNFT

O artigo propõe o MeanFlowNFT, o primeiro framework de RL de processo direto especificamente projetado para geradores MeanFlow. A inovação central reside em preencher a lacuna entre velocidades instantâneas e médias usando a identidade MeanFlow.

2.1 Fundamentação Teórica

O método baseia-se na identidade MeanFlow, que relaciona a velocidade instantânea $v(x_t, t)$ à velocidade média $u(x_t, s, t)$ sobre um intervalo $[s, t]$:
$$v(x_t, t) = u(x_t, s, t) + (t - s) \frac{d}{dt}u(x_t, s, t)$$
onde $\frac{d}{dt}u = \partial_t u + (\partial_x u) v$.

2.2 Preditor de Velocidade Instantânea Induzido

Em vez de modificar a rede MeanFlow para prever velocidades instantâneas diretamente, os autores constroem um preditor de velocidade instantânea induzido, denotado como $V_\theta$:
$$V_\theta(x_t, s, t) \triangleq u_\theta(x_t, s, t) + (t - s) [\partial_t u_\theta + (\partial_x u_\theta) \hat{v}_\theta]$$
Aqui, $u_\theta$ é a rede de velocidade média treinável. O termo $\hat{v}_\theta$ serve como a direção para a derivada espacial e é aproximado pela velocidade instantânea da rede em $s=t$.

2.3 Objetivo de Otimização

O framework aplica o objetivo do estilo DiffusionNFT a este preditor induzido $V_\theta$. O processo de treinamento envolve:

1. Parametrização Implícita: Construção de preditores "positivos" ($V^+_\theta$) e "negativos" ($V^-_\theta$) baseados em um modelo de referência congelado ($V^{old}$) e no modelo treinável ($V_\theta$), ponderados por uma recompensa $r$ e força de orientação $\beta$.
2. Perda de Processo Direto: Minimização do erro quadrático ponderado pela recompensa entre esses preditores induzidos e a velocidade condicional $v_t$:
   $$\mathcal{L}_{MFNFT} = \mathbb{E} [ r \|V^+_\theta - v_t\|^2 + (1-r) \|V^-_\theta - v_t\|^2 ]$$
3. Amostragem Desacoplada: Crucialmente, enquanto a otimização ocorre no espaço da velocidade instantânea ($V_\theta$), a inferência permanece baseada na velocidade média $u_\theta$. Isso preserva a eficiência de amostragem de poucos passos nativa do MeanFlow.

2.4 Detalhes de Implementação Prática

Para garantir estabilidade de treinamento e eficiência computacional, os autores introduzem três escolhas de design fundamentais:

• Derivadas de Diferença Finita: O termo de derivada total $\frac{d}{dt}u$ é aproximado usando diferenças finitas centrais em tempo $t$, evitando produtos Jacobiano-vetor (JVPs) dispendiosos.
• Termo de Derivada Compartilhado: Para evitar o colapso do treinamento, os preditores treinável e de referência compartilham o mesmo termo de derivada estimado ($\frac{d}{dt}u^{old}$). Isso elimina o termo de diferença de derivada que, de outra forma, desestabilizaria a otimização.
• Direção de Velocidade Condicional: A direção para as diferenças finitas utiliza a velocidade condicional do processo direto $v_t$ (disponível sem custo adicional) em vez da velocidade instantânea treinável $\hat{v}_\theta$, o que melhora a estabilidade.

3. Principais Contribuições

1. Primeiro RL de Processo Direto para MeanFlow: O MeanFlowNFT é o primeiro framework que aplica RL de processo direto a geradores MeanFlow. Ele otimiza com sucesso a velocidade média subjacente aplicando objetivos do tipo DiffusionNFT a um preditor de velocidade instantânea induzido.
2. Garantias Teóricas: Os autores provam que, em um cenário idealizado, o preditor induzido ideal recupera o alvo de política melhorado do DiffusionNFT. Além disso, demonstram que essa melhoria de política se transfere comprovadamente para a rede de velocidade média, garantindo que a política MeanFlow melhore estritamente.
3. Eficiência e Desempenho: O método mantém a natureza livre de verossimilhança e agnóstica a solvers do DiffusionNFT, preservando a eficiência de amostragem de poucos passos do MeanFlow.

4. Resultados Experimentais

Experimentos foram conduzidos na geração de imagens (Stable Diffusion 3.5-Medium) e geração de vídeos (Wan2.1 1.3B).

• Geração de Imagem (SD3.5-M): O MeanFlowNFT (4 passos) supera consistentemente os baselines de poucos passos (DMD, CDM, AnyFlow) e métodos recentes de RL de poucos passos (Rdm, RTDMD). Notavelmente, alcança resultados superiores ou comparáveis ao baseline de 40 passos do DiffusionNFT em 6 de 8 métricas (ex: ImageReward, CLIPScore, OCR), enquanto utiliza 10$\times$ menos avaliações de função.
• Geração de Vídeo (Wan2.1): Com apenas 4 passos de amostragem, o MeanFlowNFT alcança os melhores resultados entre os modelos de poucos passos em 5 de 7 métricas. Ele supera o baseline de RL de 50 passos do LongCat-Video em todas as métricas relatadas (ex: pontuação VBench de 84.33 vs. 82.57).
• Escalonamento de Tempo de Teste: O modelo exibe melhorias consistentes de desempenho conforme o número de passos de amostragem aumenta (de 2 a 32, mantendo alta consistência em layout e conteúdo através de diferentes contagens de passos, superando o baseline AnyFlow em consistência de passos.

5. Significância e Alegações

O artigo alega que o MeanFlowNFT consegue unir a lacuna entre a eficiência dos geradores de velocidade média e as capacidades de alinhamento do RL de processo direto. Ao desacoplar a otimização (espaço instantâneo) da amostragem (espaço médio), o método permite uma geração de poucos passos superior sem sacrificar os benefícios de velocidade do MeanFlow.

Os autores enfatizam que o MeanFlowNFT não apenas melhora os geradores de poucos passos existentes, mas também desafia a noção de que modelos de múltiplos passos ajustados por RL são necessários para alto desempenho. Os resultados sugerem que, com a ponte teórica correta (a identidade MeanFlow), modelos de poucos passos podem superar modelos de difusão ajustados por RL de múltiplos passos tanto em qualidade quanto em eficiência. O trabalho é apresentado como um passo fundamental, com os autores observando que sua construção de preditor induzido poderia potencialmente se estender a outros modelos de fluxo (ex: modelos de trajetória de consistência) e outros objetivos de RL de processo direto, embora estes permaneçam como trabalhos futuros.