💻 computer science

Scaling Reinforcement Learning for Diffusion Models via Velocity Matching

Este artigo introduz o Reward-based Velocity Matching (RVM), uma estrutura simples e computacionalmente eficiente que não utiliza trajetórias e que otimiza diretamente o campo de velocidade de modelos de difusão para o ajuste fino baseado em recompensa, superando os métodos existentes de gradiente de política baseados em verossimilhança ao mesmo tempo em que oferece uma perspectiva unificada sobre abordagens recentes e possibilita recompensas dinâmicas aprimoradas para a geração de vídeo.

Autores originais: Jaemoo Choi, Wei Guo, Yuchen Zhu, Arash Vahdat, Molei Tao, Julius Berner, Yongxin Chen

Publicado 2026-08-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jaemoo Choi, Wei Guo, Yuchen Zhu, Arash Vahdat, Molei Tao, Julius Berner, Yongxin Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo em rápida evolução da inteligência artificial, uma classe específica de programas de computador surgiu, capaz de criar imagens deslumbrantes e vídeos realistas a partir de simples descrições de texto. Esses sistemas, conhecidos como modelos de difusão, funcionam aprendendo a reverter um processo de corrupção gradual. Imagine pegar uma fotografia nítida e adicionar lentamente ruído estático até que ela se torne irreconhecível; esses modelos aprendem o caminho matemático para fazer o caminho inverso, começando a partir de ruído puro e removendo-o cuidadosamente, passo a passo, para revelar uma imagem coerente. Embora essas ferramentas tenham se tornado incrivelmente poderosas, ensinar aos modelos a seguir as preferências humanas — como fazer um vídeo se mover de forma mais natural ou uma imagem parecer mais bela — tem se mostrado difícil. Tradicionalmente, pesquisadores tentaram adaptar métodos usados para modelos de linguagem, que dependem do cálculo da probabilidade de cada próximo passo possível em uma sequência. No entanto, como a geração de imagens e vídeos envolve milhões de pixels mudando simultaneamente, calcular essas probabilidades é computacionalmente caro e muitas vezes impossível de realizar com precisão perfeita.

Uma equipe de pesquisadores da Georgia Tech e da NVIDIA encontrou uma maneira mais simples e direta de ensinar esses modelos o que os humanos preferem. Em vez de tentar calcular probabilidades complexas para cada minúsculo passo do processo de geração, eles propuseram um método que foca diretamente na "velocidade" da imagem enquanto ela se forma. Na linguagem desses modelos, o sistema prevê como a imagem deve mudar de um momento para o outro para alcançar o resultado final. Os pesquisadores descobriram que poderiam simplesmente direcionar essa previsão para direções que levam a resultados de alta qualidade e afastá-la de direções que levam a resultados ruins, usando um sinal de recompensa como guia. Essa abordagem, que eles chamam de correspondência de velocidade baseada em recompensa (reward-based velocity matching), evita a necessidade dos complicados cálculos de probabilidade que atrasaram tentativas anteriores.

Os pesquisadores testaram essa ideia em modelos de geração de vídeo de grande escala, que são particularmente caros de treinar porque a criação de um único vídeo exige um poder computacional significativo. Eles compararam seu novo método com técnicas existentes que dependem do rastreamento de todo o caminho da criação do vídeo. Os resultados foram impressionantes: seu método mais simples produziu vídeos que não apenas tinham melhor qualidade, mas também exigiram uma fração do tempo de computação. Em um teste específico usando um modelo chamado Wan2.1, sua abordagem alcançou as pontuações de qualidade geral mais altas, utilizando apenas cerca de um doze avos do tempo de treinamento exigido pelos métodos anteriores mais eficazes. Isso sugere que a complexidade dos métodos antigos era desnecessária; a chave para a melhoria não estava em refinar a maquinaria matemática da probabilidade, mas em como os sinais de recompensa eram desenhados e aplicados.

Uma parte crítica de sua descoberta envolveu a compreensão do que os modelos estavam realmente otimizando. Os pesquisadores descobriram que as recompensas padrão, que frequentemente focam na clareza visual ou em quão bem o vídeo corresponde a uma descrição de texto, poderiam inadvertidamente encorajar o modelo a produzir imagens estáticas e sem movimento, que pareciam limpas, mas eram entediantes. Para corrigir isso, eles introduziram um novo tipo de recompensa que rastreia especificamente o movimento, garantindo que o vídeo contenha movimentos significativos. Quando adicionaram essa recompensa focada em movimento ao seu sistema, os vídeos tornaram-se significativamente mais dinâmicos sem perder sua qualidade visual. Essa descoberta destaca que, para esses modelos poderosos, o fator mais importante não é a complexidade do algoritmo de treinamento, mas a clareza e a especificidade dos objetivos estabelecidos para a máquina.

O estudo também revelou que a fórmula matemática específica usada para atualizar o modelo importa menos do que se pensava anteriormente. Os pesquisadores mostraram que seu novo método é matematicamente equivalente a vários outros métodos recentes, o que significa que as diferenças de desempenho entre esses métodos provavelmente se devem à forma como configuraram suas recompensas, e não ao núcleo do algoritmo em si. Ao remover as camadas desnecessárias de estimativa de probabilidade, eles demonstraram que uma atualização direta, baseada em velocidade, é suficiente para guiar o modelo em direção a melhores resultados. Essa simplificação abre as portas para um treinamento mais eficiente, permitindo que pesquisadores iterem mais rapidamente e potencialmente escalem essas tecnologias para tarefas ainda mais complexas sem serem limitados pelos custos computacionais.

Em última análise, este trabalho sugere uma mudança na forma como pensamos sobre o treinamento de IA generativa. Em vez de tratar o problema como um quebra-cabeça complexo de estimativa de probabilidade, os pesquisadores mostraram que é melhor vê-lo como um alinhamento direto da direção interna do modelo com as preferências humanas. O sucesso de seu método, que alcançou resultados superiores com recursos drasticamente reduzidos, indica que o futuro do treinamento eficiente de IA pode residir em ciclos de feedback mais simples e diretos. À medida que esses modelos continuam a crescer em tamanho e capacidade, a habilidade de ajustá-los de forma rápida e eficaz será essencial, e essa nova abordagem oferece um caminho claro e prático para tornar a inteligência artificial mais responsiva às necessidades humanas.

Resumo Técnico: Escalando o Aprendizado por Reforço para Modelos de Difusão via Correspondência de Velocidade

Declaração do Problema

O ajuste fino por recompensa tornou-se um mecanismo crítico para alinhar modelos de difusão e de fluxo com preferências humanas e objetivos de tarefas específicas (ex: alinhamento semântico, qualidade visual, movimento). No entanto, os métodos existentes herdam amplamente a maquinaria de gradiente de política de Grandes Modelos de Linguagem (LLMs) autorregressivos, como PPO e GRPO. Essa transferência é problemática porque, ao contrário dos LLMs, os modelos de difusão não fornecem verossimilhanças tratáveis para amostras geradas.

Consequentemente, as abordagens atuais tentam contornar essa intratabilidade através de duas rotas complexas:

Métodos baseados em trajetória: Eles constroem verossimilhanças a partir de transições de denoising estocásticas de um passo ao longo de uma trajetória amostrada. Isso requer rollouts estocásticos caros, armazenamento de trajetórias e, frequentemente, resulta em atualizações de alta variância porque os estados intermediários de denoising são estocásticos e não estão necessariamente mais próximos do endpoint limpo do que o estado atual.
Métodos baseados em ELBO: Eles aproximam a verossimilhança marginal da amostra final usando um Limite Inferior de Evidência (ELBO). Embora esses métodos desacoplem o treinamento do amostrador de trajetória completo, eles ainda se originam de uma formulação de gradiente de política baseada em verossimilhança, retendo razões de política estimadas e o overhead computacional da aproximação de verossimilhança.

A questão central levantada por este trabalho é se a estimativa de verossimilhança é verdadeiramente necessária para um ajuste fino de recompensa eficaz em modelos de difusão, ou se a atualização do modelo pode ser simplificada para atuar diretamente na representação nativa de treinamento.

Metodologia: Correspondência de Velocidade Baseada em Recompensa (RVM)

Os autores propõem a Correspondência de Velocidade Baseada em Recompensa (RVM), um mecanismo de atualização simples e livre de trajetória que opera diretamente no campo de velocidade do modelo de difusão.

Objetivo Central

Em vez de construir um objetivo de gradiente de política e aproximar razões de verossimilhança intratáveis, o RVM trata o ajuste fino de recompensa como um problema de regressão no campo de velocidade. Dado um grupo de endpoints gerados $\{x_0^i\}$ , cada amostra é submetida a um ruído progressivo para um único estado intermediário $x_t^i$ com um alvo de velocidade $v_i = \epsilon_i - x_0^i$ . A velocidade do modelo $v_\theta(x_t, t)$ é atualizada usando uma função de perda composta por dois termos:

$\mathcal{L}_{\text{RVM}} = \frac{1}{2} \mathbb{E} \left[ r_i \| v_\theta(x_t^i, t) - v_i \|_2^2 + \beta(r_i) \| v_\theta(x_t^i, t) - v_{\text{anc}}(x_t^i, t) \|_2^2 \right]$

Onde:

$r_i$ (Peso da Recompensa): Um sinal de preferência assinado derivado da recompensa $R(x_0^i)$ . Recompensas positivas reforçam a direção da velocidade associada à amostra (puxando $v_\theta$ em direção a $v_i$ ), enquanto recompensas negativas a suprimem (empurrando $v_\theta$ para longe de $v_i$ ).
$v_{\text{anc}}$ (Velocidade de Âncora): Um termo opcional que controla o desvio de um campo de velocidade de referência (ex: um modelo de referência congelado ou um EMA da política atual). Isso evita o desvio excessivo da política durante o ajuste fino.
Eficiência: O método requer apenas um estado com ruído por amostra, evitando o armazenamento de trajetórias completas de denoising e o cálculo de razões de verossimilhança.

Unificação Teórica

O artigo demonstra que o RVM fornece um framework geral que recupera métodos recentes de ajuste fino como casos especiais:

RAM (Reinforce Adjoint Matching): É mostrado como equivalente de atualização ao RVM quando a política de amostragem é on-policy ( $\pi_{\text{old}} = \pi_\theta$ ), a âncora é a velocidade de referência congelada ( $v_{\text{anc}} = v_{\text{ref}}$ ) e a força da âncora é unitária.
DiffusionNFT: É mostrado como um caso especial de RVM onde a âncora é uma velocidade atualizada por EMA e a força da âncora é dependente da recompensa.
Gradientes de Política baseados em ELBO: O artigo mostra que métodos EPG (Exact Policy Gradient), que dependem de aproximações ELBO de log-razões, reduzem-se exatamente ao RVM quando os pesos de importância e os fatores de ponderação dependentes do tempo são omitidos.

Esta unificação sugere que a forma algébrica específica da perda de velocidade é menos crítica do que o design dos pesos de recompensa e do mecanismo de âncora.

Principais Contribuições

Introdução do RVM: Um método simples, independente de trajetória, que incorpora o feedback de recompensa diretamente na representação nativa de correspondência de velocidade, eliminando a necessidade de estimativa de razão de política ou armazenamento de trajetória.
Unificação Teórica: Prova de que o RVM generaliza métodos recentes (RAM, DiffusionNFT) e reduz gradientes de política baseados em ELBO para regressão de velocidade, deslocando o foco da álgebra de perda para o design de recompensa e âncora.
Eficiência e Desempenho Empírico: Demonstração de que métodos baseados em velocidade igualam ou superam baselines baseados em trajetória (FlowGRPO, DanceGRPO) enquanto reduzem substancialmente os custos de treinamento.
Insights de Design de Recompensa: Identificação de que, para geração de vídeo, recompensas de preferência padrão tendem a favorecer saídas estáticas. Os autores introduzem uma recompensa de Rastreamento Dinâmico (DT) baseada em fluxo óptico, que encoraja explicitamente o movimento significativo, melhorando significativamente o grau de dinamismo e a qualidade geral do vídeo.

Resultados Experimentais

Os autores avaliaram o RVM em modelos de texto-para-imagem (Stable Diffusion 3.5), texto-para-vídeo (Wan2.1-T2V-1.3B) e imagem-para-vídeo (SkyReels-I2V).

Desempenho: No Wan2.1-T2V-1.3B, o RVM alcançou a maior pontuação VBench Overall (84.13), superando métodos baseados em trajetória como FlowGRPO (75.91) e DanceGRPO (79.46). Notavelmente, o RVM alcançou um Grau de Dinamismo de 75.00, comparado a 55–58 para métodos baseados em trajetória.
Eficiência: O RVM reduziu significativamente os custos de treinamento. No Wan2.1, o RVM exigiu 525 GPU-horas (8×H100), comparado a 1.159 para o FlowGRPO e 6.171 para o DanceGRPO/TaRoS. Isso representa uma redução de 2.2× a 11.8× no custo.
Estudos de Ablação:
- Variantes de Perda: RVM, RAM e DiffusionNFT performaram de forma comparável, confirmando que a variante específica da perda de velocidade importa menos do que o design da recompensa e da âncora.
- Design de Recompensa: A adição da recompensa de Rastreamento Dinâmico (DT) foi o principal motor para melhorar a qualidade do movimento, elevando o Grau de Dinamismo de ~5.5 para 75.0.
- Geração de Poucos Passos: Modelos ajustados com RVM demonstraram robustez superior à redução agressiva de passos (ex: inferência de 4 passos), mantendo alta qualidade onde os modelos base degradavam drasticamente.

Significância e Alegações

O artigo afirma que o ajuste fino de recompensa escalável para modelos de difusão é melhor formulado na representação nativa de velocidade do que como otimização de política baseada em verossimilhança. Os autores argumentam que a complexidade dos métodos baseados em trajetória e das aproximações de verossimilhança é desnecessária.

As principais conclusões enfatizadas pelos autores incluem:

Simplicidade: Um ajuste fino eficaz pode ser alcançado com uma perda simples de correspondência de velocidade, sem razões de política ou armazenamento de trajetória.
Recompensa sobre Perda: A escolha específica do funcional de perda de velocidade é secundária; os fatores críticos são como as recompensas são transformadas em pesos de atualização e como o modelo é ancorado.
Movimento em Vídeo: Recompensas genéricas de preferência podem levar a vídeos estáticos; o rastreamento dinâmico explícito é essencial para a geração de vídeos de alta qualidade.

O trabalho sugere que o escalonamento futuro no pós-treinamento de modelos de difusão deve focar na especificação de recompensa e no design de âncoras, em vez de formulações de perda de política cada vez mais elaboradas.