💻 computer science

On-Policy Self-Distillation in Diffusion Models

O artigo apresenta o DiffusionOPSD, um framework de autodestilação on-policy que converte recompensas de nível de imagem em alvos de supervisão intermediária explícitos para modelos de difusão, alcançando um desempenho de alinhamento superior e ganhos significativos de eficiência de treinamento em comparação com métodos existentes.

Autores originais: Wei Zhou, Xiongwei Zhu, Lingdong Kong, Bo Chen, Lei Zhang, Yongyuan Liang, Xiaoxia Hou, Ye Tian, Xian Sun, Yingshuo Wang, Linfeng Li, Shengqiong Wu, Leigang Qu, Feng Li, Wei Liu, Julian McAuley, Tat-S

Publicado 2026-08-26

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Wei Zhou, Xiongwei Zhu, Lingdong Kong, Bo Chen, Lei Zhang, Yongyuan Liang, Xiaoxia Hou, Ye Tian, Xian Sun, Yingshuo Wang, Linfeng Li, Shengqiong Wu, Leigang Qu, Feng Li, Wei Liu, Julian McAuley, Tat-Seng Chua

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da inteligência artificial, há uma classe crescente de sistemas capazes de pintar imagens do nada, transformando uma simples frase como "um gato usando um chapéu" em uma imagem vívida. Esses sistemas, conhecidos como modelos de difusão, funcionam começando com uma nuvem caótica de ruído estático e limpando-a gradualmente, passo a passo, até que uma imagem clara emerja. Durante anos, pesquisadores focaram em tornar essas imagens mais nítidas ou realistas. Mais recentemente, o objetivo mudou para fazê-las se alinhar às preferências humanas, garantindo que a IA entenda não apenas como um objeto se parece, mas o que os humanos consideram belo ou útil. Para ensinar essas preferências a um modelo, os cientistas frequentemente usam um método chamado aprendizado por reforço. Nessa configuração, a IA gera uma imagem, um programa de computador a pontua com base em quão bem ela corresponde a um resultado desejado, e a IA tenta melhorar sua próxima tentativa com base nessa pontuação. No entanto, um problema fundamental existe nesse processo: a pontuação só é dada ao final, depois que a imagem está terminada. A IA fica adivinhando como ajustar seus passos intermediários — as etapas bagunçadas e borradas da criação — para alcançar esse bom resultado final. É como tentar aprender uma habilidade complexa sendo informado apenas se você ganhou ou perdeu ao final do jogo, sem qualquer feedback sobre seus movimentos específicos durante a partida.

Uma equipe de pesquisadores introduziu um novo método chamado DiffusionOPSD para resolver esse problema específico. Em vez de esperar até que a imagem esteja completa para oferecer feedback, a abordagem deles decompõe o processo em momentos gerenciáveis. Eles tratam o processo de geração da IA como uma série de instantâneos. Em um estágio específico e inicial da criação de uma imagem, eles fazem uma pausa e pedem ao programa de computador para avaliar como a imagem ficaria se parasse exatamente ali. Usando essa avaliação, eles calculam uma direção precisa de melhoria, criando um alvo claro para a IA visar. Esse alvo não é apenas uma sugestão vaga; é uma instrução concreta e delimitada que diz à IA exatamente como deslocar sua previsão atual para tornar o resultado final melhor. Os pesquisadores então treinam a IA para se mover em direção a esse alvo. Crucialmente, eles fazem isso em um ciclo: a IA faz um movimento, o sistema calcula um novo alvo baseado no próprio comportamento da IA, e a IA aprende com essa instrução específica antes que o sistema atualize seu próprio entendimento para a próxima rodada. Esse ciclo permite que a IA aprenda com feedback imediato e acionável, em vez de resultados distantes e finais.

Os pesquisadores testaram esse método em dois sistemas diferentes de geração de imagens poderosos. Em quase todos os cenários que tentaram, envolvendo dez formas diferentes de julgar a qualidade da imagem, o novo método produziu melhores resultados do que as técnicas existentes mais fortes. Em dezenove de vinte comparações, a IA treinada com essa nova abordagem criou imagens que foram classificadas de forma mais alta tanto por sistemas de pontuação automatizados quanto por avaliadores humanos. A melhoria foi significativa; em alguns casos, a qualidade das imagens aumentou quase quarenta e quatro por cento em comparação ao melhor método anterior. Além de produzir imagens melhores, a nova abordagem também é muito mais eficiente. Ela exigiu quarenta por cento menos tempo de computação em um sistema e sessenta e três por cento menos no outro para alcançar esses resultados. Essa eficiência é importante porque o treinamento desses modelos geralmente demanda quantidades massivas de energia e hardware caro. Ao reduzir o tempo necessário, o método torna mais viável o refinamento dessas ferramentas para tarefas específicas sem um custo esmagador.

Uma descoberta fundamental neste trabalho foi que simplesmente ter uma ideia melhor do que melhorar não garante que a IA realmente melhorará imediatamente. Os pesquisadores descobriram que podiam medir duas coisas distintas: a qualidade da instrução dada à IA e o quão bem a IA realmente seguiu essa instrução em um único passo de treinamento. Às vezes, uma instrução muito forte levava a apenas uma pequena melhoria, enquanto uma instrução mais fraca levava a uma maior. Essa separação permitiu que eles vissem que o sucesso de seu método vinha tanto de criar instruções claras quanto de garantir que a IA pudesse efetivamente aprender com elas em um único passo. Eles também testaram se a IA precisava ver exatamente a mesma imagem bagunçada que havia gerado antes, ou se poderia aprender com uma versão ligeiramente diferente dessa imagem. Eles descobriram que a origem da imagem importava muito pouco; o que realmente impulsionava a melhoria era a direção do feedback em si. Isso sugere que o método é robusto e depende da qualidade da orientação, em vez dos detalhes específicos da imagem sendo analisada.

Quando os pesquisadores olharam para as imagens reais produzidas, as diferenças eram claras. A IA treinada com este novo método foi melhor em seguir instruções complexas, como incluir texto específico, manter a identidade de objetos ou capturar efeitos de movimento e iluminação. Em comparações diretas, juízes humanos preferiram as imagens do novo método em relação às das técnicas anteriores mais fortes na maioria dos casos. As imagens eram mais consistentes com os comandos, preservando detalhes que outros métodos frequentemente perdiam ou distorciam. Os pesquisadores também demonstraram que este método pode lidar com múltiplos objetivos ao mesmo tempo. Eles treinaram uma única IA para satisfazer três critérios simultaneamente, e ela teve sucesso em melhorar todos os três sem sacrificar o desempenho em nenhum deles. Isso mostra que a abordagem é flexível o suficiente para lidar com requisitos complexos do mundo real, onde uma imagem precisa ser boa de várias maneiras ao mesmo tempo.

O trabalho representa uma mudança na forma como ensinamos esses sistemas poderosos. Ao converter uma pontuação final em uma instrução intermediária clara, os pesquisadores forneceram uma maneira de guiar o processo de pensamento da IA passo a passo. Essa abordagem evita o adivinhamento dos métodos tradicionais e permite um caminho mais direto e eficiente para melhores resultados. As descobertas sugerem que o futuro do treinamento desses modelos pode residir na decomposição de objetivos complexos em passos pequenos e explícitos que a IA possa entender e agir imediatamente. O método não depende de magia ou truques complexos; ele depende de um processo claro e repetível de definir um alvo, medir a distância até ele e dar um passo. O resultado é um sistema que aprende mais rápido, usa menos energia e cria imagens que são mais fiéis à intenção humana.

Resumo Técnico: Auto-distilação On-Policy em Modelos de Difusão (DiffusionOPSD)

1. Definição do Problema

O aprendizado por reforço (RL) é cada vez mais utilizado para alinhar modelos de difusão e de fluxo com preferências humanas e objetivos específicos de tarefas. No entanto, existe um desajuste estrutural fundamental entre recompensas de endpoint (ponto final) e predições de denoising intermediárias. Na geração de difusão padrão, uma amostra é produzida através de uma sequência de passos de denoising interdependentes, mas o sinal de recompensa só é observado após o decodificação do endpoint do rollout final.

Métodos existentes tentam preencher essa lacuna, mas enfrentam limitações específicas:

Métodos de gradiente de política (ex: FlowGRPO): Dependem de estimativas de vantagem amostradas e atribuição de crédito de trajetória, que dependem fortemente de orçamentos de amostragem, estimativa de verossimilhança e escolhas de discretização. Eles não constroem alvos de melhoria locais explícitos.
Métodos de recompensa diferenciável (ex: ReFL): Realizam o backpropagation de recompensas através de uma única predição de estado tardio. Embora acoplem a avaliação da recompensa com a otimização, eles frequentemente executam o prefixo sem gradientes e não decodificam o endpoint completo do rollout, limitando o escopo da atualização.
Métodos supervisionados por endpoint (ex: DiffusionNFT): Re-ponderam os endpoints do rollout, mas falham em especificar como uma predição intermediária deve mudar para melhorar o resultado final.

O desafio central é traduzir a recompensa de nível de resultado em uma supervisão acionável e explícita para consultas de denoising intermediárias, distinguindo entre a qualidade do alvo construído e a capacidade do modelo de realizar esse alvo através de atualizações finitas.

2. Metodologia: DiffusionOPSD

Os autores introduzem o DiffusionOPSD, um framework de auto-distilação on-policy que converte gradientes de recompensa de nível de imagem em alvos explícitos para predições de saída limpa. O método opera em um loop iterativo consistindo de três estáções principais:

A. Coleta de Consultas e Geração de Âncoras

Em cada iteração externa $i$ , uma política de comportamento congelada ( $v_{\theta_{old}}$ ) gera trajetórias para um conjunto de prompts.

Âncoras: Para um estado de consulta de baixo ruído amostrado $s = (c, z_q, \sigma_q)$ , a política de comportamento produz uma "predição de saída limpa" (âncora) $y_0 = z_q - \sigma_q v_{\theta_{old}}(s)$ . Este $y_0$ serve como o ponto de referência para a construção do alvo.
Recompensas: A política também gera endpoints de rollout para calcular pesos de ajuste normalizados por grupo ( $\omega$ ) baseados em recompensas de endpoint, que controlam a força relativa do ajuste positivo vs. negativo.

B. Construção de Alvo

Em vez de usar o endpoint diretamente, o método constrói alvos positivos e negativos limitados ao redor da âncora $y_0$ usando gradientes de recompensa:

Alvo Positivo ( $\bar{y}_+$ ): Construído tomando passos estabilizados e normalizados na direção da ascensão do gradiente de recompensa ( $\nabla_y \tilde{R}$ ).
Alvo Negativo ( $\bar{y}_-$ ): Construído tomando passos na direção oposta (descida de recompensa), atuando como uma referência repulsiva.
Limitação (Boundedness): Estes alvos são projetados em uma bola de região de confiança de raio $\rho \|y_0\|$ para garantir estabilidade.
Desacoplamento (Detachment): Os alvos construídos são desconectados (stop-gradient) do grafo de computação da recompensa. Isso separa a construção do alvo do processo de ajuste.

C. Ajuste Finito e Atualização da Política

Uma política treinável ( $v_\theta$ ) é atualizada para ajustar esses alvos desconectados:

Ramos de Ajuste: A saída do modelo é dividida em dois ramos: um ramo atrativo movendo-se em direção a $\bar{y}_+$ e um ramo repulsivo movendo-se para longe de $\bar{y}_-$ .
Função de Perda: O objetivo minimiza a distância entre as predições do modelo e os alvos desconectados, ponderados pelos pesos de recompensa normalizados por grupo.
Atualização da Política de Comportamento: Após um número finito de atualizações de ajuste (ex: $M_{fit}=1$ ), a política de comportamento é atualizada via uma Média Móvel Exponencial (EMA) da política treinável. Isso garante que as consultas e âncoras da próxima iteração sejam geradas por uma política que incorporou o aprendizado anterior, mantendo a natureza "on-policy" da destilação.

3. Principais Contribuições

Inovação Metodológica: A introdução de um loop de auto-distilação on-policy que constrói alvos positivos e negativos explícitos e limitados a partir de gradientes de recompensa de nível de imagem. Diferente de trabalhos anteriores, não depende de pesos de vantagem implícitos ou supervisão apenas de endpoint.
Análise Desacoplada: O framework separa explicitamente a construção do alvo (o ganho potencial da direção do gradiente de recompensa) do ajuste finito (o ganho real alcançado após uma atualização do modelo). Isso permite diagnosticar se os gargalos de desempenho derivam de uma má construção de alvo ou da incapacidade do modelo de ajustar o alvo.
Eficiência e Desempenho: O método alcança resultados de estado da arte com custos computacionais significativamente reduzidos em comparação com os baselines existentes.

4. Resultados Experimentais

Os autores avaliaram o DiffusionOPSD em dois backbones: SD3.5-M e o step-distilled Z-Image-Turbo, através de dez avaliadores (incluindo Pick-a-Pic, CLIPScore, HPSv2.1 e modelos de preferência internos).

Desempenho em Dados Não Vistos (Held-Out): O DiffusionOPSD alcançou os melhores scores finais de held-out em 19 de 20 configurações de correspondência de recompensa.
- No SD3.5-M, superou o método competidor mais forte em até 44,0% (em VLM-Pairwise) e 43,0% (em HPSv3).
- No Z-Image-Turbo, liderou todas as dez comparações de correspondência de recompensa, com ganhos variando de 3,9% a 30,7% sobre os melhores baselines.
Eficiência de Treinamento: O DiffusionOPSD reduziu as horas-GPU de treinamento em relação ao DiffusionNFT em 40% no SD3.5-M e 63% no Z-Image-Turbo.
Treinamento de Múltiplas Recompensas: Uma única política treinada conjuntamente em PickScore, CLIPScore e HPSv2.1 superou o DiffusionNFT em todos os três objetivos simultaneamente, retendo quase todos os ganhos dos especialistas treinados separadamente.
Melhorias Qualitativas: Avaliações humanas mostraram preferência pelo DiffusionOPSD sobre o modelo base, FlowGRPO, DiffusionNFT e ReFL em 64% a 90% dos prompts, com melhorias significativas em fidelidade de prompt, renderização de texto e detalhes estruturais finos.

5. Significância e Alegações

O artigo afirma que o DiffusionOPSD estabelece a auto-distilação on-policy como uma abordagem eficiente e analisável para o pós-treinamento de difusão. Ao converter a orientação de recompensa de nível de imagem em supervisão intermediária explícita que é continuamente atualizada conforme a política evolui, o método:

Resolve o Desajuste Estrutural: Fornece um mecanismo direto para traduzir recompensas de endpoint em alvos intermediários acionáveis sem depender de atribuição de crédito de nível de trajetória ou supervisão apenas de endpoint.
Permite Diagnóstico: A separação da construção do alvo e do ajuste finito permite aos pesquisadores medir o "ganho de construção" vs. o "ganho realizado", revelando que maiores ganhos no nível do alvo nem sempre se traduzem em maiores ganhos realizados após uma única atualização.
Oferece Eficiência: Alcança um alinhamento superior com as preferências humanas enquanto reduz significativamente o custo computacional em comparação com métodos existentes de estado da arte, como o DiffusionNFT.

Os autores concluem que esta abordagem abre um caminho para um alinhamento mais eficiente e diagnosticável para modelos de difusão, indo além das limitações da supervisão baseada apenas em recompensa de endpoint.