🤖 machine learning

Rethinking Classifier-Free Guidance in On-Policy Diffusion Distillation

Este artigo identifica um modo de falha chamado Assimetria de Ramo Negativo em destilação de difusão on-policy sob orientação livre de classificador (classifier-free guidance), onde o pareamento de velocidade ingênuo causa erros de ramo antagônicos, e propõe o Pareamento de Direção Positiva como um objetivo consciente de ramo para permitir uma transferência de conhecimento robusta.

Autores originais: Bingnan Li, Haozhe Wang, Haozhong Xiong, Fangtai Wu, Jinpeng Yu, Yang Shi, Jiaming Liu, Ruihua Huang

Publicado 2026-07-28

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Bingnan Li, Haozhe Wang, Haozhong Xiong, Fangtai Wu, Jinpeng Yu, Yang Shi, Jiaming Liu, Ruihua Huang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô artista a pintar uma obra-prima. No mundo da inteligência artificial moderna, esses "robôs" são chamados de modelos de difusão. Eles funcionam de forma um pouco semelhante a um escultor entalhando um bloco de mármore: começam com uma nuvem de pixels barulhenta e bagunçada e a refinam lentamente até se tornar uma imagem clara. Para garantir que o robô pinte exatamente o que você quer (como um "gato usando um chapéu"), usamos um truque especial chamado Classifier-Free Guidance (CFG). Pense no CFG como um professor de arte rigoroso que dá duas instruções ao mesmo tempo: uma dizendo "pinte um gato com um chapéu" (a instrução positiva) e outra dizendo "não pinte nada específico" (a instrução negativa). O robô então mistura essas duas ideias, usando um controle chamado escala de orientação (guidance scale) para decidir quanto peso dar à instrução rigorosa em relação à vaga.

Agora, imagine que você quer tornar esse robô mais rápido e barato de operar. Você não pode simplesmente deixá-lo aprender do zero toda vez; isso leva muito tempo. Em vez disso, você usa uma técnica chamada On-Policy Distillation (OPD). Isso é como ter um mestre pintor (o "Professor") observando um aluno pintor (o "Aluno") trabalhar em tempo real. Enquanto o aluno faz uma pincelada, o professor diz imediatamente: "Não, faça deste jeito", e o aluno se ajusta. O objetivo é que o aluno aprenda o estilo do professor tão bem que possa, eventualmente, pintar tão bem quanto ele, mas de forma muito mais rápida. A grande questão que este artigo aborda é: o que acontece quando o professor está usando esse truque de mistura de "duas instruções" (CFG) e o aluno tenta copiá-lo? O aluno aprende a maneira certa de misturar as instruções ou fica confuso?

A Grande Confusão: Quando Copiar Dá Errado

Os autores deste artigo descobriram que a maneira padrão pela qual os alunos tentam copiar professores que usam CFG é, na verdade, uma armadilha. Eles chamam o método padrão de "Naive CFG-Based OPD". Aqui está o problema: quando o professor mistura as instruções "positiva" e "negativa" para dar uma resposta final, o aluno vê apenas essa resposta final misturada. O aluno tenta corresponder à mistura final do professor, mas não sabe como o professor chegou lá.

Imagine que o professor está fazendo uma vitamina. Eles misturam 70% de morango (positivo) e 30% de banana (negativo) para obter uma bebida rosa perfeita. O aluno prova a bebida rosa e tenta replicá-la. Mas, como o aluno não conhece a receita exata, ele pode acidentalmente misturar 40% de morango e 60% de banana e ainda assim obter uma bebida que pareça rosa o suficiente para enganar o professor naquele momento específico. Isso é o que o artigo chama de ambiguidade de ramo (branch ambiguity). O aluno encontrou uma "solução degenerada" — um truque onde ele obtém a resposta certa pelos motivos errados.

O artigo mostra que esse truque funciona bem se o professor e o aluno estiverem usando exatamente o mesmo "ingrediente negativo" (como ambos usando água pura como base). Neste caso, o aluno e o professor melhoram juntos, e tudo corre bem.

No entanto, o artigo encontra um modo de falha importante que chamam de Assimetria de Ramo Negativo (Negative Branch Asymmetry - NBA). Isso acontece quando o professor tem um "ingrediente secreto" em seu ramo negativo que o aluno não possui. Por exemplo, talvez o professor esteja olhando para uma foto de referência para guiar seu processo de pensamento "negativo", mas o aluno está cego para essa foto. Nesse cenário, o aluno tenta copiar a vitamina rosa final, mas, para fazer isso, ele tem que estragar sua própria receita. Ele pode deixar a parte do morango (a parte positiva) perfeita, mas tem que tornar a parte da banana (a parte negativa) terrível para compensar.

O artigo demonstra que, sob essas condições, o aprendizado do aluno torna-se um cabo de guerra. À medida que eles melhoram a pintura do gato (reduzindo o erro positivo), eles pioram o entendimento da parte do "nada" (aumentando o erro negativo). Os erros se cancelam na mistura final, de modo que o professor pensa que o aluno está indo muito bem. Mas isso é uma mentira.

A Consequência: O Controle do Destino

O verdadeiro problema começa quando você gira o controle. A "escala de orientação" é uma configuração que você pode alterar após o treinamento ter sido concluído. Se você treinou o aluno com o controle definido em um número específico, ele aprendeu a trapacear usando aquela mistura específica. Mas se você girar o controle para um número diferente mais tarde (como durante o uso no mundo real), o equilíbrio muda. A receita de "trapaça" do aluno não funciona mais. O artigo mostra que alunos treinados com o método ingênuo (naive) apresentam um ótimo desempenho na configuração de treinamento, mas desmoronam completamente quando a escala de orientação muda, produzindo imagens distorcidas ou perdendo o estilo que deveriam ter aprendido. Este é o "degradação excessiva" que os autores alertam — não é apenas que o robô fica pior; é que ele fica muito pior do que deveria, especificamente por causa do método de treinamento ruim.

A Solução: O Ajuste de "Direção Positiva"

Para corrigir isso, os autores propõem um novo método chamado Positive-Direction Matching (PDM). Em vez de apenas pedir ao aluno que copie a vitamina final misturada, o PDM força o aluno a aprender duas coisas separadas:

A Predição Positiva: "Mostre-me exatamente como você pinta o gato."
A Direção do CFG: "Mostre-me a diferença entre a sua ideia de 'gato' e a sua ideia de 'nada'."

Ao verificar essas duas coisas separadamente, o professor consegue ver se o aluno está trapaceando. Se o aluno tentar estragar a parte negativa para consertar a parte positiva, o professor o pega imediatamente porque a "diferença" (a direção) não corresponderá. Isso força o aluno a aprender a receita real, não um truque.

O artigo testou isso em uma tarefa chamada controle de vídeo denso-para-esparso (dense-to-sparse video control), onde o professor vê um vídeo completo de uma pessoa se movendo (controle denso) e tenta ensinar um aluno que vê apenas alguns quadros-chave (controle esparso). Os resultados foram claros:

Alunos ingênuos (naive) eram muito sensíveis à escala de orientação. Quando a escala mudava, o controle de vídeo deles desmoronava, com métricas de qualidade como o FID (uma medida de qualidade de imagem) saltando de 13,49 para 78,20 em alguns casos.
Alunos PDM permaneciam estáveis. Mesmo quando a escala de orientação mudava, eles continuavam produzindo vídeos de alta qualidade, com o FID mantendo-se em torno de 13–15.

Os autores também compararam o PDM com outro método chamado Independent Branch Matching (IBM), que simplesmente diz ao aluno para copiar os ramos positivo e negativo separadamente, sem olhar para a "direção". Tanto o PDM quanto o IBM foram muito melhores que o método ingênuo, mas o PDM geralmente proporcionou a fidelidade de controle mais consistente através de diferentes tipos de tarefas de vídeo (como controles de pose, profundidade e rabisco).

A Conclusão

O artigo conclui que, embora a antiga maneira de copiar professores (Naive OPD) possa parecer estar funcionando durante o treinamento, ela está na verdade construindo uma casa de cartas que desmorona assim que você altera as configurações. Ao usar o Positive-Direction Matching, podemos construir um aluno que realmente entende a lógica do professor, tornando-o robusto e confiável, não importa como você ajuste o controle de orientação mais tarde. É um lembrete de que, na IA, apenas obter a resposta certa não é suficiente; você precisa aprender como obtê-la, especialmente quando o professor está segurando um ingrediente secreto.

Resumo Técnico: Repensando o Classifier-Free Guidance em Destilação de Difusão On-Policy

Declaração do Problema

A Destilação On-Policy (OPD) adapta modelos de difusão treinando um estudante para corresponder às previsões de velocidade local do professor ao longo das trajetórias geradas pelo próprio estudante. Embora os sistemas de difusão modernos empreguem universalmente o Classifier-Free Guidance (CFG) para melhorar a qualidade da geração, a interação entre o CFG e a OPD permanece mal compreendida.

O CFG padrão compõe uma velocidade guiada ( $v_{cfg}$ ) a partir de dois ramos separados: um ramo positivo ( $v_+$ ) condicionado ao prompt alvo e um ramo negativo ( $v_-$ ) condicionado a um prompt nulo ou negativo. A velocidade guiada é definida como $v_{cfg} = \gamma v_+ + (1-\gamma)v_-$ , onde $\gamma$ é a escala de orientação.

Os métodos de OPD existentes tipicamente estendem o ajuste de velocidade para esta previsão composta, minimizando a perda $\|v_{cfg}^T - v_{cfg}^S\|_2^2$ . Os autores identificam uma falha crítica nesta abordagem: subidentificação ao nível do ramo. Como a perda restringe apenas a combinação linear dos dois ramos, os erros dos ramos positivo e negativo ( $e_+$ e $e_-$ ) podem compensar uns aos outros. Especificamente, a condição $\gamma e_+ + (1-\gamma)e_- = 0$ admite infinitos pares de erro não nulos.

Esta ambiguidade leva a um modo de falha denominado Assimetria do Ramo Negativo (NBA). Em cenários onde o professor possui "informação privilegiada" em seu ramo negativo (por exemplo, imagens de referência ou sinais de controle densos) que o estudante não possui, o objetivo composto ingênuo induz dinâmicas antagônicas: o processo de treinamento reduz o erro do ramo positivo enquanto simultaneamente aumenta o erro do ramo negativo. Embora essa compensação possa resultar em uma perda baixa na escala de orientação de treinamento, ela faz com que o estudante derive significativamente quando avaliado em diferentes escalas de orientação de inferência, pois a compensação de erro aprendida não se mantém mais.

Metodologia

Para resolver a ambiguidade do ramo e evitar a compensação de erro, os autores propõem o Positive–Direction Matching (PDM), um objetivo de OPD consciente do ramo.

1. Positive–Direction Matching (PDM)

Em vez de corresponder à velocidade guiada composta, o PDM restringe separadamente:

A Previsão Positiva: Corresponde diretamente à velocidade do ramo positivo ( $v_+$ ).
A Direção Condicional do CFG: Corresponde ao vetor de diferença $d = v_+ - v_-$ .

A função de perda é formulada como:
$\mathcal{L}_{PDM} = \|e_+\|_2^2 + \lambda \|d_T - d_S\|_2^2 = \|e_+\|_2^2 + \lambda \|e_+ - e_-\|_2^2$
onde $\lambda > 0$ controla a força do ajuste de direção. Perda zero no PDM força tanto $e_+$ quanto $e_-$ a zero, eliminando a liberdade para que os erros se cancelem.

2. Independent Branch Matching (IBM)

Como um baseline para isolar os benefícios da supervisão ao nível do ramo do design específico do PDM, os autores introduzem o IBM. Este método corresponde diretamente os ramos positivo e negativo com pesos derivados do objetivo composto ingênuo expandido:
$\mathcal{L}_{IBM} = \gamma^2 \|e_+\|_2^2 + (\gamma - 1)^2 \|e_-\|_2^2$
Ao contrário do PDM, o IBM não impõe explicitamente a direção condicional, mas remove o termo de interação entre ramos presente na perda composta ingênua.

3. Supervisão Eficiente para Vídeo

Para aplicações de controle de vídeo denso-para-esparso, os autores propõem supervisionar apenas os primeiros $K$ estados da trajetória de denoising do estudante, em vez da trajetória completa. Isso reduz o custo computacional das avaliações do professor enquanto mantém o desempenho.

Principais Contribuições

Identificação da Ambiguidade do Ramo: O artigo demonstra que o CFG-composed OPD é subidentificado ao nível do ramo. Estabelece que esta ambiguidade é benigna sob condicionamento negativo compartilhado (onde professor e estudante compartilham o mesmo condicionamento nulo), mas torna-se prejudicial sob condicionamento negativo privilegiado, levando à NBA.
Assimetria do Ramo Negativo (NBA): Os autores definem a NBA como o modo de falha onde o ajuste ingênuo reduz o erro do ramo positivo ao custo de aumentar o erro do ramo negativo, causando sensibilidade excessiva às mudanças de escala de orientação.
Positive–Direction Matching (PDM): Um novo objetivo, consciente do ramo, que supervisiona separadamente a previsão positiva e a direção condicional do CFG. Isso evita a compensação de erro entre ramos e restaura a supervisão identificável.
Validação Empírica: O estudo fornece evidências quantitativas em domínios de imagem e vídeo, mostrando que a supervisão consciente do ramo melhora a robustez e a transferência de conhecimento, particularmente em configurações onde o professor tem acesso a informações indisponíveis para o estudante.

Resultados Experimentais

Diagnósticos no Domínio de Imagem

Os autores conduziram dois experimentos controlados para diagnosticar a dinâmica de erro de ramo:

Destilação de Renderização de Texto (Condicionamento Compartilhado): Tanto o professor quanto o estudante compartilham o mesmo condicionamento negativo. Aqui, o ajuste ingênuo e o PDM resultam na redução conjunta dos erros dos ramos positivo e negativo. O estudante rastreia a sensibilidade intrínseca ao CFG do professor, confirmando que a ambiguidade é benigna neste regime.
Destilação Condicionada por Referência (Condicionamento Privilegiado): O professor recebe uma imagem de referência em seu ramo negativo, enquanto o estudante não.
- Ajuste Ingênuo: Exibe dinâmicas antagônicas, reduzindo $e_+$ enquanto aumenta $e_-$ .
- PDM: Reduz com sucesso $e_+$ enquanto evita o crescimento de $e_-$ .
- Sensibilidade de Orientação: Na inferência, estudantes treinados ingenuamente em $\gamma=2$ degradam significamente quando testados em $\gamma=1$ (mostrando deriva de estilo e distorção), enquanto estudantes PDM permanecem estáveis e seguem de perto o comportamento do professor através das escalas.

Controle de Vídeo Denso-para-Esparso

O método foi aplicado ao benchmark Wan-VACE, onde o professor observa o controle por quadro denso (pose, profundidade, scribble) e o estudante recebe apenas keyframes esparsos.

Fidelidade de Controle: Na escala de orientação de treinamento ( $\gamma=5$ ), o PDM superou o OPD ingênuo, SFT e destilação off-policy em todas as modalidades (Pose, Depth, Scribble) em métricas como MPJPE, PCK e FVD.
Generalização de Escala de Orientação: Quando testado em escalas de inferência diferentes da de treinamento (ex: $\gamma=1$ ou $\gamma=3$ ), o desempenho do OPD ingênuo degradou bruscamente. Em contraste, o PDM e o IBM permaneceram estáveis, demonstrando que a supervisão consciente do ramo mitiga a sensibilidade excessiva induzida pelo ajuste composto.
Eficiência: Supervisionar apenas os primeiros $K=8$ estados da trajetória proporcionou o melhor equilíbrio entre fidelidade de controle e custo de treinamento, alcançando resultados comparáveis à supervisão de trajetória completa com computação significativamente reduzida.

Significância e Alegações

O artigo alega que a prática padrão de corresponder a previsões de CFG compostas em destilação on-policy é fundamentalmente falha quando o professor e o estudante possuem acesso assimétrico à informação no ramo negativo. Os autores argumentam que a Assimetria do Rão Negativo é um modo de falha distinto que se manifesta como sensibilidade excessiva às mudanças de escala de orientação.

A significância deste trabalho reside em:

Correção de um Ponto Cego Teórico: Identifica que "corresponder à saída guiada" é insuficiente quando os ramos subjacentes não são simetricamente restringidos.
Transferência de Conhecimento Robusta: Ao impor restrições ao nível do ramo (via PDM), o estudante aprende uma representação mais fiel da lógica condicional do professor, levando a um desempenho robusto através de variadas condições de inferência.
Aplicabilidade Prática: O método proposto é diretamente aplicável a tarefas complexas de geração, como controle de vídeo, onde os professores frequentemente possuem contexto privilegiado (frames densos) que os estudantes devem aprender a aproximar a partir de entradas esparsas.

Os autores observam modestamente que, embora o PDM supere empiricamente o IBM, as razões teóricas para a vantagem específica do PDM sobre outras formulações conscientes do ramo (como o IBM) permanecem uma questão aberta para trabalhos futuros. A principal contribuição é a identificação do modo de falha e a demonstração de que separar a supervisão do ramo positivo e da direção condicional resolve o problema.