DASH: Dual-Branch Score Distillation for Guidance-Calibrated Compact Diffusion Models

Resumo Técnico: DASH: Dual-Branch Score Distillation para Modelos de Difusão Compactos com Calibração de Orientação

Declaração do Problema
Modelos de difusão condicionais à classe que utilizam o Classifier-Free Guidance (CFG) dependem de uma única rede para produzir tanto a previsão condicional ($\epsilon_y$) quanto a imcondicional ($\epsilon_\emptyset$). O mecanismo de orientação amplifica a lacuna $\Delta = \epsilon_y - \epsilon_\emptyset$ para direcionar a geração. No entanto, comprimir esses modelos via redução de parâmetros introduz uma falha estrutural crítica nos objetivos de destilação existentes.

A destilação padrão supervisiona apenas a previsão composta guiada ($\tilde{\epsilon}_S \approx \tilde{\epsilon}_T$) ou o ramo condicional isoladamente. Isso cria um problema de otimização subdeterminado: múltiplas decomposições dos ramos do estudante podem satisfazer a função de perda, incluindo uma solução degenerada onde a lacuna de orientação colapsa ($\Delta_S \to 0$). Neste estado, as previsões condicional e imcondicional convergem, tornando o peso de orientação $w$ ineficaz na inferência, mesmo que a perda de treinamento composta seja minimizada. Além disso, os métodos existentes falham em transferir o currículo de importância por passo de tempo aprendido pelo professor (pesagem de importância), forçando o estudante a reaprender esse cronograma dentro de orçamentos de destilação limitados, o que frequentemente corrompe a trajetória ideal de treinamento.

Metodologia: Estrutura DASH
O artigo propõe o DASH (Dual-Branch Score Distillation), uma estrutura projetada para resolver a subdeterminação e preservar a calibração da orientação através de dois mecanismos principais:

1. Supervisão Independente de Dois Ramos:
   Em vez de combinar a saída, o DASH supervisiona independentemente ambos os ramos de pontuação usando termos de perda distintos:

   • Perda de Imitação ($L_{im}$): Corresponde ao ramo condicional ($\epsilon^y_S \approx \epsilon^y_T$).
   • Perda Imcondicional ($L_{un}$): Corresponde ao ramo imcondicional ($\epsilon^\emptyset_S \approx \epsilon^\emptyset_T$).
   • Perda de Âncora ($L_{an}$): Um regularizador leve que ancora o ramo condicional ao ruído de referência (ground-truth noise) ($\epsilon$) para evitar o desvio durante o início do treinamento.

   Ao impor restrições em ambos os ramos simultaneamente, a estrutura especifica unicamente as saídas alvo para cada amostra, eliminando o espaço de soluções viáveis que permite o colapso da lacuna de orientação. Os autores definem uma razão de lacuna de orientação $\rho = E[\|\Delta_S\|] / E[\|\Delta_T\|]$ para monitorar a calibração, onde $\rho \approx 1$ indica uma preservação bem-sucedida.

2. Transferência TIRT (Timestep-Importance Rebalanced Training Transfer):
   O modelo professor utiliza o TIRT, uma extensão do Min-SNR que aprende fatores de escala por passo de tempo ($\lambda_t$) para concentrar o treinamento em regiões de média trajetória com maior dificuldade de conteúdo. O DASH introduz a Transferência TIRT, que copia o currículo de importância por passo de tempo convergido do professor ($\hat{\omega}_T$) diretamente para o estudante como um prior congelado. Isso evita que o estudante corrompa o currículo com gradientes de destilação que recompensam a facilidade de correspondência de previsão em vez da dificuldade de conteúdo.

Principais Contribuições

• Resolução da Subdeterminação Estrutural: O artigo identifica e resolve o colapso degenerativo da lacuna de orientação em modelos de difusão com compressão de parâmetros. Demonstra que a supervisão imcondicional não é apenas benéfica, mas essencial, respondendo por mais de 60% do ganho total de destilação.
• Transferência de Currículo: A introdução da Transferência TIRT, que inicializa o estudante com o cronograma de pesagem por passo de tempo aprendido do professor como um prior congelado, eliminando a necessidade de o estudante reaprender o currículo.
• Estrutura de Dois Ramos: Um pipeline de destilação unificado que restringe independentemente os ramos condicional e imcondicional, validado como empiricamente essencial para manter a fidelidade da orientação sob compressão.

Resultados Experimentais
Os experimentos foram realizados no CIFAR-10 e CIFAR-100 utilizando um modelo professor (35,8 milhões de parâmetros) e um estudante comprimido (6,1 milhões de parâmetros, 5,9× compressão).

• Desempenho: O estudante DASH alcança um FID de 8,87 (CIFAR-10) e 10,47 (CIFAR-100) com amostragem DDIM de 50 passos. Isso está dentro de 4 pontos de FID do professor (FID 5,47 / 6,80) e supera significativamente o treinamento do zero (FID 20,47 / 26,14) e as bases de restrição única.
• Calibração de Orientação: O DASH mantém uma razão de lacuna de orientação $\rho$ de 0,91 (CIFAR-10) e 0,89 (CIFAR-100), com cosseno direcional $\cos(\Delta)$ próximo a 0,94. Em contraste, as bases de destilação composta sofrem colapso parcial ($\rho \approx 0,68$), e a supervisão apenas condicional leva ao quase total colapso ($\rho \approx 0,09$), degradando o desempenho abaixo do treinamento do zero.
• Estudos de Ablação:
  • Remover $L_{un}$ (perda imcondicional) causa uma queda de 7,77 pontos de FID no CIFAR-10 e colapsa $\rho$ para 0,61, confirmando-a como o componente dominante.
  • Remover a Transferência TIRT (substituindo por Min-SNR fixo) resulta em uma queda de 2,60 pontos de FID, validando a necessidade de transferir o currículo aprendido.
  • A razão de desempenho entre datasets (1,18× para DASH vs. 1,51× para as bases) confirma a generalização robusta através de complexidades de rótulos.

Significância e Alegações
O artigo afirma que o DASH estabelece um novo padrão para a difusão eficiente em parâmetros ao abordar uma falha estrutural em objetivos de destilação existentes. Os autores sustentam que:

1. A supervisão imcondicional é inegociável: Ela não pode ser substituída por objetivos compostos ou condicionais; sem ela, o CFG torna-se ineficaz sob compressão.
2. A transferência de currículo é distinta da destilação de características: Transferir o cronograma de treinamento (TIRT) como um prior congelado é uma contribuição inovadora que evita a corrupção da pesagem de dificuldade adaptativa aos dados aprendida pelo professor.
3. Eficiência sem Compromisso: A estrutura permite uma redução significativa de parâmetros (5,9×) enquanto preserva o mecanismo de orientação calibrado, permitindo a geração de alta qualidade em cenários de recursos limitados sem aumentar os passos de inferência.

O trabalho posiciona-se na interseção entre compressão de parâmetros e calibração de nível de ramo, oferecendo uma solução que é ortogonal aos métodos de redução de passos e composível com eles.