Resumo Técnico: CFG-OEC (Orientação Livre de Classificador com Correção de Erro Ortogonal)

1. Declaração do Problema

A Orientação Livre de Classificador (CFG) é o padrão de fato para amostragem condicional em modelos de difusão, permitindo a geração de amostras com propriedades desejadas (por exemplo, alinhamento com texto) sem exigir um classificador externo. No entanto, os autores identificam uma incompatibilidade estrutural fundamental entre o objetivo de treinamento e o procedimento de amostragem na CFG.

Durante o treinamento, um único modelo aprende tanto as previsões condicionais ($\epsilon_\theta(x_t | y)$) quanto as incondicionais ($\epsilon_\theta(x_t)$) por meio de dropout estocástico de condições. No momento da amostragem, a CFG constrói um preditor guiado como uma combinação linear desses dois modos aprendidos:
$$\epsilon_\theta^{(w)}(x_t | y) = w \epsilon_\theta(x_t | y) + (1-w) \epsilon_\theta(x_t)$$
O artigo argumenta que esse preditor guiado não é um alvo direto de treinamento. Consequentemente, mesmo que as previsões condicionais e incondicionais individuais sejam precisas, sua combinação linear no momento da amostragem introduz um erro estrutural de amostragem. Esse erro surge da interação entre os erros de previsão condicional e incondicional, um componente não controlado ou penalizado explicitamente durante o processo padrão de treinamento.

2. Metodologia

2.1 Decomposição do Erro

Os autores analisam o erro de amostragem decompondo o Erro Quadrático Médio (MSE) do preditor guiado em três componentes:

1. Erro Base: A soma ponderada das normas quadradas dos erros de previsão condicional e incondicional. Estes são minimizados durante o treinamento.
2. Erro Cruzado: Um termo de interação determinado pelo produto interno (alinhamento) dos vetores de erro condicional e incondicional: $2w(1-w)\langle \Delta_c, \Delta_{uc} \rangle$.

A análise revela que o erro cruzado é um componente estrutural não trivial do erro de amostragem. Dependendo da escala de orientação $w$, esse termo pode aumentar o erro total (por exemplo, quando $w \in (0,1)$) ou reduzi-lo incidentalmente (quando $w > 1$), mas, em qualquer caso, ele não é controlado pelo objetivo de treinamento.

2.2 Correção de Erro Ortogonal (OEC)

Para mitigar esse erro estrutural, o artigo propõe o CFG-OEC, que visa eliminar o termo de erro cruzado impondo ortogonalidade entre os vetores de erro condicional e incondicional.

• Mecanismo Teórico: O método projeta o vetor de erro incondicional $\Delta_{uc}$ no subespaço ortogonal ao vetor de erro condicional $\Delta_c$. Ao remover o componente de $\Delta_{uc}$ que se alinha com $\Delta_c$, o termo de interação $\langle \Delta_c, \Delta_{uc} \rangle$ é reduzido a zero.
• Garantia Teórica: Como a projeção ortogonal não aumenta a norma de um vetor, essa correção reduz o erro total de amostragem sem aumentar o componente de erro base.

2.3 Implementação Prática: Proxy e Mistura Dinâmica

Na geração de imagens do mundo real, o ruído ground-truth $\epsilon^*_t$ não está disponível, tornando impossível o cálculo direto dos vetores de erro. Os autores introduzem dois mecanismos práticos:

1. Proxy Baseado em Previsão: Em vez do ground truth, o método constrói proxies para os alvos de ruído usando extrapolação linear a partir de passos de tempo adjacentes ($t$ e $t+1$). Especificamente, $\hat{\epsilon}_t \approx 2\epsilon_\theta(x_t) - \epsilon_\theta(x_{t+1})$. Esses proxies servem como substitutos para estimar as tendências direcionais locais dos vetores de erro.
2. Mistura Dinâmica: Para garantir estabilidade, o método não aplica a correção cegamente. Ele calcula a similaridade de cosseno ($s$) entre os vetores de erro baseados em proxy. Se o alinhamento for muito forte (indicando imprecisão potencial do proxy ou instabilidade), a correção é atenuada. A previsão incondicional final é uma mistura dinâmica do vetor corrigido e da previsão original do modelo, ponderada por $s$.

3. Contribuições Principais

• Análise Estrutural: O artigo fornece uma decomposição teórica do erro de amostragem da CFG, identificando o "erro cruzado" como uma limitação estrutural distinta e não controlada que surge da incompatibilidade entre treinamento e amostragem.
• Algoritmo CFG-OEC: Um método de correção no momento da amostragem que ortogonaliza vetores de erro para reduzir o termo de interação, garantindo teoricamente uma redução no erro de amostragem.
• Construção de Proxy: Um framework prático para aplicar correção ortogonal em configurações de alta dimensão sem acesso ao ruído ground-truth, utilizando previsões de modelo extrapoladas.
• Estabilização Dinâmica: Um mecanismo para controlar adaptativamente a força da correção com base no alinhamento dos erros de proxy, equilibrando a eficácia da correção com a estabilidade.

4. Resultados Experimentais

Os autores validam o CFG-OEC por meio de experimentos teóricos controlados e tarefas de geração de imagens em grande escala.

• Ambiente Controlado (GMM 2D): Em um Modelo de Mistura Gaussiana 2D onde o ground truth é acessível, os experimentos confirmam a decomposição teórica do erro. O erro cruzado representa aproximadamente 10–15% do erro base em regimes de baixa orientação. A correção ortogonal reduz consistentemente o erro total de amostragem em várias escalas de orientação.
• Geração de Imagens (Stable Diffusion v1.5 & XL):
  • Métricas: Avaliado no conjunto de validação MSCOCO 10k usando FID (fidelidade da imagem) e pontuações CLIP (alinhamento com texto).
  • Desempenho: O CFG-OEC supera a CFG padrão e a recente linha de base CFG++ em vários amostradores (DDIM, UniPC, DPM-Solver++).
  • Regime de Baixa Orientação: As melhorias mais significativas são observadas em regimes de baixa orientação (por exemplo, $w=0.5$), onde o erro cruzado é mais prejudicial.
  • Regime de Alta Orientação: O método permanece competitivo, mostrando melhorias tanto no FID quanto no CLIP em escalas mais altas (por exemplo, $w=5.0, 7.5$), embora alguns regimes exibam um trade-off leve entre fidelidade e alinhamento.
  • Qualidade Visual: Resultados qualitativos mostram que o CFG-OEC reduz artefatos estruturais (por exemplo, membros extras, texto ilegível, objetos desalinhados) e produz estruturas mais coerentes em comparação com o CFG++.

5. Significado e Alegações

O artigo afirma que o CFG-OEC oferece uma solução prática e teoricamente motivada para uma fonte estrutural específica de erro em modelos de difusão.

• Insight Teórico: Desloca o foco de apenas ajustar escalas de orientação ou restrições geométricas para abordar a estrutura fundamental de erro induzida pela combinação linear de previsões condicionais e incondicionais.
• Utilidade Prática: O método é simples de implementar, não requer re-treinamento do modelo de difusão e é compatível com amostradores e modelos existentes.
• Robustez: A estratégia de mistura dinâmica garante que a correção permaneça estável mesmo quando as estimativas de proxy são imperfeitas, tornando-a adequada para implantação no mundo real.

Os autores concluem que, embora o treinamento aprimorado reduza a magnitude dos erros individuais, o CFG-OEC fornece um mecanismo necessário para controlar a interação entre esses erros, permitindo assim uma amostragem condicional mais estável e consistente.