Resumo Técnico: Melhoria da Orientação Livre de Classificador em Correspondência de Fluxo via Projeção em Variedade

Declaração do Problema

A Orientação Livre de Classificador (CFG) é o mecanismo dominante para geração controlável em modelos de difusão e baseados em fluxo, direcionando a amostragem para condições desejadas por meio de extrapolação linear entre previsões incondicionais e condicionais. Apesar de seu sucesso empírico, a CFG padrão baseia-se em uma extrapolação linear heurística controlada por uma escala de orientação escalar $w$. Essa abordagem exibe um compromisso bem conhecido: valores pequenos de $w$ produzem alinhamento condicional fraco, enquanto valores grandes de $w$ frequentemente causam saturação excessiva, artefatos e perda de diversidade.

A escolha de $w$ é altamente sensível e dependente do modelo, exigindo tipicamente ajuste ad hoc. Além disso, refinamentos existentes frequentemente carecem de uma fundamentação teórica rigorosa, particularmente no que tange a:

1. A função objetivo que a extrapolação CFG padrão aproxima na correspondência de fluxo.
2. A existência e definição de uma escala de orientação matematicamente ótima.
3. O mecanismo teórico que explica por que reduzir a "lacuna de previsão" (a discrepância entre saídas condicionais e incondicionais) melhora a qualidade e a robustez da geração.

Métodos atuais são frequentemente centrados em difusão, dependendo de propriedades de agendamento de ruído que não se transferem diretamente para a correspondência de fluxo, onde a amostragem segue uma Equação Diferencial Ordinária (EDO) de tempo contínuo definida por um campo de velocidade.

Metodologia

Os autores reinterpretam a amostragem CFG através da lente da otimização, fechando a lacuna entre extrapolação heurística e otimização com restrições.

1. Interpretação Baseada em Otimização da CFG

O artigo demonstra que o campo de velocidade condicional ideal na correspondência de fluxo corresponde ao gradiente de uma sequência de funções de distância suavizadas. Especificamente, o campo de velocidade guia variáveis latentes em direção a um conjunto de imagens-alvo escalado.

• Fundamentação Teórica: Os autores definem funções de distância quadrática suavizadas para o conjunto de imagens condicionais $K_y$ e o conjunto incondicional $K_\emptyset$. Eles provam que os campos de velocidade ideais $v^*_{t,y}$ e $v^*_{t,\emptyset}$ são gradientes dessas funções de distância (menos um termo de regularização).
• Otimização Homotópica: O processo de amostragem é reformulado como um problema de otimização homotópica, onde o objetivo é minimizar a distância para a variedade-alvo. A CFG padrão é mostrada como uma aproximação do gradiente dessa função objetivo.
• Decomposição de Erro: O erro de aproximação da CFG é decomposto em um erro intrínseco do modelo e um termo proporcional a $(w^* - w)^2 \times \text{Lacuna de Previsão}^2$. Isso revela que a sensibilidade à escala de orientação é governada pela magnitude da lacuna de previsão. Consequentemente, eliminar a lacuna de previsão é teoricamente mais eficaz do que buscar uma $w$ ótima.

2. CFG-MP: Amostragem por Projeção em Variedade

Para mitigar a lacuna de previsão, os autores propõem o CFG-MP, que impõe uma restrição de variedade $M_t = \{z \mid v_\theta(t, z, y) = v_\theta(t, z, \emptyset)\}$.

• Formulação: A atualização de amostragem é reformulada como um passo de Descida de Gradiente Projetado (PGD). Em vez de um simples passo de Euler, o método realiza um passo de descida de gradiente seguido por uma projeção sobre a variedade $M_t$.
• Implementação: Como a projeção sobre $M_t$ carece de uma solução de forma fechada, os autores implementam um esquema de descida de gradiente incremental. Eles aproximam a projeção ideal usando a rede treinada $v_\theta$ e realizam atualizações sequenciais: primeiro dando um passo baseado na velocidade incondicional, depois um passo baseado na velocidade condicional. Esse processo iterativo reduz efetivamente a lacuna de previsão durante a amostragem sem re-treinar o modelo.

3. CFG-MP+: Aceleração de Anderson

Para abordar a sobrecarga computacional da projeção iterativa, os autores integram a Aceleração de Anderson (AA) na fase de projeção em variedade, resultando no CFG-MP+.

• Mecanismo: O passo de projeção é tratado como uma iteração de ponto fixo. A AA acelera a convergência calculando a próxima iteração como uma extrapolação linear de avaliações passadas, minimizando a norma do resíduo no sentido dos mínimos quadrados.
• Eficiência: Essa abordagem melhora significativamente a velocidade e a estabilidade da convergência sem exigir avaliações adicionais do modelo além das necessárias para os passos de projeção padrão.

Contribuições Principais

1. Interpretação Baseada em Otimização: O artigo fornece uma interpretação principial da CFG, mostrando que o campo de velocidade condicional corresponde ao gradiente de um objetivo de distância regularizado. Isso permite a definição formal de uma escala de orientação ótima como o minimizador do erro de aproximação.
2. Análise Teórica da Sensibilidade: Os autores derivam uma decomposição de erro que liga explicitamente a sensibilidade da escala de orientação à lacuna de previsão. Isso oferece uma justificativa teórica para por que reduzir a discrepância entre previsões condicionais e incondicionais melhora a robustez.
3. Algoritmo CFG-MP: Um método de amostragem novo e sem treinamento que formula a amostragem condicional como um problema de otimização com restrições. Utiliza um esquema de descida de gradiente incremental para projetar iterativamente a trajetória de amostragem sobre uma variedade onde a lacuna de previsão é minimizada.
4. Aceleração CFG-MP+: A integração da Aceleração de Anderson para estabilizar e acelerar o processo de projeção em variedade, ampliando substancialmente a região de estabilidade prática do método iterativo.

Resultados Experimentais

Os autores validam seus métodos em diversos benchmarks, incluindo geração de imagem por classe no ImageNet (usando DiT-XL-2-256) e geração de imagem por texto usando Stable Diffusion 3.5 e Flux-dev.

• Desempenho Quantitativo:

  • ImageNet (DiT-XL-2-256): CFG-MP e CFG-MP+ superam significativamente a CFG vanilla e outras variantes (Z-sampling, Re-sampling, FSG) na Distância de Inception Fréchet (FID) e na Pontuação de Inception (IS). Notavelmente, o CFG-MP+ alcança um ganho de 14,78 pontos na IS sobre a linha de base CFG(D2F) em $\omega=2.0$, comparado a 5,50 para o FSG.
  • Texto para Imagem (SD3.5 & Flux-dev): Os métodos superam consistentemente as linhas de base (CFG-0*, Rectified-CFG++) em múltiplas métricas, incluindo pontuação CLIP, ImageReward (IR), PickScore e HPSv2. O CFG-MP+ mostra força particular em HPSv2 e IR, indicando melhor alinhamento com preferências humanas.
  • GenEval: Os métodos demonstram desempenho superior em tarefas composicionais de granularidade fina, como contagem, atribuição de cor e posicionamento espacial.

• Robustez e Estabilidade:

  • Os métodos reduzem significativamente a sensibilidade da qualidade de geração à escala de orientação. O CFG-MP+ mantém baixas taxas de crescimento de FID mesmo à medida que $w$ aumenta, enquanto outros métodos degradam.
  • Estudos de ablação confirmam que o esquema de Aceleração de Anderson (especificamente com tamanho de janela $m=1$ e amortecimento $\beta=1.0$) é robusto e requer ajuste mínimo.
  • Resultados qualitativos mostram melhorias em nitidez, preservação de textura, saturação de cor e eliminação de artefatos como borrão ou suavização excessiva.

Significado e Afirmações

O artigo afirma fornecer a primeira análise teórica rigorosa do erro de aproximação da CFG através da lente da lacuna de previsão em modelos de correspondência de fluxo. Ao avançar além de interpretações heurísticas, os autores estabelecem uma justificativa principial para minimizar a lacuna de previsão a fim de preservar a integridade da trajetória de amostragem.

Os métodos propostos (CFG-MP e CFG-MP+) são sem treinamento, o que significa que podem ser aplicados a modelos pré-treinados existentes sem re-treinamento. Eles oferecem uma maneira sistemática de melhorar a fidelidade de geração e a robustez à escala de orientação, abordando uma limitação crítica nos fluxos de trabalho atuais de geração controlável. Os autores observam que, embora o método introduza iterações adicionais de ponto fixo (aumentando os NFEs), os ganhos na qualidade e estabilidade das amostras são substanciais. Eles sugerem que trabalhos futuros poderiam explorar mover a mitigação da lacuna de previsão para a fase de treinamento ou adaptar essas técnicas para modelos de difusão.