Drifting Fields are not Conservative

Título: Drifting Fields are not Conservative

Autores: Leonard Franz, Sebastian Hoffmann, Georg Martius
Instituições: Eberhard Karls Universität Tübingen, Max Planck Institute for Biogeochemistry

---

1. O Problema

O modelo de geração via Deriva (Drifting), proposto recentemente por Deng et al. (2026), atraiu atenção devido à sua capacidade de gerar amostras de alta qualidade em uma única passagem (one-step inference) e à sua velocidade de inferência. O treinamento desse modelo é formalizado como um processo iterativo onde amostras geradas são transportadas em direção à distribuição de dados reais através de um campo de deriva vetorial ($V$).

No entanto, surge uma questão fundamental: o processo de treinamento do modelo de deriva está implicitamente otimizando uma função de perda escalar (loss function)?

• Na maioria dos métodos de aprendizado de máquina, o treinamento é formulado como a minimização de um campo escalar (a perda).
• O campo de deriva, por definição, pode ser não conservativo (ou seja, não pode ser escrito como o gradiente de um potencial escalar). Isso significa que ele pode implementar campos de transporte com "rotacional" (curl) não nulo, como campos que induzem transporte em loops fechados ou que não convergem.
• Os autores anteriores argumentaram que a vantagem do framework de deriva reside exatamente nessa generalidade extra (permitir normalização dependente da posição que nenhuma perda escalar poderia reproduzir).

O objetivo deste trabalho é investigar se essa generalidade é realmente necessária para o desempenho ou se a deriva pode ser reformulada como um problema de otimização de perda escalar bem definida.

2. Metodologia e Análise Teórica

2.1. Identificação da Fonte de Não-Conservatismo

Os autores demonstram que, em geral, os campos de deriva não são conservativos.

• Um campo vetorial é conservativo se e somente se seu Jacobiano for simétrico (ou seja, se o rotacional $\nabla \times V$ for zero).
• A análise mostra que a normalização dependente da posição ($Z(x)$) no campo de deriva é a fonte do não-conservatismo.
• O campo de deriva não normalizado (relacionado ao gradiente da perda MMD quadrada) é conservativo. No entanto, ao dividir por fatores de normalização ($Z_p(x)$ e $Z_q(x)$) que variam espacialmente, introduz-se uma variação transversal na magnitude do campo (cisalhamento), gerando um rotacional não nulo.

2.2. A Exceção do Kernel Gaussiano

O único caso onde a normalização não destrói a propriedade conservativa é o Kernel Gaussiano. Para este kernel específico, o campo de deriva é exatamente o gradiente de um potencial escalar (o logaritmo da densidade estimada por kernel, log-KDE).

2.3. Proposta: Normalização via Kernel "Sharp" ($k^\#$)

Para restaurar a conservatividade para qualquer kernel radial (incluindo Laplaciano e Quadrático Racional), os autores propõem uma nova normalização:

1. Definição de Kernel Sharp ($k^\#$): Um kernel derivado tal que seu gradiente espacial corresponde ao produto do kernel original pela diferença de vetores: $\nabla_x k^\#(x, y) = k(x, y)(y - x)$.
2. Novo Campo de Deriva: Substituindo a normalização original ($Z$) pela normalização baseada no kernel sharp ($Z^\#$), o campo resultante torna-se conservativo.
3. Função de Perda Escalar (Log-KDE Loss): Como o novo campo é conservativo, ele pode ser escrito como o gradiente de um potencial escalar. Isso permite reformular o treinamento como a minimização de uma perda bem definida:
   $$L_{log-KDE}(\theta) = \mathbb{E}_{x \sim q_\theta} \left[ \log \frac{q_{KDE}[k^\#](x)}{p_{KDE}[k^\#](x)} \right]$$
   Onde $q_{KDE}$ e $p_{KDE}$ são estimativas de densidade por kernel (KDE) usando o kernel sharp.

3. Contribuições Principais

1. Prova de Não-Conservatismo: Demonstração teórica de que os campos de deriva originais (exceto para o kernel Gaussiano) não são gradientes de nenhum potencial escalar devido à normalização dependente da posição.
2. Reformulação Conservativa: Introdução do Kernel Sharp e da Normalização Sharp, que restauram a propriedade conservativa para kernels radiais arbitrários.
3. Objetivo de Treinamento Simplificado: Derivação da Perda Log-KDE, que elimina a necessidade de construir explicitamente um campo de transporte vetorial $V$ e permite o uso de otimizadores padrão de gradiente descendente sem o operador stop-gradient complexo.
4. Análise de Comportamento nas Caudas: Demonstração de que a normalização Sharp melhora o comportamento nas caudas (tails) para kernels como o Laplaciano, evitando que o campo cresça indefinidamente longe dos dados (comportamento observado no campo original).

4. Resultados Experimentais

Os autores realizaram experimentos comparando o objetivo original de deriva (com suas variações) contra a nova perda Log-KDE em tarefas de geração de imagens condicionadas por classe (MNIST e Fashion-MNIST) usando arquiteturas DiT (Diffusion Transformers).

• Desempenho Comparável: A normalização Sharp (Log-KDE) produziu resultados competitivos com o campo de deriva original. Em muitos casos, a implementação "ingênua" do campo de deriva (sem a normalização complexa do artigo original de Deng et al.) superou a implementação original.
• Generalidade Não Necessária: O fato de que o método conservativo (Log-KDE) atinge desempenho semelhante ao método não conservativo sugere que a componente não conservativa do campo de deriva não contribui significativamente para a qualidade da geração.
• Robustez: O kernel Gaussiano continuou a performar melhor que o Laplaciano em todos os cenários.
• Conclusão Empírica: A flexibilidade extra permitida pelo stop-gradient e campos não conservativos traz ganhos práticos mínimos, enquanto a formulação baseada em perda escalar é conceitualmente mais simples e mais fácil de implementar.

5. Significado e Implicações

• Simplificação Teórica e Prática: O trabalho desmistifica o framework de "Drifting", mostrando que ele pode ser reduzido a uma otimização de perda escalar padrão, facilitando a implementação e a análise teórica.
• Validação de Hipóteses: Refuta a ideia de que a generalidade não conservativa é essencial para a alta qualidade de amostragem em modelos de deriva.
• Novas Direções: Abre caminho para o uso de diferentes funções de ligação (link functions) não lineares no potencial escalar para controlar o comportamento nas caudas da distribuição, indo além do logaritmo ou da identidade (MMD).

Em resumo, o artigo conclui que, embora os campos de deriva sejam matematicamente mais gerais do que a minimização de perda escalar, na prática, a formulação conservativa via perda Log-KDE é suficiente e preferível devido à sua simplicidade e desempenho equivalente.