Resumo Técnico: Modelagem Generativa via Drifting (Desvio)

Declaração do Problema

A modelagem generativa é fundamentalmente a tarefa de aprender um mapeamento $f$ tal que o pushforward de uma distribuição a priori $p_{prior}$ (ex: ruído Gaussiano) corresponda à distribuição de dados $p_{data}$, denotado como $f\#p_{prior} \approx p_{data}$. Embora os paradigmas predominantes, como Modelos de Difusão e Flow Matching, alcancem isso refinando iterativamente as amostras durante o tempo de inferência (decompondo o complexo mapeamento de pushforward em uma cadeia de transformações viáveis), essa abordagem exige múltiplas avaliações da rede neural (NFE) por amostra, levando a altos custos computacionais.

Tentativas existentes de criar geradores de um passo dependem frequentemente de destilar modelos pré-treinados de múltiplos passos ou de aproximar as trajetórias de equações diferenciais estocásticas (SDEs) ou ordinárias (ODEs) durante o treinamento. Os autores propõem um novo paradigma que desloca fundamentalmente o processo iterativo do tempo de inferência para o tempo de treinamento, permitindo a geração de alta qualidade com uma única avaliação de função neural (1-NFE) sem depender de formulações de SDE/ODE.

Metodologia: Modelos de Drifting (Desvio)

A contribuição central é o Modelo de Drifting, que formula a modelagem generativa como a evolução da distribuição de pushforward durante o próprio processo de treinamento.

1. Evolução no Tempo de Treinamento

Em vez de visualizar o treinamento meramente como a atualização de pesos para minimizar uma perda estática, os autores veem a sequência de modelos $\{f_i\}$ produzida pela otimização iterativa (ex: SGD) como uma sequência de distribuições de pushforward $\{q_i\}$. Em cada iteração, uma amostra $x_i = f_i(\epsilon)$ é implicitamente "desviada" para $x_{i+1} = f_{i+1}(\epsilon)$ devido às atualizações de parâmetros. O objetivo é definir um mecanismo onde esse desvio guie naturalmente a distribuição $q$ em direção a $p_{data}$.

2. O Campo de Drifting (Campo de Desvio)

Para governar essa evolução, os autores introduzem um campo de drifting $V_{p,q}(x)$, uma função que calcula um vetor de deslocamento $\Delta x$ para uma amostra $x$ com base na distribuição gerada atual $q$ e na distribuição de dados alvo $p$.

• Condição de Equilíbrio: O campo é projetado de modo que $V_{p,q}(x) = 0$ se, e somente se, $p = q$. Quando as distribuições coincidem, as amostras param de derivar, atingindo um equilíbrio.
• Antissimetria: O campo satisfaz $V_{p,q}(x) = -V_{q,p}(x)$. Esta propriedade garante que, se as distribuições forem trocadas, a direção do desvio se inverte, garantindo que $V=0$ quando $p=q$.

3. Instanciação via Atração e Repulsão

O campo de drifting específico usado no artigo é inspirado no algoritmo de mean-shift e é construído usando amostras positivas de $p$ e amostras negativas de $q$:
$$V_{p,q}(x) = V^+_p(x) - V^-_q(x)$$
Onde:

• $V^+_p(x)$ é uma força atrativa que puxa $x$ em direção à distribuição de dados $p$.
• $V^-_q(x)$ é uma força repulsiva que empurra $x$ para longe da distribuição gerada $q$.
• Essas forças são computadas usando uma função de kernel $k(x, y)$ (especificamente um kernel exponencial baseado em distância $\ell_2$) e normalizadas via operações softmax para garantir estabilidade.

4. Objetivo de Treinamento

O objetivo de treinamento é derivado da relação de ponto fixo no equilíbrio: $f(\epsilon) = f(\epsilon) + V_{p,q}(f(\epsilon))$. A função de perda minimiza a distância entre a previsão atual e um "alvo congelado" (a previsão mais o desvio):
$$L = \mathbb{E}_{\epsilon} \left[ \| f_\theta(\epsilon) - \text{stopgrad}(f_\theta(\epsilon) + V_{p,q}(f_\theta(\epsilon))) \|^2 \right]$$
Esta formulação permite que o otimizador evolua a distribuição movendo as amostras em direção às suas versões desviadas. Crucialmente, o gradiente não retropropaga através da própria distribuição $q$, evitando as complexidades de diferenciar através de distribuições.

5. Espaço de Características e Orientação (Guidance)

• Espaço de Características: Para lidar com dados de alta dimensão, a perda de drifting é computada em um espaço de características usando um codificador autossupervisionado pré-treinado (ex: encoder estilo ResNet-MAE). Isso garante que amostras semanticamente similares permaneçam próximas, fornecendo sinais de gradiente mais ricos.
• Classifer-Free Guidance (CFG): O método suporta naturalmente o CFG ao misturar amostras de dados incondicionais na distribuição de amostras negativas durante o treinamento, permitindo a geração controlável na inferência sem retreinamento.

Principais Contribuições

1. Novo Paradigma: Introduz os "Modelos de Drifting", um framework onde a distribuição de pushforward evolui durante o tempo de treinamento, eliminando a necessidade de inferência iterativa.
2. Campo de Drifting: Propõe um mecanismo de perda inovador baseado em um campo de drifting que alcança o equilíbrio quando as distribuições gerada e de dados coincidem, governado pela atração aos dados e repulsão da geração atual.
3. Geração de Um Passo de Estado da Arte: Demonstra que uma rede de passagem única pode alcançar desempenho competitivo com, ou superior a, modelos de difusão e baseados em fluxo de múltiplos passos.
4. Robustez ao Colapso de Modo (Mode Collapse): Experimentos em modelos simples sugerem que o método é robusto ao colapso de modo; se a distribuição gerada colapsar para um modo, a atração de outros modos na distribuição de dados continua a impulsionar o desvio, forçando a distribuição a evoluir.

Resultados Experimentais

Os autores avaliam os Modelos de Drifting no ImageNet 256×256 tanto em espaços latentes quanto em espaços de pixels.

• Espaço Latente: Usando um tokenizador SD-VAE padrão, o modelo atinge um 1-NFE FID de 1.54 (com um modelo L/2 maior). Isso supera todos os métodos anteriores de um passo (ex: iMeanFlow, AdvFlow) e é competitivo com modelos de difusão de múltiplos passos (ex: SiT-XL/2 com 250 passos atinge 2.06 FID).
• Espaço de Pixels: Sem um tokenizador latente, o modelo atinge um 1-NFE FID de 1.61, superando substancialmente os métodos anteriores de um passo em espaço de pixels (ex: StyleGAN-XL com 2.30 FID) e competindo com modelos de múltiplos passos em espaço de pixels.
• Controle Robótico: No cenário de Diffusion Policy, o Modelo de Drifting de um passo iguala ou excede o desempenho de políticas de difusão de múltiplos passos (100 NFE) em várias tarefas de manipulação robótica.

Significância e Alegações

O artigo afirma abrir novas oportunidades para a modelagem generativa de alta qualidade e eficiente. Ao reestruturar o treinamento de redes neurais iterativo como um mecanismo de evolução de distribuição, o trabalho desafia a necessidade de formulações SDE/ODE para tarefas generativas.

Os autores enfatizam que seu método:

• Admite naturalmente a inferência de um passo (1-NFE), reduzindo significativamente o custo computacional no deploy.
• Não depende de destilação de modelos de múltiplos passos pré-treinados, treinando do zero.
• Oferece uma alternativa conceitualmente distinta à difusão e ao flow matching, focando na regra de atualização ($x_{i+1} = x_i + \Delta x_i$) durante o treinamento, em vez de na inferência.

Os autores permanecem modestos quanto a garantias teóricas, observando que, embora $p=q \implies V=0$ seja provado, o inverso ($V \to 0 \implies p \to q$) ocorre empiricamente e sob suposições específicas de não-degenerescência, mas não é garantido para campos vetoriais arbitrários. Eles veem seu trabalho como um ponto de partida para explorar outras realizações de mecanismos de evolução de distribuição.