A Few-Step Generative Model on Cumulative Flow Maps

Resumo Técnico: Um Modelo Generativo em Poucos Passos em Mapas de Fluxo Cumulativo

Declaração do Problema
Modelos generativos, incluindo modelos de difusão e correspondência de fluxo, são tipicamente formulados como aprendizado de mapas de fluxo instantâneos (ou dinâmicas instantâneas) que preveem atualizações de estado locais condicionadas ao estado atual $x(t)$. Para gerar dados, esses modelos requerem integração numérica iterativa sobre muitos pequenos passos de tempo para aproximar o mapa de fluxo cumulativo—o transporte de tempo finito que move amostras de uma distribuição fonte simples para uma distribuição de dados complexa. Esse processo de amostragem em múltiplos passos incorre em custos computacionais significativos.

Embora esforços recentes tenham explorado geração em poucos passos e em um único passo, abordagens existentes enfrentam limitações:

1. Métodos baseados em destilação frequentemente exigem pipelines complexos de treinamento professor-aluno.
2. Modelos de consistência e Fluxo Médio (que aprende velocidades médias) são projetados principalmente para formulações específicas (por exemplo, correspondência de fluxo de previsão-$u$) e não se generalizam naturalmente para outros frameworks amplamente utilizados em computação gráfica, como DDIM, EDM ou correspondência de fluxo de previsão-$x_1$.
3. Aprender diretamente mapas cumulativos de longo alcance é desafiador porque os contrapartes condicionais necessários para objetivos de treinamento padrão não existem para campos cumulativos, criando uma barreira fundamental de treinamento.

Metodologia: Mapas de Fluxo Cumulativo (CFM)
Os autores propõem Mapas de Fluxo Cumulativo (CFM), um framework unificado que conecta atualizações instantâneas locais com transporte de tempo finito via uma parametrização explícita de campo cumulativo.

• Abstração Unificada: O método formaliza o mapa de fluxo instantâneo $\psi_{t \to t+h}$ usando uma função abstrata $F[m_t(x), x, t, t+h]$, onde $m_t(x)$ é o campo instantâneo (por exemplo, velocidade). Essa abstração unifica parametrizações diversas (u-FM, x1-FM, DDIM, EDM).
• Parametrização Cumulativa: O CFM estende isso para transporte de longo alcance definindo um mapa de fluxo cumulativo $\psi_{t \to r}$ como o limite da composição de mapas instantâneos. O modelo aprende um campo de parametrização cumulativa $m_{t \to r}(x)$ tal que $\psi_{t \to r}(x) = F[m_{t \to r}(x), x, t, r]$. Isso permite que o modelo avance a amostragem do tempo $t$ para um tempo futuro arbitrário $r$ em um único ou poucos passos.
• Treinamento via Equações de Campo: Um desafio chave é que um campo cumulativo condicional $m_{t \to r}(x | X_1)$ não existe de maneira autoconsistente. Para superar isso, os autores derivam uma reformulação baseada em equações de campo (Teorema 3). Eles expressam o campo cumulativo em termos do campo instantâneo e suas derivadas:
  $$m_{t \to r}(x) = G(t, r)m_t(x) + H(t, r)E[\dots]$$
  Essa formulação permite a construção de uma função de perda substituta (Eq. 7) que utiliza o campo instantâneo condicional $m_t(x | X_1)$ (que é aprendível) para supervisionar o campo cumulativo. A perda inclui termos de derivada ($\partial_t m$ e $\partial_x m$) que são computados via produtos vetor-Jacobiano (JVP) ou aproximações discretas.
• Implementação: A abordagem requer mudanças arquiteturais mínimas. Ela aumenta a incorporação de tempo com um incorporador adicional para o tempo alvo $r$ e usa uma incorporação média $(emb_t + emb_r)/2$. Nenhuma destilação ou aumento de capacidade é necessário.

Contribuições Principais

1. Abstração de Mapa de Fluxo Instantâneo-Cumulativo: O artigo formaliza mapas de fluxo cumulativo como transportes de tempo finito obtidos pela composição de mapas instantâneos, unificando geração em múltiplos passos e em poucos passos sob um único framework matemático.
2. Generalização Além da Previsão-$u$: O CFM generaliza o conceito de Fluxo Médio para uma ampla gama de formulações generativas, incluindo correspondência de fluxo $u$ e $x_1$, EDM e DDIM. Isso habilita geração em poucos passos em configurações onde métodos anteriores (como Fluxo Médio) são inaplicáveis, como modelagem de distribuição geométrica e geração de imagens no espaço de pixels.
3. Treinamento Agnóstico ao Modelo: Ao derivar um objetivo baseado em equações de campo, o método permite o aprendizado de mapas de fluxo cumulativo sem mudanças arquiteturais ou destilação, reduzindo substancialmente os passos de amostragem em modelos existentes.

Resultados Experimentais
Os autores avaliam o CFM em cinco tarefas diversas de gráficos, demonstrando acelerações significativas (10×–200×) enquanto preservam ou melhoram a qualidade de geração:

• Geração de Imagens (CelebA-HQ): Usando CFM-DDIM, o modelo alcança geração em 1 passo e 4 passos com pontuações FID comparáveis a baselines de 128 passos, superando métodos de destilação e treinamento de consistência.
• Modelagem de Distribuição Geométrica: Na tarefa GeoDist, o CFM-EDM alcança acelerações de 6×–10× sem degradação na Distância de Chamfer comparado a baselines de 60 passos. Notavelmente, métodos de previsão-$u$ falham em suportar geração em poucos passos neste domínio, enquanto o CFM-EDM tem sucesso.
• Previsão Conjunta de Posição (PDT): Aplicado ao conjunto de dados RigNet, o CFM-DDIM reduz a inferência de 1000 passos para 5 passos (aceleração de 200×) mantendo a precisão de previsão conjunta (CD-J2J, IoU, Precisão, Revocação) comparável ao PDT original de 1000 passos.
• Geração de Esboços Condicionada por Imagem: No conjunto de dados ControlSketch, o CFM gera esboços vetorizados em 1 ou 4 passos (aceleração de 50×) com fidelidade (MS-SSIM, DreamSim) igual à baseline SwiftSketch de 50 passos.
• Geração de SDF 3D: Para reconstrução condicional esparsa de SDF (64 pontos), o CFM-$x_1$-FM alcança acelerações de 6–16× sobre Difusão Funcional com qualidade de reconstrução comparável.

Significado e Alegações
O artigo alega que o CFM fornece um framework matemático geral particularmente adequado para aplicações de computação gráfica envolvendo diversas representações de dados (imagens, nuvens de pontos, campos implícitos) e formulações generativas. Seu significado principal reside em:

• Desacoplar Eficiência de Arquitetura: Alcança aceleração drástica de inferência (até 200×) apenas modificando o objetivo de treinamento e incorporações de tempo, sem exigir destilação ou reformas arquitetônicas.
• Framework Unificador: Preenche a lacuna entre dinâmicas instantâneas e transporte de longo alcance, oferecendo uma solução principiante para geração em poucos passos em modelos onde abordagens anteriores de "velocidade média" falharam.
• Praticidade: O método é agnóstico ao modelo e pode ser aplicado a modelos pré-treinados de múltiplos passos para acelerá-los, ou usado para treinar novos modelos de poucos passos do zero.

Os autores mantêm que, embora o CFM seja aplicável a uma ampla gama de modelos, sua avaliação atual é limitada a cinco aplicações e quatro formulações representativas, deixando a extensão para conjuntos de dados de maior escala (por exemplo, ImageNet) como trabalho futuro.