Resumo Técnico: Correspondência de Fluxo Condicionada ao Suporte é Suavização por Kernel

Declaração do Problema

Modelos generativos frequentemente condicionam-se a um pequeno conjunto de exemplos de referência (por exemplo, um rosto específico, estilo artístico ou objeto) por meio de mecanismos de atenção cruzada, como observado em IP-Adapter, Context Diffusion e modelos de difusão de poucos exemplos (few-shot). Embora empiricamente eficazes, a estrutura matemática do campo de velocidade induzido por um conjunto de suporte finito nesses mecanismos de condicionamento permanece pouco compreendida. Especificamente, não está claro o que governa o sucesso ou o fracasso do condicionamento por atenção cruzada e se os modelos aprendidos estão meramente aproximando um estimador não paramétrico conhecido ou descobrindo um superior.

Este artigo aborda o problema da Correspondência de Fluxo em Contexto (ICFM): aprender um campo de velocidade $v_\theta(x, t, S)$ que gera novas amostras a partir de uma distribuição alvo desconhecida $q$, dado um conjunto de suporte finito $S = \{s_i\}_{i=1}^m$, sem atualizações de parâmetros no momento do teste.

Metodologia e Estrutura Teórica

A Identidade de Velocidade de Nadaraya–Watson (NW)

Os autores estabelecem uma conexão teórica entre a Correspondência de Fluxo (FM) sob o caminho de Transporte Ótimo (OT) Gaussiano e a suavização por kernel clássica.

1. Caminho OT como Varredura de Largura de Banda: Sob o caminho condicional OT Gaussiano $X_t = t X_1 + \sigma_t X_0$, os autores mostram que a densidade empírica reescalada $\tilde{p}_t^S$ é uma Estimativa de Densidade por Kernel (KDE) Gaussiana. A largura de banda desta KDE é dependente do tempo: $h(t) = \sigma_t / t$. À medida que o tempo de fluxo $t$ progride de 0 a 1, a largura de banda diminui de $\infty$ para $\sigma_{min}$, transitando de uma média ampla para picos próximos a delta nos pontos de suporte.
2. Campo de Velocidade Exato: Ao aplicar a identidade de Tweedie à decomposição sinal-ruído, os autores derivam que o campo de velocidade empírico exato $u_t^S$ induzido por um conjunto de suporte $S$ é um suavizador de kernel Nadaraya–Watson. Especificamente:
   $$u_t^S(x) = \tilde{x} + \frac{m_{h(t)}(\tilde{x}; S) - \tilde{x}}{\sigma_t}$$
   onde $\tilde{x} = x/t$ e $m_{h(t)}$ é a média local NW calculada com pesos de kernel Gaussiano na largura de banda $h(t)$.
3. Realização por Atenção: O artigo prova (Teorema 3) que uma única cabeça de atenção cruzada com logits de kernel Gaussiano ($\ell_i = -\|\tilde{x} - s_i\|^2 / 2h(t)^2$) seguida por um mapa afim específico calcula este campo de velocidade exato. Isso conecta o mecanismo empírico de atenção cruzada diretamente à teoria clássica de kernels.
4. Decomposição Multi-Cabeça: Para modelos aprendidos com $H$ cabeças, o campo de velocidade é mostrado como um ensemble de $H$ suavizadores NW generalizados, cada um operando em um subespaço de dimensão inferior ($d_k = d_{model}/H$) definido por matrizes de projeção aprendidas.

Principais Contribuições

1. Derivação da Identidade de Velocidade NW: O artigo prova formalmente que o campo de velocidade exato para correspondência de fluxo condicionada ao suporte é um suavizador de kernel Nadaraya–Watson com largura de banda variável no tempo.
2. Implementação Exata por Atenção: Demonstra que uma única cabeça de atenção cruzada com kernel Gaussiano calcula exatamente este campo, fornecendo uma linha de base "congelada, sem parâmetros" para qualquer modelo generativo.
3. Identificação de Três Regimes de Falha: Aproveitando a teoria clássica de kernels, os autores identificam e verificam experimentalmente três modos de falha específicos onde o campo NW de plug-in (exato) degrada:
   • Colapso do Vizinho Mais Próximo: Em altas dimensões, os pesos isotrópicos do kernel Gaussiano colapsam para um único vizinho mais próximo devido à concentração de medida, tornando o campo de velocidade volátil e não informativo.
   • Incompatibilidade de Geometria: Kernels isotrópicos falham em adaptar-se a geometrias de dados anisotrópicas (por exemplo, cascas esféricas), desperdiçando largura de banda em direções não informativas e sub-suavizando as informativas.
   • Escassez de Suporte: Em tamanhos de suporte pequenos ($m$), a estimação não paramétrica sofre de falta de dados. O campo de plug-in não pode explorar a estrutura entre tarefas disponível em uma meta-distribuição.
4. Validação Empírica em Sistemas Práticos: Os autores mostram que os pesos de atenção do IP-Adapter correlacionam-se fortemente com os pesos do kernel NW Gaussiano, sugerindo que o quadro teórico se aplica a sistemas práticos de atenção escalada por produto escalar.

Resultados Experimentais

Experimentos foram conduzidos em misturas Gaussianas, cascas esféricas e características do ImageNet do DINOv2 para verificar as previsões teóricas:

• Colapso de Dimensionalidade: Em misturas Gaussianas, o benefício da cabeça NW exata diminuiu monotonicamente de +28% em $d=2$ para 0% em $d=16$. O tamanho efetivo da amostra ($n_{eff}$) caiu de $\sim9$ para $\sim1$, confirmando o colapso para interpolação de vizinho mais próximo. Modelos aprendidos evitaram isso projetando em subespaços de dimensão inferior.
• Incompatibilidade de Geometria: Em cascas esféricas (onde a variação é puramente radial), o campo de plug-in isotrópico performou 11$\times$ pior que o modelo aprendido, apesar de ter um $n_{eff}$ saudável. O modelo aprendido adaptou sua forma de kernel por meio de projeções aprendidas, enquanto o kernel isotrópico falhou em alinhar-se com a geometria dos dados.
• Escassez de Suporte: Em características do ImageNet, o modelo aprendido superou o campo de plug-in quando o tamanho do suporte $m$ era pequeno (por exemplo, $m=10$), alcançando 24% de MMD$^2$ menor. O plug-in só alcançou o desempenho quando $m$ excedeu $\approx 25$. Isso confirma que modelos aprendidos ganham vantagem ao amortizar sobre uma meta-distribuição quando os dados são escassos.
• Correlação com IP-Adapter: Em testes práticos no IP-Adapter, a correlação entre os pesos de atenção aprendidos e os pesos teóricos NW aumentou monotonicamente durante a remoção de ruído, atingindo $\rho = 0.89$ no último passo de tempo. Isso sugere que sistemas práticos aproximam implicitamente a suavização NW.

Significado e Alegações

O artigo alega que o sucesso do condicionamento por atenção cruzada está fundamentalmente enraizado em sua implementação de suavização por kernel. A "identidade de velocidade NW" fornece uma explicação rigorosa para o motivo pelo qual o condicionamento funciona: atua como um estimador não paramétrico consistente cuja qualidade melhora com o tamanho do suporte.

No entanto, o artigo também esclarece os limites deste mecanismo. O campo NW de plug-in não é universalmente ótimo; falha em altas dimensões, em dados anisotrópicos e com muito poucos exemplos. O significado do trabalho reside em explicar por que o condicionamento aprendido melhora o plug-in:

1. Evita o colapso de dimensionalidade aprendendo projeções adaptativas de dimensão inferior.
2. Corrige incompatibilidades de geometria aprendendo kernels anisotrópicos.
3. Supera a escassez de suporte aproveitando o meta-aprendizado para explorar estrutura compartilhada entre tarefas, uma capacidade que a estimação de kernel de única tarefa carece.

Os autores concluem que, embora o quadro teórico assuma kernels Gaussianos e caminhos OT, a persistência de comportamento semelhante ao NW em sistemas práticos como o IP-Adapter sugere que o quadro de modos de falha é amplamente aplicável à geração condicionada por referência. O trabalho não propõe novas aplicações, mas fornece uma lente teórica para entender mecanismos existentes e diagnosticar seus pontos de falha.