Resumo Técnico: Siga a Média: Correspondência de Fluxo Guiada por Referência

Declaração do Problema

Controlar as saídas de modelos generativos pré-treinados (por exemplo, impor atributos, estilos ou estruturas específicos) permanece um desafio significativo. As abordagens existentes geralmente se enquadram em três categorias, cada uma com limitações distintas:

1. Ajuste Fino e Adaptadores: Requerem a modificação dos parâmetros do modelo para cada novo alvo, o que é computacionalmente caro e inflexível para mudanças dinâmicas.
2. Métodos de Guia: Deixam o gerador congelado, mas dependem de classificadores auxiliares, modelos de recompensa ou sinais de recompensa, introduzindo sobrecarga computacional adicional e dependência de redes externas.
3. Métodos Baseados em Busca: Evitam o retreinamento, mas incorrem em altos custos de inferência por meio de amostragem repetida, filtragem ou otimização por prompt.

Nenhuma dessas abordagens evita simultaneamente treinamento adicional, redes auxiliares e busca no momento do teste, mantendo ao mesmo tempo uma geração de alta qualidade. Este artigo propõe uma formulação alternativa: Fluxos Guiados por Referência, que controla a geração adaptando o modelo por meio de exemplos de dados, em vez de atualizações de parâmetros ou sinais de recompensa externos.

Metodologia

A ideia central do artigo é que, na Correspondência de Fluxo (FM), o campo de velocidade $u_t(x)$ é governado exclusivamente pela média condicional do ponto final $\mu_t(x) = \mathbb{E}[x_1 | x_t = x]$. Para um interpolante linear, a velocidade é dada por:
$$u_t(x) = \frac{\mu_t(x) - x}{1 - t}$$
Consequentemente, deslocar a média do ponto final desloca toda a trajetória do fluxo. Os autores propõem que essa média pode ser deslocada condicionando-se a um conjunto de referência $R$ de imagens, orientando efetivamente o modelo em direção à distribuição induzida por $R$ sem alterar os pesos do modelo.

O artigo implementa esse princípio em duas formas:

1. Guia de Média de Referência (RMG)

O RMG é um método livre de treinamento para controlar modelos pré-treinados congelados.

• Mecanismo: Calcula uma correção de forma fechada para o campo de velocidade baseada na diferença entre a média do ponto final do conjunto de referência ($\hat{\mu}^\rho_t$) e a média do ponto final do modelo pré-treinado ($\mu^\theta_t$).
• Fórmula: A velocidade guiada é definida como:
  $$u^\pi_t(x) \approx u^\theta_t(x) + \beta_t \frac{\hat{\mu}^\rho_t(x) - \mu^\theta_t(x)}{1 - t}$$
  onde $\beta_t$ é um cronograma de guia e $\hat{\mu}^\rho_t(x)$ é a média ponderada empírica do conjunto de referência (calculada via softmax sobre as imagens de referência).
• Propriedades: Não requer computação de gradientes, nenhuma rede auxiliar e nenhuma avaliação adicional do modelo além do modelo base. O conjunto de referência pode ser trocado no momento da inferência para alterar cor, identidade, estilo ou estrutura.

2. Guia Semiparamétrica (SPG)

A SPG é uma arquitetura aprendível que amortiza o conceito de guia de média de referência.

• Arquitetura: O modelo $\mu^\theta_t(x_t, R)$ condiciona explicitamente um conjunto de referência $R$ durante o treinamento. Utiliza um mecanismo de atenção cruzada para calcular uma "âncora" $\bar{x}$ (analogamente à média de forma fechada) e um refinador residual aprendido $f^\theta$ para corrigir correlações indesejadas (por exemplo, fundos compartilhados) que a âncora possa inadvertidamente copiar.
• Treinamento: O modelo é treinado com um objetivo de deixar um de fora para evitar que a âncora atenda ao seu próprio ponto final, combinado com uma perda residual para ensinar o refinador a capturar detalhes além da âncora.
• Propriedades: A SPG iguala a qualidade de geração incondicional de modelos padrão (por exemplo, DiT-B/4) enquanto permite controle no momento da inferência por meio da substituição do conjunto de referência.

Principais Contribuições

1. Deslocamento de Média como Guia: Os autores definem o guia como uma interpolação geométrica entre o caminho de probabilidade do conjunto de treinamento e o de um conjunto de referência. Eles provam que o termo de guia resultante depende apenas da diferença entre as médias dos pontos finais das duas distribuições.
2. Guia de Média de Referência (RMG): Um método livre de treinamento que calcula o deslocamento de velocidade de forma fechada usando um banco de referência. Permite o controle de modelos congelados (demonstrado no FLUX.2-klein) sem gradientes, classificadores ou modelos de recompensa.
3. Guia Semiparamétrica (SPG): Uma arquitetura controlável que aprende a aproximar a âncora de média de referência e uma correção residual. Preserva a qualidade de geração incondicional enquanto permite que o conjunto de referência seja trocado no momento da inferência, suprimindo efetivamente correlações indesejadas como fundos compartilhados.

Resultados

O artigo valida a abordagem por meio de análise mecanicista e extensos experimentos:

• Validação Mecanicista: Na distribuição de duas luas e no MNIST, os autores demonstram que alterar a composição do conjunto de referência desloca diretamente o campo de fluxo e o atractor final, isolando o papel causal da média posterior.
• Controle Livre de Treinamento (RMG): Aplicado a um modelo FLUX.2-klein (4B) congelado, o RMG orienta com sucesso a geração para cor (elefantes rosa/azuis), identidade (girafas/zebras), estilo (Van Gogh/esboços) e estrutura (formas de fechadura, poses de mão).
  • BenchMark GenEval: O RMG supera as bases baseadas em busca (Best-of-4, SMC) e baseadas em gradiente (ReNO) em tarefas composicionais de texto para imagem (por exemplo, posição, geração de dois objetos) enquanto usa uma única trajetória de amostragem e nenhum modelo auxiliar. Alcança uma pontuação média de 91,17 comparada aos 80,10 da base, com tempo de inferência significativamente menor e sem chamadas de modelos externos.
• Guia Semiparamétrica (SPG): Treinada no AFHQv2, a SPG iguala a qualidade incondicional de uma base DiT-B/4 (FID 23,26 vs. 23,11).
  • Controle: A troca do conjunto de referência (por exemplo, apenas gatos vs. apenas cães) desloca sistematicamente a distribuição de saída. As proporções de classes geradas acompanham de perto a composição do conjunto de referência.
  • Supressão de Artefatos: Ao contrário do RMG, que pode transferir correlações indesejadas (por exemplo, um fundo branco de todas as imagens de referência), o refinador residual da SPG preserva com sucesso a orientação ao nível do objeto enquanto suprime tais artefatos.

Significado e Afirmações

O artigo argumenta que os modelos generativos podem ser adaptados por meio de dados em vez de atualizações de parâmetros. Ao enquadrar o controle como um problema de deslocamento das médias dos pontos finais, os autores fornecem uma alternativa simples e principial ao ajuste fino, guia auxiliar ou busca.

• Para Modelos Congelados: O RMG demonstra que um modelo pré-treinado pode ser orientado efetivamente alterando o conjunto de referência que ele segue implicitamente, oferecendo um paradigma de "guie com exemplos, não com recompensas".
• Para Modelos Aprendíveis: A SPG mostra que esse mecanismo pode ser amortizado em uma arquitetura aprendível que mantém alta qualidade de geração enquanto permite controle flexível no momento da inferência.
• Direção Mais Ampla: O trabalho sugere um caminho para modelos generativos que se adaptam dinamicamente por meio de referências de dados, reduzindo a necessidade de retreinamento ou engenharia complexa de recompensas para geração controlável.

Os autores reconhecem limitações, observando que o RMG herda a qualidade de seu conjunto de referência (referências ruidosas introduzem artefatos) e que calcular médias sobre grandes conjuntos pode ser custoso, embora a subamostragem ofereça remédios. Eles enfatizam a necessidade de curadoria responsável dos conjuntos de referência para prevenir uso indevido.