Fair Benchmarking of Emerging One-Step Generative Models Against Multistep Diffusion and Flow Models

1. O Problema

O avanço recente em modelos de geração de imagem (baseados em difusão e fluxo) resultou em amostras de alta qualidade, mas a inferência permanece computacionalmente cara, exigindo dezenas de passos sequenciais (ODE ou denoising) para gerar uma única imagem. Para contornar isso, surgiram modelos nativos de um único passo (one-step), que mapeiam ruído diretamente para a imagem em uma única avaliação.

No entanto, comparar esses novos modelos de um passo com sistemas estabelecidos de múltiplos passos é extremamente difícil devido a três fatores principais:

1. Configurações de Inferência Desalinhadas: Estudos usam diferentes números de passos e configurações de Classifier-Free Guidance (CFG), onde o CFG pode deslocar métricas como FID, Inception Score e alinhamento CLIP em direções opostas.
2. Condicionamento Heterogêneo: Modelos de um passo (como MeanFlow) são frequentemente treinados com condicionamento por ID de classe (ImageNet), enquanto os sistemas de ponta (como Stable Diffusion 3.5 e FLUX.1) são treinados com condicionamento por texto.
3. Dependência Excessiva do FID: A avaliação do campo foca desproporcionalmente no Fréchet Inception Distance (FID). O artigo demonstra que otimizar apenas o FID pode levar a escolhas de hiperparâmetros que degradam a qualidade percebida, o alinhamento texto-imagem e a preferência humana.

2. Metodologia

Os autores realizaram um benchmark controlado e rigoroso para avaliar oito modelos sob protocolos de inferência consistentes.

• Modelos Avaliados:
  • Modelos Nativos de Um Passo: MeanFlow, Improved MeanFlow (iMF), SoFlow.
  • Baselines de Fluxo/Difusão (Múltiplos Passos): SiT, RAE, Scale-RAE.
  • Sistemas de Ponta (Texto-para-Imagem): Stable Diffusion 3.5 Large, FLUX.1.
• Protocolo de Inferência:
  • Comparação entre 1 passo e 25 passos (para avaliar a escalabilidade dos modelos de um passo e a degradação dos modelos de múltiplos passos em orçamentos reduzidos).
  • Variação de CFG (Guia Livre de Classificador): Comparação entre um valor fixo padrão (CFG=7) e as configurações nativas reportadas por cada modelo.
  • Condicionamento Padronizado: Para permitir a comparação justa, os modelos baseados em texto (SD3.5, Flux) foram condicionados com prompts de classe ("uma foto de {nome da classe}"), alinhando-se aos modelos treinados no ImageNet.
• Conjuntos de Dados:
  • ImageNet Validation: Distribuição original.
  • ImageNetV2: Conjunto de teste para verificar overfitting (mesmo espaço de rótulos).
  • reLAIONet (Novo): Um novo conjunto de dados out-of-distribution (OOD) criado pelos autores. É derivado do LAION-400M, mapeado para IDs de classes do ImageNet, mas passa por uma revisão manual (proofreading) rigorosa para remover amostras mal rotuladas ou ambíguas. Isso permite testar a generalização mantendo o condicionamento por ID de classe.
• Métricas de Avaliação:
  • FID (Qualidade da distribuição), Inception Score (Diversidade), CLIP Score (Alinhamento texto-imagem) e Pick Score (Preferência humana).
  • Nova Métrica Proposta: MMHM (MinMax Harmonic Mean). Uma média harmônica das quatro métricas normalizadas, projetada para estabilizar a seleção de hiperparâmetros e evitar a otimização excessiva de uma única métrica.

3. Principais Contribuições

1. Benchmark Controlado: A primeira comparação justa entre modelos de fluxo de um passo e sistemas de difusão/fluxo de múltiplos passos, padronizando o condicionamento (classe vs. texto) e os parâmetros de inferência (passos e CFG).
2. Introdução do reLAIONet: Um conjunto de dados de avaliação OOD mais robusto e diversificado que o ImageNetV2, mas compatível com condicionamento por ID de classe, essencial para validar a generalização de modelos treinados no ImageNet.
3. Métrica MMHM: Proposta de uma métrica composta que equilibra qualidade, diversidade, alinhamento e preferência humana. O estudo mostra que o MMHM é um proxy mais confiável para a qualidade perceptual do que o FID isolado.
4. Análise de Trade-offs: Demonstração de que a otimização do FID em regimes de poucos passos frequentemente sacrifica o alinhamento e a preferência humana, levando a imagens com FID baixo, mas com distorções visíveis.

4. Resultados Chave

• O FID Engana: Configurações que minimizam o FID (especialmente com CFG baixo em modelos de um passo) frequentemente resultam em imagens com menor qualidade perceptual, menos alinhamento com o prompt e menor preferência humana.
• Escalabilidade dos Modelos de Um Passo: Modelos nativos de um passo (como iMF e MeanFlow) beneficiam-se significativamente da escala de passos. Ao serem iterados para 25 passos, eles se tornam quantitativamente competitivos com os sistemas de ponta (SD3.5, Flux) em termos de métricas compostas (MMHM).
• Limitações Qualitativas: Apesar da competitividade quantitativa em 25 passos, os modelos de um passo ainda exibem distorções locais características (especialmente em rostos e estruturas finas) que não são capturadas pelo FID, ficando atrás dos modelos de múltiplos passos em fidelidade visual.
• Estabilidade do MMHM: A métrica MMHM seleciona configurações de CFG e passos que são consistentes em todos os conjuntos de dados (ImageNet, ImageNetV2 e reLAIONet), enquanto o FID é altamente sensível a mudanças de distribuição e configurações de inferência.
• Desempenho em OOD: As tendências observadas no ImageNet se mantiveram no reLAIONet, confirmando que a otimização baseada apenas em FID é uma estratégia frágil para generalização.

5. Significado e Conclusão

O trabalho destaca que a comunidade de geração de imagem precisa abandonar a dependência exclusiva do FID para avaliar modelos, especialmente na era dos modelos de um passo.

• Para Pesquisa: A otimização de hiperparâmetros deve considerar múltiplas métricas (como proposto pelo MMHM) para evitar a seleção de modelos que parecem bons estatisticamente, mas falham na percepção humana.
• Para o Futuro: Embora os modelos de um passo sejam promissores e possam atingir o estado da arte quantitativamente sob protocolos controlados, ainda existe uma lacuna qualitativa significativa (distorções locais). O próximo passo crítico é desenvolver objetivos de otimização e métricas que rastreiem melhor a qualidade percebida pelo ser humano, além de testar se essas melhorias se traduzem para a geração condicionada por texto em larga escala.

Em resumo, o artigo fornece as ferramentas metodológicas e empíricas para uma avaliação justa, revelando que a "corrida" por modelos de um passo é viável, mas exige uma mudança fundamental em como medimos o sucesso desses sistemas.