Representation Fréchet Loss for Visual Generation

1. Formulação do Problema

A Distância Fréchet Inception (FID) tem sido o padrão de facto para avaliar a qualidade da geração de imagens há quase uma década. No entanto, a comunidade historicamente tratou a FID apenas como uma métrica de avaliação, e não como um objetivo de treinamento.

• A Barreira: Otimizar diretamente a FID como uma função de perda é considerada impraticável, pois requer uma grande população de amostras (por exemplo, 50.000) para estimar com confiabilidade as estatísticas da distribuição (média e covariância). Os lotes de treinamento padrão são pequenos (por exemplo, 1.024), e a retropropagação através de uma população de 50k amostras a cada passo é computacionalmente proibitiva.
• A Consequência: Essa limitação forçou os pesquisadores a dependerem de "descida de gradiente" indireta via perdas ao nível de amostra (como difusão ou flow matching) e a usarem a FID apenas para avaliação post-hoc.
• O Paradoxo da Métrica: Modelos recentes de última geração frequentemente alcançam pontuações FID inferiores às imagens reais de validação (por exemplo, FID < 1,68 no ImageNet), mas a avaliação humana revela que as imagens geradas ainda carecem de qualidade perceptiva e são distinguíveis dos dados reais. Isso sugere que a FID, baseada em um único espaço de características datado (Inception-v3), saturou e falha em capturar a verdadeira fidelidade visual.

2. Metodologia: FD-loss

Os autores propõem a FD-loss, um método para otimizar a Distância Fréchet (FD) diretamente como um objetivo de treinamento, desacoplando o tamanho da população (necessário para estatísticas confiáveis) do tamanho do lote (necessário para o cálculo do gradiente).

Mecanismo Central

Em vez de calcular a FD sobre o mini-lote atual (que é ruidoso) ou sobre todo o conjunto de dados (que é inviável), a FD-loss mantém uma estimativa grande e dinâmica da distribuição de características gerada, retropropagando apenas através do lote atual.

O artigo implementa isso via dois estimadores:

1. Estimador Baseado em Fila: Mantém uma fila online de características de amostras geradas recentemente (por exemplo, $N=50.000$). A FD é calculada sobre a fila inteira, mas durante a retropropagação, os gradientes são computados apenas para as características do lote atual; as características enfileiradas de passos anteriores são desanexadas (tratadas como constantes).
2. Estimador Baseado em EMA: Mantém Médias Móveis Exponenciais (EMA) dos primeiros e segundos momentos (média e covariância) das características. As estatísticas em execução são atualizadas com o lote atual, mas os gradientes fluem apenas através do lote atual. Essa abordagem é mais eficiente em memória e escalável.

Otimização Multi-Representação

Reconhecendo que diferentes espaços de características capturam aspectos distintos da qualidade visual, os autores propõem minimizar uma soma ponderada de FDs através de múltiplos modelos de representação ($\mathcal{L} = \sum w_i \cdot \text{FD}_{\phi_i}$).

• Normalização: Como os valores de FD variam em ordens de grandeza entre diferentes backbones (por exemplo, Inception vs. SigLIP), a perda é normalizada pela FD das imagens reais de validação naquele espaço específico para garantir contribuições em escala unitária.
• Configuração Padrão (FD-SIM): Os autores combinam SigLIP2, Inception-v3 e MAE para criar uma perda robusta e multi-representação.

Nova Métrica de Avaliação: $\text{FDr}_K$

Para abordar a saturação da FID, os autores introduzem o $\text{FDr}_K$ (Razão de Distância Fréchet Normalizada).

• Definição: $\text{FDr}_{\phi_i}(G) = \frac{\text{FD}_{\phi_i}(G, \text{Train})}{\text{FD}_{\phi_i}(\text{Val}, \text{Train})}$.
• Interpretação: Uma pontuação de 1,0 significa que as imagens geradas estão tão próximas da distribuição de treinamento quanto as imagens reais de validação. Uma pontuação >1,0 indica uma lacuna.
• Agregação: O $\text{FDr}_K$ média essas razões sobre $K$ modelos de representação diversos (por exemplo, Inception, ConvNeXt, DINOv2, MAE, SigLIP, CLIP) para fornecer uma visão mais holística da qualidade.

3. Principais Contribuições e Descobertas

A. FD-loss como Objetivo Pós-Treinamento

• Melhoria na Qualidade Visual: O pós-treinamento de geradores existentes com FD-loss melhora consistentemente a qualidade visual em modelos de espaço de pixels (pMF) e espaço latente (iMF).
• FID de Última Geração: Usando características Inception, um gerador de um passo (pMF-H) alcança um FID de 0,72 no ImageNet 256×256, superando a maioria dos sistemas multi-passos anteriores.
• Qualidade Perceptiva: Modelos otimizados com representações modernas (SigLIP, MAE) alcançam pontuações $\text{FDr}_K$ significativamente melhores e melhor estrutura de objetos, mesmo que seu FID Inception seja ligeiramente superior ao de modelos baseados apenas em Inception.

B. Reaproveitamento de Geradores Multi-Passos

• Conversão para Um Passo: A FD-loss pode transformar geradores multi-passos pré-treinados (por exemplo, JiT, que tipicamente requer 50+ passos) em geradores de um passo de alta qualidade (1 NFE) sem destilação de professor, treinamento adversarial ou alvos de regressão por amostra.
• Desempenho: Um modelo JiT multi-passos, quando pós-treinado com FD-loss, cai de ~290 FID (1 passo ingênuo) para 0,77 FID (1 passo), igualando ou superando a qualidade de sua versão multi-passos original.

C. As Limitações da FID

• Classificação Errada: O artigo demonstra que otimizar apenas para o FID Inception pode levar a modelos que pontuam bem no FID, mas possuem baixa qualidade perceptiva (por exemplo, artefatos, cores não naturais).
• A Ilusão do "Resolvido": Embora a FID sugira que a geração no ImageNet está "resolvida" (pontuações < 1,0), o $\text{FDr}_6$ revela que mesmo os melhores modelos permanecem longe das imagens reais de validação (pontuações > 1,0), indicando que lacunas significativas de qualidade ainda persistem.

4. Resultados Experimentais

• ImageNet 256×256:
  • pMF-H (Um Passo): Alcança FID 0,72 e $\text{FDr}_6$ 1,89 (pós-treinado com FD-SIM).
  • JiT-H (Multi-Passos Reaproveitado): Alcança FID 0,75 e $\text{FDr}_6$ 2,65 com apenas 1 NFE.
  • Comparação: Esses resultados superam ou igualam sistemas multi-passos complexos (por exemplo, RAE, SiT, MAR) que requerem 50–250 NFE, sendo 50–250 vezes mais rápidos na inferência.
• Texto-para-Imagem: O método foi aplicado com sucesso ao SD3.5 Medium (2,5B parâmetros), convertendo-o de um processo de remoção de ruído de 56 passos para um gerador de 1 passo, preservando a adesão ao prompt e adotando a estética da distribuição de referência.
• Preferência Humana: Em comparações pareadas, os modelos pós-treinados com FD-loss são preferidos em relação aos seus modelos base. No entanto, eles ainda perdem para as imagens reais de validação, confirmando que o problema de geração ainda não está totalmente resolvido.

5. Significado e Impacto

1. Mudança de Paradigma: O artigo reposiciona fundamentalmente a Distância Fréchet de uma ferramenta de avaliação passiva para um objetivo de treinamento ativo e escalável. Ele prova que distâncias ao nível da distribuição podem ser otimizadas diretamente se o tamanho da população for desacoplado do tamanho do lote de gradiente.
2. Eficiência: Fornece uma receita simples e universal para converter modelos multi-passos poderosos em geradores de um passo eficientes, sem a complexidade de destilação ou treinamento adversarial.
3. Reforma da Avaliação: Ao introduzir o $\text{FDr}_K$ e demonstrar a falha da FID de métrica única, o trabalho incentiva a comunidade a adotar métricas de avaliação multi-representação para alinhar melhor as pontuações automatizadas com a percepção humana.
4. Acessibilidade: O método é agnóstico ao modelo e funciona em espaços de pixels e latentes, diferentes arquiteturas (CNN, ViT) e resoluções, tornando-o uma ferramenta versátil para melhorar modelos generativos.

Em resumo, a FD-loss preenche a lacuna entre avaliação distribucional e treinamento, permitindo a criação de geradores de imagens de um passo de alta fidelidade, enquanto expõe as limitações das métricas de avaliação atuais.