Resumo Técnico: Repensando o FID Através da Geometria do Conjunto de Dados de Referência

Declaração do Problema

A Distância Fréchet Inception (FID) é o padrão de facto para avaliar modelos generativos de imagens, operando sob a suposição de que uma pontuação mais baixa indica maior qualidade da amostra. No entanto, evidências recentes sugerem que essa suposição é pouco confiável. Estudos demonstraram que melhorias na qualidade perceptiva (por exemplo, imagens mais nítidas por meio de aumento de computação) podem levar a pontuações de FID piores e, inversamente, distorções de imagem mais fortes podem produzir pontuações de FID melhores. Embora trabalhos anteriores tenham atribuído essas inconsistências à fragilidade do extrator de características Inception-v3 ou a limitações da própria distância Fréchet, este artigo argumenta que um aspecto fundamental permanece pouco explorado: a geometria do conjunto de dados de referência.

Como o FID mede a distância entre uma distribuição gerada e uma distribuição de referência de imagens reais escolhida, seu comportamento é inerentemente dependente das propriedades estruturais desse conjunto de referência. O artigo postula que a divergência entre as tendências do FID e a qualidade real da amostra surge porque diferentes conjuntos de dados ocupam regiões distintas do espaço de características, contudo, as práticas de benchmarking raramente justificam ou levam em conta essas diferenças geométricas.

Metodologia

Caracterização Geométrica dos Conjuntos de Dados

Os autores caracterizam seis conjuntos de dados de referência (FFHQ, CelebA-HQ, MJHQ-30K, ImageNet, Flickr30K e COCO) usando dois descritores escalares calculados no espaço de características utilizado pela métrica (Inception-v3):

1. Densidade Distribucional ($\langle -\log d_k \rangle$): Uma medida de quão rigidamente a distribuição de referência se concentra em torno de seus pontos. É calculada como a média do logaritmo negativo da distância euclidiana até o $k$-ésimo vizinho mais próximo ($k=80$). Valores altos indicam dados concentrados e agrupados (por exemplo, conjuntos de dados de rostos), enquanto valores baixos indicam dados dispersos.
2. Rank Efetivo ($erank(A)$): Uma medida do número de direções lineares que a distribuição de características abrange. É derivada da entropia de Shannon dos valores singulares da matriz de características centralizada. Valores altos indicam um suporte amplo e heterogêneo (por exemplo, conjuntos de dados de domínio aberto), enquanto valores baixos indicam um colapso em menos dimensões.

Desenho Experimental

O estudo emprega uma configuração empírica controlada usando o Stable Diffusion 1.5 com uma semente aleatória fixa por prompt.

• Variável Independente: A qualidade da amostra é manipulada variando o número de etapas de remoção de ruído ($N$) e utilizando o ImageReward como proxy para a qualidade perceptiva.
• Variável Dependente: Pontuações de FID são calculadas para as amostras geradas contra cada um dos seis conjuntos de dados de referência.
• Análise Estatística: Os autores utilizam modelos lineares hierárquicos para testar duas hipóteses:
  • Teste Omnibus: Se a inclinação da relação entre qualidade da amostra e FID varia significativamente entre os conjuntos de dados.
  • Teste de Moderação: Se os descritores geométricos (densidade e rank efetivo) explicam significativamente a variância nessas inclinações.
• Estudos de Ablação: A análise é repetida usando espaços de características alternativos (DINOv2) e métricas de distância alternativas (Kernel MMD/KID) para garantir que as descobertas não sejam específicas do Inception-v3 ou da distância Fréchet.
• Decomposição: O FID é decomposto em Precisão (fidelidade) e Revocação (diversidade/cobertura) para diagnosticar qual componente impulsiona as tendências observadas.

Principais Resultados

1. Tendências de FID Dependentes do Conjunto de Dados

A relação entre qualidade da amostra e FID não é uniforme; ela se inverte com base na geometria do conjunto de dados de referência:

• Conjuntos de Dados Concentrados (FFHQ, CelebA-HQ): À medida que a qualidade da amostra melhora (mais etapas de remoção de ruído, ImageReward mais alto), o FID diminui (melhora). A inclinação é negativa.
• Conjuntos de Dados Dispersos (ImageNet, Flickr30K, COCO): À medida que a qualidade da amostra melhora, o FID aumenta (piora). A inclinação é positiva.
• MJHQ-30K: Apresenta uma tendência intermediária entre os dois regimes.

2. Moderação Geométrica

A análise estatística confirma que a geometria do conjunto de dados modera significativamente a relação qualidade-FID:

• Densidade Distribucional: Explica 70,7% da variância entre conjuntos de dados nas inclinações. Conjuntos de dados mais densos correlacionam-se com inclinações mais negativas (o FID melhora com a qualidade).
• Rank Efetivo: Explica 66,1% da variância. Um rank efetivo mais alto correlaciona-se com inclinações positivas (o FID piora com a qualidade).

3. Atribuição Precisão vs. Revocação

A decomposição revela que a correlação entre o FID e seus componentes muda com a geometria do conjunto de dados:

• Conjuntos de Dados Concentrados: O FID está fortemente correlacionado com a Precisão ($R^2 \approx 0,95$ para CelebA-HQ).
• Conjuntos de Dados Dispersos: O FID está fortemente correlacionado com a Revocação ($R^2 \approx 0,85$ para COCO).
  Isso sugere que, para conjuntos de dados dispersos, o FID recompensa mais a cobertura da distribuição real (Revocação) do que a fidelidade de amostras individuais (Precisão). Consequentemente, se o aumento da qualidade da amostra reduzir a diversidade (Revocação), o FID pode piorar, mesmo que as imagens pareçam melhores.

4. Robustez

Os efeitos observados persistem ao substituir o Inception-v3 pelo DINOv2 e a distância Fréchet pelo Kernel MMD (KID). De fato, os descritores geométricos explicam ainda mais variância com características DINOv2, indicando que o fenômeno não é um artefato das limitações do Inception-v3.

Contribuições e Significado

O artigo faz três contribuições principais:

1. Evidência Empírica: Fornece um estudo controlado demonstrando que a geometria do conjunto de dados de referência (quantificada por densidade e rank efetivo) modera significativamente o comportamento do FID.
2. Generalizabilidade: Mostra, por meio de ablações, que essa dependência não é específica das características do Inception-v3 ou do estimador Fréchet, mas é uma propriedade fundamental das métricas distribucionais.
3. Orientação Prática: Os autores argumentam que métricas distribucionais não podem ser interpretadas isoladamente. Eles recomendam:
   • Usar conjuntos de dados concentrados (como FFHQ) quando o FID é o critério de avaliação primário, pois o FID alinha-se melhor com a precisão nessas configurações.
   • Reportar o FID junto com descritores geométricos (densidade e rank efetivo) para conjuntos de dados de domínio aberto ou dispersos, a fim de fornecer contexto para o comportamento da métrica.

Conclusão

O artigo conclui que a "fragilidade" do FID não é apenas uma falha no cálculo da métrica, mas uma consequência da interação entre a distribuição gerada e a geometria específica do conjunto de dados de referência. Para benchmarking confiável, os pesquisadores devem entender e relatar as propriedades geométricas do conjunto de dados de referência, pois essas propriedades determinam se o FID refletirá fielmente as melhorias na qualidade da amostra ou as obscurecerá.