Resumen Técnico: Repensando el FID a través de la Geometría del Conjunto de Referencia

Enunciado del Problema

La Distancia Fréchet Inception (FID) es el estándar de facto para evaluar modelos generativos de imágenes, operando bajo la suposición de que una puntuación más baja indica una mayor calidad de las muestras. Sin embargo, evidencia reciente sugiere que esta suposición es poco fiable. Estudios han demostrado que las mejoras en la calidad perceptual (por ejemplo, imágenes más nítidas mediante un aumento del cómputo) pueden conducir a puntuaciones FID peores, y, por el contrario, distorsiones de imagen más fuertes pueden producir puntuaciones FID mejores. Mientras que trabajos anteriores han atribuido estas inconsistencias a la fragilidad del extractor de características Inception-v3 o a las limitaciones de la distancia Fréchet en sí misma, este artículo argumenta que un aspecto fundamental permanece poco explorado: la geometría del conjunto de datos de referencia.

Dado que el FID mide la distancia entre una distribución generada y una distribución de referencia de imágenes reales elegida, su comportamiento depende inherentemente de las propiedades estructurales de dicho conjunto de referencia. El artículo postula que la discrepancia entre las tendencias del FID y la calidad real de las muestras surge porque diferentes conjuntos de datos ocupan regiones distintas del espacio de características, sin embargo, las prácticas de evaluación rara vez justifican o tienen en cuenta estas diferencias geométricas.

Metodología

Caracterización Geométrica de los Conjuntos de Datos

Los autores caracterizan seis conjuntos de datos de referencia (FFHQ, CelebA-HQ, MJHQ-30K, ImageNet, Flickr30K y COCO) utilizando dos descriptores escalares calculados dentro del espacio de características utilizado por la métrica (Inception-v3):

1. Densidad Distribucional ($\langle -\log d_k \rangle$): Una medida de qué tan estrechamente se concentra la distribución de referencia alrededor de sus puntos. Se calcula como la media del logaritmo negativo de la distancia euclidiana al $k$-ésimo vecino más cercano ($k=80$). Valores altos indican datos concentrados y agrupados (por ejemplo, conjuntos de datos de rostros), mientras que valores bajos indican datos dispersos.
2. Rango Efectivo ($erank(A)$): Una medida del número de direcciones lineales que abarca la distribución de características. Se deriva de la entropía de Shannon de los valores singulares de la matriz de características centrada. Valores altos indican un soporte amplio y heterogéneo (por ejemplo, conjuntos de datos de dominio abierto), mientras que valores bajos indican un colapso hacia menos dimensiones.

Diseño Experimental

El estudio emplea un montaje empírico controlado utilizando Stable Diffusion 1.5 con una semilla aleatoria fija por prompt.

• Variable Independiente: La calidad de la muestra se manipula variando el número de pasos de eliminación de ruido ($N$) y utilizando ImageReward como proxy de la calidad perceptual.
• Variable Dependiente: Se calculan las puntuaciones FID para las muestras generadas frente a cada uno de los seis conjuntos de datos de referencia.
• Análisis Estadístico: Los autores utilizan modelos lineales jerárquicos para probar dos hipótesis:
  • Prueba Omnibus: Si la pendiente de la relación entre la calidad de la muestra y el FID varía significativamente entre los conjuntos de datos.
  • Prueba de Moderación: Si los descriptores geométricos (densidad y rango efectivo) explican significativamente la varianza en estas pendientes.
• Estudios de Ablación: El análisis se repite utilizando espacios de características alternativos (DINOv2) y métricas de distancia alternativas (Kernel MMD/KID) para asegurar que los hallazgos no sean específicos de Inception-v3 o de la distancia Fréchet.
• Descomposición: El FID se descompone en Precisión (fidelidad) y Exhaustividad/Recall (diversidad/cobertura) para diagnosticar qué componente impulsa las tendencias observadas.

Resultados Clave

1. Tendencias del FID Dependientes del Conjunto de Datos

La relación entre la calidad de la muestra y el FID no es uniforme; se invierte según la geometría del conjunto de datos de referencia:

• Conjuntos de Datos Concentrados (FFHQ, CelebA-HQ): A medida que mejora la calidad de la muestra (más pasos de eliminación de ruido, mayor ImageReward), el FID disminuye (mejora). La pendiente es negativa.
• Conjuntos de Datos Dispersos (ImageNet, Flickr30K, COCO): A medida que mejora la calidad de la muestra, el FID aumenta (empeora). La pendiente es positiva.
• MJHQ-30K: Exhibe una tendencia intermedia entre los dos regímenes.

2. Moderación Geométrica

El análisis estadístico confirma que la geometría del conjunto de datos modera significativamente la relación calidad-FID:

• Densidad Distribucional: Explica el 70.7% de la varianza entre conjuntos de datos en las pendientes. Los conjuntos de datos más densos se correlacionan con pendientes más negativas (el FID mejora con la calidad).
• Rango Efectivo: Explica el 66.1% de la varianza. Un rango efectivo más alto se correlaciona con pendientes positivas (el FID empeora con la calidad).

3. Atribución de Precisión vs. Exhaustividad

La descomposición revela que la correlación entre el FID y sus componentes cambia con la geometría del conjunto de datos:

• Conjuntos de Datos Concentrados: El FID está fuertemente correlacionado con la Precisión ($R^2 \approx 0.95$ para CelebA-HQ).
• Conjuntos de Datos Dispersos: El FID está fuertemente correlacionado con la Exhaustividad/Recall ($R^2 \approx 0.85$ para COCO).
  Esto sugiere que, para conjuntos de datos dispersos, el FID recompensa más la cobertura de la distribución real (Recall) que la fidelidad de las muestras individuales (Precisión). En consecuencia, si aumentar la calidad de la muestra reduce la diversidad (Recall), el FID puede empeorar incluso si las imágenes se ven mejor.

4. Robustez

Los efectos observados persisten al reemplazar Inception-v3 con DINOv2 y la distancia Fréchet con Kernel MMD (KID). De hecho, los descriptores geométricos explican aún más varianza con características DINOv2, lo que indica que el fenómeno no es un artefacto de las limitaciones de Inception-v3.

Contribuciones y Significado

El artículo hace tres contribuciones principales:

1. Evidencia Empírica: Proporciona un estudio controlado que demuestra que la geometría del conjunto de datos de referencia (cuantificada por densidad y rango efectivo) modera significativamente el comportamiento del FID.
2. Generalizabilidad: Muestra, mediante ablaciones, que esta dependencia no es específica de las características de Inception-v3 o del estimador Fréchet, sino que es una propiedad fundamental de las métricas distribucionales.
3. Guía Práctica: Los autores argumentan que las métricas distribucionales no pueden interpretarse de forma aislada. Recomiendan:
   • Utilizar conjuntos de datos concentrados (como FFHQ) cuando el FID es el criterio de evaluación principal, ya que el FID se alinea mejor con la precisión en estos entornos.
   • Reportar el FID junto con descriptores geométricos (densidad y rango efectivo) para conjuntos de datos de dominio abierto o dispersos, a fin de proporcionar contexto para el comportamiento de la métrica.

Conclusión

El artículo concluye que la "fragilidad" del FID no es únicamente un defecto en el cálculo de la métrica, sino una consecuencia de la interacción entre la distribución generada y la geometría específica del conjunto de datos de referencia. Para una evaluación fiable, los investigadores deben comprender y reportar las propiedades geométricas del conjunto de datos de referencia, ya que estas propiedades determinan si el FID reflejará fielmente las mejoras en la calidad de las muestras o las ocultará.