Resumen Técnico: La Lotería del FID: Cuantificando la Aleatoriedad Oculta en la Evaluación de Modelos Generativos

Planteamiento del Problema

La Distancia de Fréchet Inception (FID) sirve como el estándar de facto para evaluar modelos de generación de imágenes. Sin embargo, la comunidad suele reportar un único número FID derivado de un único modelo entrenado utilizando una única semilla de muestreo. Este artículo argumenta que el reporte de un número único oscurece una significativa "brecha de reproducibilidad" causada por la aleatoriedad inherente en los procesos de entrenamiento y generación.

Los autores identifican dos "loterías" distintas que introducen varianza en las puntuaciones FID:

1. La Lotería del Entrenamiento: Ocurre una vez por cada ejecución de entrenamiento, impulsada por la inicialización aleatoria de pesos, el orden de los datos (mezcla de minibatches), el ruido gaussiano inyectado por la pérdida de ajuste de flujo (flow-matching) en cada paso y el no determinismo del hardware (deriva de bits en la ejecución multi-GPU).
2. La Lotería de la Generación: Ocurre durante el muestreo, impulsada por el ruido inicial aleatorio ($x_T \sim \mathcal{N}(0, I)$) extraído para cada imagen generada.

La práctica convencional suele mitigar la lotería de la generación promediando sobre múltiples semillas de muestreo, pero ignora la lotería del entrenamiento. El artículo postula que la varianza introducida al reentrenar un modelo (incluso con la misma receta) es significativamente mayor que la variancia introducida al volver a muestrear desde un modelo fijo, lo que hace que las afirmaciones de FID de una sola semilla sean potencialmente inconclusas.

Metodología

Los autores tratan el FID como una variable aleatoria definida sobre un panel de dos ejes de $N$ semillas de entrenamiento independientes y $K$ semillas de muestreo.

• Configuración Experimental: El estudio utiliza Transformadores de Interpolación Escalable (SiT) entrenados en ImageNet (256×256) con condiciones de clase utilizando ajuste de flujo condicional.
• Escala: Los experimentos cubren cientos de redes SiT en cuatro tamaños de modelo (S, B, L, XL) y presupuestos de entrenamiento de hasta 2 millones de pasos.
• Descomposición de la Varianza: Los autores aíslan sistemáticamente las fuentes de aleatoriedad creando condiciones controladas donde solo varía una fuente a la vez (por ejemplo, variando solo la inicialización, solo el orden de los datos o solo el ruido de entrenamiento por paso) mientras se mantienen las demás constantes.
• Métricas:
  • $\sigma_{within}$: Varianza a través de las semillas de muestreo para un modelo entrenado fijo.
  • $\sigma_{between}$: Varianza entre las medias de diferentes semillas de entrenamiento.
  • Coeficiente de Variación (CoV): $\sigma/\mu$, utilizado para normalizar la varianza a través de diferentes magnitudes de FID (por ejemplo, guiado vs. no guiado).
• Protocolo GS-FID: Los autores introducen un protocolo de "FID de la Sección Áurea" (GS-FID) donde las escalas de Guía de Clasificación Libre (CFG) se ajustan individualmente para cada par (semilla de entrenamiento, semilla de muestreo) utilizando la búsqueda de la sección áurea para minimizar el FID por celda.

Resultados Clave

1. La Variabilidad del Entrenamiento Domina la Variabilidad de la Evaluación

Reentrenar un modelo con una semilla diferente desplaza la puntuación FID 3.2 veces más que volver a dibujar muestras de una red fija.

• En un experimento SiT-B/2, la desviación estándar entre semillas ($\sigma_{between} \approx 0.44$) fue 3.2 veces mayor que la desviación estándar dentro de la semilla ($\sigma_{within} \approx 0.14$).
• El CoV para las semillas de entrenamiento es aproximadamente del 1.3%, mientras que el CoV para las semillas de muestreo es de solo ~0.4%.
• Aumentar el presupuesto de muestreo (más $K$) reduce el jitter dentro de la semilla, pero deja intacto el envolvente dominante entre semillas.

2. Fuentes de Varianza del Entrenamiento

La lotería del entrenamiento es impulsada por tres factores principales, ordenados por contribución a la varianza:

1. Ruido de Entrenamiento por Paso: El nuevo ruido gaussiano inyectado en cada paso de gradiente por la pérdida de ajuste de flujo es el mayor contribuyente (reproduciendo el 77% de la varianza base).
2. Inicialización Aleatoria: Contribuye significativamente (67% de la base).
3. Orden de los Datos: Contribuye lo menos, pero introduce una forma de distribución distinta (un núcleo apretado con una cola larga superior), lo que sugiere ejecuciones "malas" ocasionales en lugar de una varianza continua.

• No Determinismo del Hardware: Se encontró que la deriva de bits en la ejecución multi-GPU era insignificante, contribuyendo menos varianza que la propia lotería de muestreo.

3. El Suelo del CoV de 1–2% es Invariante de la Escala

Aumentar el cómputo (pasos de entrenamiento) o el tamaño del modelo (de S a XL) no elimina la varianza.

• El CoV permanece estable dentro de una banda de 1–2% (mediana de 1.30%) en todos los tamaños de modelo y puntos de control de entrenamiento.
• Los modelos más grandes no producen spreads de FID proporcionalmente más estrechos; el suelo de ruido relativo es una propiedad de la métrica y la función de pérdida, no de la escala.
• La estabilidad de rango (correlación de clasificaciones de semillas a lo largo del tiempo) es débil antes de ~1M de pasos, lo que significa que las clasificaciones de los checkpoints tempranos son malos predictores del rendimiento final.

4. El Impacto de la Guía de Clasificación Libre (CFG)

• GS-FID: Ajustar la CFG individualmente para cada par de semillas (GS-FID) reduce a la mitad el spread relativo (el CoV cae de 1.26% a 0.67%).
• Reordenamiento de Rango: Sin embargo, este ajuste reordena qué semillas funcionan mejor. La correlación de Spearman entre las clasificaciones no guiadas y las guiadas es solo de 0.73. Una semilla seleccionada como "mejor" mediante FID no guiado no es confiablemente la mejor bajo guía optimizada.
• Ventanas de Tasa de Aprendizaje (LR): Bajo GS-FID, la LR óptima no es un punto único, sino una "ventana" plana (aproximadamente 1.7× de ancho) donde las LR adyacentes producen puntuaciones FID indistinguibles.

5. La "Suerte del Sorteo"

La elección de la semilla de entrenamiento impacta significativamente la eficiencia. Una semilla "afortunada" puede alcanzar el mismo objetivo de FID con hasta 2× menos cómputo que una semilla "desafortunada" (por ejemplo, alcanzar un objetivo a 1M de pasos que una semilla desafortunada solo alcanza a 2M). Esto implica que los artículos de una sola semilla que reclaman aceleraciones pueden estar simplemente beneficiándose de una semilla favorable en lugar de mejoras arquitectónicas.

Significancia y Recomendaciones

El artículo concluye que la práctica actual de reportar un único número FID es insuficiente para una evaluación rigurosa. Los autores proponen un nuevo protocolo de evaluación:

1. Reportar Barras de Error: En lugar de un solo número, reportar el FID sobre varias semillas de entrenamiento (por ejemplo, 5–10) para capturar la lotería del entrenamiento.
2. Umbrales Inconclusos: Tratar cualquier brecha de FID por debajo del CoV de ~1.3% medido empíricamente (o ~2% para ser seguros) como inconclusa. Las afirmaciones de mejora deben superar este suelo de ruido para ser consideradas reales.
3. Optimización por Celda: Cuando se utilice CFG, emplear la guía óptima por celda (GS-FID) en lugar de un valor global fijo, reconociendo que esto cambia el ranking de las semillas.
4. Evitar el Cherry-Picking: Reconocer que seleccionar la única mejor semilla de un gran grupo puede fabricar mejoras de titulares que son meros artefactos estadísticos de la lotería de la semilla.

Los autores enfatizan que estos hallazgos son específicos para la combinación SiT/Flow-Matching/ImageNet/Inception-V3, pero sugieren que el "suelo del 1–2%" puede ser una característica general de las métricas de evaluación generativa modernas, instando a la comunidad a adoptar estándares de reporte estadístico más robustos.