A Pragmatic Note on Evaluating Generative Models with Fréchet Inception Distance for Retinal Image Synthesis

Este artículo examina las limitaciones de la Distancia Fréchet Inception (FID) como métrica de evaluación para la síntesis de imágenes retinianas, demostrando que no se alinea con los objetivos de tareas específicas como la clasificación y la segmentación, y aboga por evaluar los modelos generativos mediante su integración en el entrenamiento de tareas posteriores.

Lo esencial

Imagina que eres un chef que quiere entrenar a un nuevo ayudante de cocina (una Inteligencia Artificial) para que reconozca y corte verduras perfectas. El problema es que no tienes suficientes verduras reales en tu cocina para practicar.

Entonces, decides usar una "máquina de magia" (un modelo generativo) para crear verduras falsas pero que se vean increíbles. Tu objetivo es mezclar estas verduras falsas con las reales para que tu ayudante aprenda más rápido.

Aquí es donde entra el conflicto de este artículo, escrito por un equipo de científicos alemanes:

1. El "Ojo Crítico" vs. La "Prueba Real"

Para saber si tu máquina de magia funciona bien, los científicos suelen usar una regla llamada FID (Fréchet Inception Distance).

• La analogía del FID: Imagina que tienes un crítico de arte muy estricto que solo mira las fotos de tus verduras. Si la foto de la zanahoria falsa se parece demasiado a una zanahoria real en la foto, el crítico dice: "¡Excelente! Puntuación 10/10".
• El problema: Este crítico solo mira la belleza de la foto. No sabe si la zanahoria falsa es útil para cocinar. Podría ser una zanahoria que se ve perfecta en la foto, pero que en la realidad es de plástico y tu ayudante de cocina no aprendería a cortarla correctamente.

2. Lo que descubrieron los autores

Los autores de este estudio probaron esta "máquina de magia" creando imágenes de ojos (fondo de ojo y tomografía óptica) para ayudar a diagnosticar enfermedades.

Lo que descubrieron fue sorprendente y un poco decepcionante:

• La paradoja: A veces, la máquina generaba imágenes que el "crítico de arte" (el FID) calificaba como perfectas (muy parecidas a la realidad), pero cuando usaban esas imágenes para entrenar al ayudante de cocina, el ayudante aprendía peor.
• La inversión: En otros casos, las imágenes que el crítico calificaba como "mediocres" o "raras", resultaban ser las más útiles para entrenar al ayudante.

Básicamente, el FID y sus variantes son como un juez que evalúa la portada de un libro, pero no lee el contenido. Una portada hermosa no garantiza que el libro (los datos) sea bueno para aprender.

3. ¿Por qué pasa esto?

El FID mide la similitud estadística en un espacio matemático abstracto. Es como decir: "Estas dos nubes de puntos se parecen mucho". Pero en medicina, lo que importa no es que la imagen se vea bonita, sino que tenga la información correcta para que la IA aprenda a detectar una enfermedad.

Las imágenes sintéticas pueden ser visualmente perfectas, pero si no capturan los detalles "difíciles" o raros de las enfermedades reales, la IA no aprenderá a diagnosticarlas.

4. La lección principal (El mensaje para todos)

El estudio nos da un consejo muy práctico:

No te fíes de la "puntuación de belleza" (FID) para elegir tus datos de entrenamiento.

Si quieres saber si tus imágenes generadas por IA son buenas para medicina (o cualquier tarea útil), no mires qué tan bien se parecen a las reales en una foto. Ponlas a prueba en la vida real.

• La analogía final: No elijas un coche de carreras solo porque brille bajo la luz del sol (el FID). Llévalo a la pista y mira si gana la carrera (el rendimiento en la tarea real).

En resumen

Los científicos nos dicen que, en el mundo de la IA médica, dejar de obsesionarse con métricas que miden solo la "realidad visual" y empezar a medir qué tan bien funciona la IA después de entrenarse con esos datos es la única forma de avanzar de verdad. La utilidad práctica es el único juez que importa.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español:

Título: Una nota pragmática sobre la evaluación de modelos generativos con la Distancia Fréchet Inception (FID) para la síntesis de imágenes retinianas

1. Planteamiento del Problema

El uso de modelos generativos (como GANs y modelos de difusión) en el ámbito biomédico tiene como objetivo principal enriquecer conjuntos de datos de entrenamiento, a menudo escasos o desequilibrados, para mejorar tareas downstream como la clasificación y la segmentación. Sin embargo, la evaluación de la calidad de estas imágenes sintéticas se basa predominantemente en métricas de distancia de características, siendo la Distancia Fréchet Inception (FID) el estándar de facto.

La premisa de este trabajo es que existe una desalineación crítica entre estas métricas de evaluación (que miden la similitud perceptual o estadística en un espacio de características preentrenado, usualmente en ImageNet) y la utilidad real de los datos sintéticos para tareas específicas del dominio biomédico. Los autores cuestionan si una baja puntuación FID garantiza que las imágenes generadas sean efectivas para entrenar modelos de clasificación de glaucoma o segmentación de capas retinianas.

2. Metodología

Los autores diseñaron un estudio exhaustivo para investigar esta desalineación en dos modalidades de imagen retiniana:

• Modelos Generativos Evaluados:
  • StyleGAN3: Un GAN avanzado. Se seleccionaron 10 checkpoints (SG-1 a SG-10) basados en la puntuación FID de validación (de mejor a peor).
  • Medfusion y DDPM: Modelos basados en difusión. Se generaron 7 variantes de cada uno (MF-1 a MF-7 y DM-1 a DM-7) variando el número de pasos de muestreo ($t$) para controlar la calidad de síntesis sin reentrenar el modelo.
• Datos y Tareas Downstream:
  • Fondo de Ojo (Fundus): Dataset AIROGS (~101k imágenes). Tarea: Clasificación binaria de glaucoma referable (RG) vs. no referable (NRG). Se utilizaron arquitecturas ResNet-50 y Swin Transformer Tiny.
  • Tomografía de Coherencia Óptica (OCT): Dataset del desafío MICCAI GOALS (50 imágenes de entrenamiento, 50 de prueba). Tarea: Segmentación de tres capas retinianas (RNFL, GCIPL, CL). Se utilizaron U2-Net y TransUNet.
• Métricas de Evaluación Generativa:
  Se calcularon 7 métricas diferentes para comparar la distribución de datos sintéticos vs. reales:
  • Distancias: FID (Inception-v3), Clean-FID, CLIP-FD, RETFound-FD (usando un modelo específico de retina), KID (Kernel Inception Distance), CMMD (CLIP-MMD) y FLD (Feature Likelihood Divergence).
  • Análisis de Características: Se analizó la esparsidad (norma L0 aproximada) y la entropía de los vectores de características extraídos por diferentes backbones (Inception-v3, CLIP, DINOv2, RETFound).
• Análisis Estadístico:
  Se calculó el coeficiente de correlación de rango de Kendall ($\tau$) para determinar la consistencia entre las métricas generativas y el rendimiento en las tareas downstream (medido por F1-score y Dice score).

3. Contribuciones Clave

1. Evidencia de Desalineación: Demostración empírica de que las métricas basadas en distancia de características (FID y sus variantes) no predicen el rendimiento de los modelos generativos en tareas downstream reales (clasificación y segmentación) en imágenes médicas.
2. Redundancia de Métricas: Se encontró una alta correlación interna ($\tau > 0.7$ en la mayoría de los pares) entre las diferentes métricas de distancia (FID, KID, CMMD, etc.), lo que sugiere que las variantes propuestas ofrecen poca mejora práctica sobre el FID clásico, ya que todas fallan de manera similar al evaluar la utilidad para tareas específicas.
3. Ineficacia de Extractores Específicos del Dominio: El uso de un extractor de características específico para retina (RETFound) no mejoró la correlación con el rendimiento downstream en comparación con modelos generales como Inception-v3 o CLIP.
4. Correlaciones Invertidas o Insignificantes: En varios casos, especialmente con modelos de difusión y StyleGAN3, las métricas mostraron correlaciones negativas o estadísticamente no significativas con el rendimiento real. Es decir, un modelo con "mejor" FID a veces resultó en un peor rendimiento de clasificación/segmentación.

4. Resultados Principales

• Fundus (Clasificación): Para los modelos StyleGAN3, las métricas predijeron el rendimiento en la dirección opuesta al real (correlación negativa significativa, $p < 0.01$). Para los modelos de difusión (Medfusion), no se observó correlación significativa.
• OCT (Segmentación): Todas las métricas evaluadas mostraron correlaciones no significativas ($p \ge 0.05$) con los puntajes Dice de las tareas de segmentación.
• Análisis de Características: Se observó que diferentes extractores producen representaciones con propiedades estadísticas distintas (esparsidad y entropía), pero esto no se tradujo en una mejor alineación con la utilidad práctica de los datos.
• Gráficos de Rendimiento: Las curvas que muestran el rendimiento downstream (F1/Dice) frente al inverso del FID ($1/FID$) no presentan tendencias paralelas, confirmando visualmente la falta de relación.

5. Significado y Conclusión

El artículo concluye que la evaluación basada en tareas downstream debe ser el criterio principal para evaluar modelos generativos destinados al enriquecimiento de datos biomédicos.

• Advertencia Práctica: Confiar ciegamente en el FID o sus variantes para seleccionar modelos generativos en investigación biomédica puede llevar a elegir modelos que generan imágenes visualmente plausibles pero que degradan o no mejoran el rendimiento de los modelos de diagnóstico.
• Recomendación: Los investigadores deben priorizar la validación pragmática (entrenar y probar modelos de clasificación/segmentación con los datos sintéticos) en lugar de depender únicamente de métricas de distancia de características.
• Futuro: Se sugiere la necesidad de desarrollar estrategias de evaluación que integren la utilidad de la tarea de manera eficiente computacionalmente (por ejemplo, mediante optimización bayesiana o modelos sustitutos), en lugar de buscar nuevas métricas de distancia que simplemente repliquen las limitaciones del FID.

En resumen, el trabajo actúa como una advertencia crítica para la comunidad de visión por computadora médica: la similitud perceptual no equivale a utilidad clínica o de entrenamiento.