The Learnability Gap in Medical Latent Diffusion

Resumen Técnico: La Brecha de Aprendizabilidad en Difusión Latente Médica

Enunciado del Problema
La augmentación de datos generativa mediante Modelos de Difusión Latente (LDMs) se propone como solución para el desequilibrio de clases en imágenes médicas, particularmente para distribuciones de cola larga donde condiciones raras pero críticas están subrepresentadas. Sin embargo, los enfoques actuales priorizan la fidelidad perceptual (p. ej., puntuaciones FID) y el ajuste fino de autoencoders específicos del dominio, operando bajo la suposición de que el espacio latente actúa como un intermediario neutral. Este trabajo identifica un cuello de botella fundamental: aunque los autoencoders preentrenados a gran escala codifican fielmente características discriminativas (evidenciado por reconstrucciones casi sin pérdida), sus representaciones latentes están estructuradas de formas difíciles de aprender para clasificadores aguas abajo. Esta discrepancia, denominada brecha de aprendizaje, sugiere que los datos sintéticos generados a partir de estos latentes pueden carecer de los marcadores patológicos específicos requeridos para una clasificación efectiva, particularmente para las clases de cola.

Metodología
Los autores realizan un estudio sistemático en cinco familias de autoencoders (Stable Diffusion 1.4, Flux.1 dev, Flux.2 dev, MedVAE y MedVAE ajustado fino) y cuatro benchmarks médicos (MIMIC-CXR, ISIC 2019, CT-RATE y Cardium). Para aislar la causa de la degradación del rendimiento, definen tres espacios de evaluación:

1. Espacio de Imagen: Clasificadores entrenados con imágenes originales.
2. Espacio de Reconstrucción: Clasificadores entrenados con imágenes decodificadas ($\tilde{x}_{img} = G(E(x_{img}))$).
3. Espacio Latente: Clasificadores entrenados directamente con códigos latentes ($x = E(x_{img})$).

Si los clasificadores en espacio latente rinden menos que los clasificadores en espacio de reconstrucción (que igualan el rendimiento del espacio de imagen), el déficit se atribuye a la estructura del espacio latente en lugar de a la pérdida de información.

Para sondear y mitigar parcialmente esta brecha, los autores desarrollan clasificadores latentes condicionados por ruido. Estos modelos:

• Utilizan una arquitectura ConvNeXt-Tiny que opera directamente sobre tensores latentes.
• Incorporan capas FiLM (Modulación Lineal a Nivel de Características) para condicionar las predicciones a los niveles de ruido ($\sigma$), forzando a la red a aprender características robustas e invariantes al ruido.
• Emplean destilación en espacio de imagen, donde un maestro fuerte en espacio de imagen (entrenado con reconstrucciones) guía al estudiante latente mediante coincidencia de logits suaves combinada con supervisión de verdad fundamental.

Resultados Clave

1. Existencia de la Brecha: En todos los 20 pares autoencoder-conjunto de datos, los clasificadores en espacio latente sufren una caída sustancial de rendimiento en comparación con los clasificadores en espacio de reconstrucción. En ISIC-2019, la brecha de precisión equilibrada (bACC) supera los 18 puntos porcentuales para cada autoencoder. Una prueba de rangos con signo de Wilcoxon confirma que se trata de un fenómeno sistemático ($p = 9.5 \times 10^{-7}$).
2. Fidelidad vs. Aprendizabilidad: Una alta fidelidad de reconstrucción (medida por PSNR/SSIM) no predice la aprendibilidad en espacio latente. Por ejemplo, Flux.2 logra el PSNR más alto pero exhibe una de las brechas más grandes, mientras que MedVAE muestra menor fidelidad pero una brecha comparable. Esto descarta la pérdida de información como causa principal.
3. Ineficacia del Ajuste Fino: El ajuste fino específico del dominio del autoencoder mejora significativamente la calidad de reconstrucción (p. ej., aumento de PSNR de 29.9 a 38.9 dB) pero no logra cerrar la brecha de aprendizaje. En algunos casos, amplía la brecha, confirmando que el problema es estructural y no un desajuste de dominio.
4. Mitigación Parcial: Los clasificadores latentes condicionados por ruido propuestos con destilación reducen parcialmente la brecha y mejoran la robustez (p. ej., aumentando el AUC medio de 0.727 a 0.754), aunque persiste una brecha residual de 4–11 puntos de bACC.
5. Ganancias de Eficiencia: A pesar de la brecha, los clasificadores latentes ofrecen ventajas prácticas significativas. Operar en el dominio comprimido produce un rendimiento 64× mayor y una reducción de memoria de 120× en comparación con los modelos en espacio de imagen, haciéndolos viables para filtrado de calidad en tiempo real en pipelines generativos.

Significado y Afirmaciones
El artículo afirma proporcionar el primer diagnóstico sistemático de la brecha de aprendizaje en espacios latentes médicos. Su contribución principal es desplazar el foco de la optimización en la IA generativa médica:

• Identificación del Cuello de Botella: El obstáculo principal para cerrar la brecha de rendimiento entre datos médicos reales y sintéticos es la estructura del espacio latente, no la fidelidad de reconstrucción ni la especificidad del dominio.
• Redirección Estratégica: Los esfuerzos para mejorar los datos médicos sintéticos deben priorizar la reestructuración del espacio latente (p. ej., mediante objetivos condicionados a la clase o alineación con codificadores discriminativos) en lugar del costoso ajuste fino de autoencoders.
• Herramientas Prácticas: Los clasificadores latentes condicionados por ruido desarrollados sirven un doble propósito: como herramientas de diagnóstico para evaluar la calidad del espacio latente y como componentes eficientes para el muestreo de rechazo y el filtrado de calidad en pipelines generativos.

Los autores concluyen que, aunque han diagnosticado la brecha y proporcionado herramientas para sortearla, el problema fundamental de reestructurar los espacios latentes para que sean inherentemente aprendibles para tareas médicas aguas abajo sigue siendo un desafío abierto.