Resumen Técnico: Evaluación de la Calidad de la Muestra en la Generación Condicional bajo Desplazamiento Composicional

Declaración del Problema

Los modelos generativos condicionales, particularmente los modelos de difusión, se utilizan cada vez más para simular condiciones que son raras, costosas o no observadas en datos reales (por ejemplo, perturbaciones biológicas específicas o combinaciones de atributos novedosos). Sin embargo, evaluar la calidad de estas generaciones "extrapolativas" presenta una circularidad fundamental: las métricas estándar como la Distancia de Fréchet Inception (FID) o la Distancia de Kernel Inception (KID) requieren una distribución de referencia de muestras reales de la condición objetivo para compararlas. Por definición, esta distribución objetivo no está disponible en el régimen extrapolativo donde el modelo es más útil. En consecuencia, las herramientas de fiabilidad post-hoc existentes miden la realización global (compatibilidad con la distribución de entrenamiento) o la alineación de atributos (acuerdo con un prompt), pero no logran combinar ambas en una puntuación de confianza por muestra, sin referencia, unificada que pueda filtrar o clasificar generaciones cuando la verdad de terreno objetivo falta.

Metodología

Los autores proponen una puntuación de confianza por muestra post-hoc ($T$) que evalúa la calidad de la muestra condicional utilizando únicamente la distribución de entrenamiento real y un extractor de características preentrenado ($\Phi$). La puntuación descompone la calidad en dos cantidades geométricamente estimables:

1. Realismo Global ($R$): Mide la compatibilidad de una muestra generada con la variedad (manifold) de los datos reales. Se computa como una energía de Mahalanobis estandarizada en el espacio de características de $\Phi$, cuantificando qué tan lejos está la muestra de la media empírica de las características de entrenamiento reales.
2. Fidelidad por Atributos ($F$): Mide si una muestra está más cerca de los valores de atributos solicitados que de las alternativas plausibles. En lugar de requerir una muestra real para la condición conjunta específica $a^*$, el método evalúa cada atributo constituyente $k$ de forma independiente. Computa un margen entre la distancia al prototipo del atributo solicitado y la distancia mínima a los prototipos de atributos competidores. Esto depende de una condición de cobertura de referencia: el soporte observado en el entrenamiento debe contener suficiente variación para aislar los efectos de los atributos (por ejemplo, una condición de referencia donde todos los demás atributos permanecen fijos mientras uno varía).

La puntuación de confianza final es la suma: $T = R + F$. Puntuaciones más bajas indican una mayor confianza.

Variantes de Implementación

• Puntuación Post-generación: La imagen se decodifica completamente, se pasa por $\Phi$ y se puntúa.
• Puntuación Durante la generación: Para permitir el rechazo temprano, los autores entrenan un traductor ligero (un MLP poco profundo) para mapear las representaciones intermedias de denoise del modelo de difusión directamente al espacio de características compatible con $\Phi$. Esto permite que la puntuación de confianza se evalúe antes de la decodificación completa, permitiendo el rechazo de muestras de baja calidad temprano en la trayectoria de generación.

Contribuciones Clave

1. Puntuación de Confianza Sin Referencia: El artículo redefine la evaluación de la calidad por muestra como un problema resoluble sin observar la condición conjunta objetivo. Introduce una puntuación computable a partir de un generador preentrenado, un codificador y estadísticas del conjunto de entrenamiento, descomponiéndola en realismo global y fidelidad por atributos.
2. Identificabilidad a Nivel de Atributo: Los autores demuestran teóricamente que, si bien la fidelidad condicional completa a una distribución objetivo ausente es inidentificable sin supuestos, las puntuaciones de comparación de nivel de atributo significativas sí son identificables bajo una condición de cobertura de referencia moderada. Esto formaliza el límite entre lo que puede certificarse y lo que permanece fundamentalmente inidentificable.
3. Mecanismo de Abstención Temprana: Al alinear las representaciones internas del modelo de difusión con el espacio del extractor de características mediante un traductor, el método permite la evaluación de la calidad y el rechazo de muestras durante el proceso de denoise, evitando el costo computacional de la decodificación completa y la re-codificación de candidatos de baja confianza.
4. Validación Empírica: La puntuación se valida en imágenes biológicas (RxRx1) y en benchmarks de visión controlados (CelebA), mostrando que puede filtrar, clasificar y curar datos sintéticos bajo desplazamiento de soporte.

Resultados Experimentales

El método fue evaluado en:

• RxRx1: Un conjunto de datos de imágenes de microscopía fluorescente con tipos de células y perturbaciones de siRNA.
• CelebA: Un banco de pruebas composicional con atributos faciales binarios.

Hallazgos Clave:

• Filtrado y Clasificación: Bajo desplazamiento de soporte (condiciones conjuntas no vistas), la puntuación de confianza seleccionó consistentemente muestras con $\Delta$KID significativamente menores (mejoras de 39–44% en CelebA y 39–42% en RxRx1) en comparación con los baselines aleatorios. La puntuación también proporcionó una fuerte correlación de Spearman ($\rho \approx 0.9$) entre la media de confianza y $\Delta$KID, permitiendo una clasificación efectiva por nivel de condición.
• Utilidad de la Aplicación Posterior (Downstream): En RxRx1, las muestras seleccionadas por la puntuación de confianza mejoraron el rendimiento de la clasificación posterior (identificación de tipo celular y perturbación) cuando se utilizaron como datos de entrenamiento.
• Validez Biológica: En RxRx1, las muestras seleccionadas por confianza estaban más cerca de los centroides morfológicos reales en el espacio de características de CellProfiler, preservando mejor las estructuras biológicamente significativas (textura, forma, granularidad) que las generaciones sin filtrar.
• Eficiencia Durante la Generación: La puntuación basada en el traductor logró un rendimiento de filtrado comparable a la puntuación post-generación en CelebA (por ejemplo, +31% de mejora en $\Delta$KID) mientras ahorraba un número significativo de cómputos al rechazar muestras temprano en la trayectoria de denoise (por ejemplo, ahorrando ~67% de pasos en $k=83$).
• Ablación: Los autores demostraron que los métodos de alineación estándar (como la alineación de coseno de REPA) fallaron en preservar la geometría de covarianza necesaria para la puntuación de confianza en RxRx1, mientras que su traductor de geometría blanqueada tuvo éxito.

Significado y Reivindicaciones

El artículo afirma abordar una brecha crítica en el despliegue de modelos generativos condicionales para entornos científicos y exploratorios donde los datos objetivo no están disponibles. Al proporcionar una estimación de fiabilidad por muestra y sin referencia, el método permite a los investigadores:

• Filtrar datos sintéticos no fiables antes de que contaminen los análisis posteriores.
• Clasificar condiciones generadas por dificultad o probabilidad de éxito, priorizando experimentos de laboratorio (wet-lab).
• Abstenerse de generar muestras de baja calidad tempranamente, reduciendo el desperdicio computacional.

Los autores enfatizan que su enfoque no mejora el modelo generativo en sí, sino que proporciona una herramienta de diagnóstico necesaria para la confianza. Señalan que el método depende de la suposición de cobertura de referencia; si los atributos están perfectamente confundidos en los datos de entrenamiento (por ejemplo, aparecen solo en combinaciones fijas), la fidelidad a nivel de atributo no puede ser desentrelazada. El trabajo es de alcance modesto, centrándose en atributos discretos y demostrando que, si bien la fidelidad condicional completa es inidentificable, una descomposición en realismo y fidelidad por atributos produce una métrica práctica y calibrada para la generalización composicional.