A Calibrated Memorization Index (MI) for Detecting Training Data Leakage in Generative MRI Models

A continuación presento un resumen técnico detallado del artículo "A CALIBRATED MEMORIZATION INDEX (MI) FOR DETECTING TRAINING DATA LEAKAGE IN GENERATIVE MRI MODELS" en español.

1. El Problema: Fugas de Datos y Privacidad en Modelos Generativos Médicos

Los modelos de aprendizaje profundo para la generación de imágenes sintéticas se utilizan cada vez más en medicina para abordar la escasez de datos, el desequilibrio de clases y la privacidad del paciente. Sin embargo, estos modelos presentan un comportamiento problemático: la memorización de datos de entrenamiento (fuga de datos). En aplicaciones médicas, esto es crítico porque el modelo podría reproducir imágenes de pacientes reales, comprometiendo su privacidad.

El desafío principal radica en la validación de la seguridad de estos modelos:

• Falta de métricas adecuadas: Las métricas de calidad de imagen sin referencia (NRIQMs) tradicionales, como FID y MMD, son contraproducentes para detectar fugas. Cuando ejemplos duplicados contaminan el conjunto de prueba, la distribución empírica se acerca a la de entrenamiento, haciendo que estas puntuaciones de "calidad" mejoren artificialmente, ocultando el problema.
• Limitaciones de las métricas existentes: Métricas diseñadas para detección de duplicados (como CT-score, AuthPct o Vendi score) suelen basarse en características extraídas de modelos entrenados en imágenes naturales (ej. InceptionV3). Estas características no se transfieren bien a imágenes médicas, que tienen una alta regularidad anatómica y diversidad de apariencia limitada. Además, las métricas existentes son sensibles a perturbaciones simples (ruido, rotaciones) y carecen de una escala calibrada y consistente entre diferentes conjuntos de datos.

2. Metodología: El Índice de Memorización Calibrado (MI)

Los autores proponen una nueva métrica, el Índice de Memorización (MI) y el Índice de Sobreajuste/Novedad (ONI), diseñada específicamente para conjuntos de datos de Resonancia Magnética (MRI). El pipeline metodológico consta de cuatro etapas principales:

1. Extracción de Características Multi-escala:

   • Se utiliza un modelo fundacional específico para MRI (MRI-CORE, basado en un codificador ViT-B de SAM) preentrenado en diversos conjuntos de datos de MRI.
   • En lugar de usar una sola capa, se extraen características de múltiples bloques del transformador ($k \in \{3, 7, 11\}$) para capturar desde patrones de textura de bajo nivel hasta estructuras anatómicas de alto nivel.
   • Las salidas espaciales se agrupan mediante pooling promedio adaptativo para obtener vectores de características por muestra.

2. Blanqueamiento y Similitud por Capa:

   • Para hacer comparables las similitudes entre capas, se aplica un blanqueamiento ZCA (estimatado sobre las características de entrenamiento por capa). Esto descorrelaciona las características manteniendo el espacio original, a diferencia de PCA.
   • Para cada muestra de prueba, se calcula la similitud coseno máxima con cualquier muestra de entrenamiento en cada capa.

3. Agregación Multi-escala:

   • Las similitudes de cada capa se agregan en una puntuación única a nivel de muestra utilizando una media geométrica.
   • Esta estrategia actúa como un "producto de expertos": una muestra se considera altamente similar solo si es cercana en todas las escalas (temprana, media y tardía). Esto suprime valores atípicos de una sola capa y penaliza casos donde alguna escala no encuentra un vecino cercano.

4. Calibración y Definición de Índices:

   • Se construye una distribución nula empírica mediante bootstrapping del conjunto de entrenamiento (muestreo aleatorio de subconjuntos independientes) para establecer umbrales de significancia.
   • Se calcula el MI estandarizando la similitud observada respecto a la media y desviación estándar de la distribución nula.
   • Finalmente, se mapea a un ONI acotado mediante una función tanh:
     • ONI $\approx$ -1: Alta similitud (posible memorización/copia exacta).
     • ONI $\approx$ 0: Similitud consistente con la distribución nula (muestras no relacionadas).
     • ONI $\approx$ +1: Novedad (muestra única).

3. Contribuciones Clave

• Métrica Específica para Dominio Médico: Uso de características extraídas de un modelo fundacional de MRI en lugar de modelos genéricos de imágenes naturales.
• Calibración y Consistencia: La métrica ofrece un rango de valores calibrado y consistente a través de diferentes conjuntos de datos, permitiendo el establecimiento de umbrales universales (algo que métricas como CT-score no logran debido a sus escalas variables).
• Detección a Nivel de Muestra: A diferencia de muchas métricas que solo evalúan la distribución global, el MI/ONI proporciona puntuaciones por muestra, permitiendo identificar y eliminar imágenes duplicadas específicas.
• Robustez a Aumentaciones: El método es robusto frente a perturbaciones comunes como ruido gaussiano, cambios de intensidad y pequeñas rotaciones.

4. Resultados Experimentales

Los autores evaluaron su método en tres conjuntos de datos públicos de MRI (cerebro, rodilla y columna vertebral) introduciendo duplicados controlados (5% a 45%) y aplicando 8 tipos de aumentaciones.

• Robustez a Aumentaciones: El MI fue 6 a 20 veces más estable que el CT-score ante diferentes aumentaciones. Mientras el CT-score mostraba una gran dispersión (desviación estándar alta) al aumentar el ruido o rotaciones, el MI mantuvo una respuesta casi lineal y estable.
• Consistencia Transversal (Cross-Dataset): El coeficiente de variación (CV) del MI entre diferentes conjuntos de datos fue 5.5 veces menor que el del CT-score. Esto confirma que el MI no depende del conjunto de datos específico, facilitando la interpretación universal.
• Detección de Duplicados (Nivel de Muestra):
  • Para muestras limpias, con ruido y escalado de intensidad, la detección fue perfecta (AUC $\approx$ 1.0).
  • Bajo transformaciones geométricas (rotaciones de $\pm 3^\circ$ y $\pm 5^\circ$, volteos), la detección se mantuvo efectiva (AUC > 0.72), superando a otras métricas que fallaban o eran demasiado sensibles.
• Comportamiento de Métricas de Fidelidad: Se confirmó que métricas como FID y MMD disminuyen (mejoran) a medida que aumenta la duplicación, lo cual es engañoso si se usan como única medida de calidad.

5. Significado e Impacto

Este trabajo transforma la evaluación de la memorización de un diagnóstico pasivo a una herramienta práctica de curación de datos.

1. Seguridad del Paciente: Permite detectar y eliminar imágenes memorizadas antes de que un modelo generativo se despliegue, mitigando riesgos de privacidad.
2. Complemento a Métricas de Calidad: Al demostrar que las métricas de fidelidad (FID) pueden ser engañosas en presencia de fugas, el MI actúa como un contrapeso necesario para una evaluación integral.
3. Escalabilidad: La capacidad de establecer umbrales universales (ej. ONI < 0.68 indica riesgo) simplifica la implementación en diversos contextos médicos sin necesidad de recalibrar para cada nuevo conjunto de datos.
4. Generalización: Aunque probado en MRI, la metodología es aplicable a otras modalidades de imagen médica siempre que se utilice un espacio de características específico del dominio.

En conclusión, el Índice de Memorización (MI) y el Índice de Sobreajuste/Novedad (ONI) representan un avance significativo en la garantía de seguridad y ética de los modelos generativos en el ámbito de la inteligencia artificial médica.