A multifractal-based masked auto-encoder: an application to medical images

Resumen Técnico: Un Autoencoder enmascarado basado en multifactores para imágenes médicas

Enunciado del Problema
Los Autoencoders enmascarados (MAE) tradicionales utilizan una estrategia de enmascaramiento aleatorio durante el preentrenamiento auto-supervisado. Aunque son efectivos en visión por computadora general, este enfoque es subóptimo para la imagenología médica. En contextos médicos, cambios sutiles en regiones específicas a menudo poseen un valor diagnóstico crítico, mientras que el enmascaramiento aleatorio puede pasar por alto estas áreas de alta información o centrarse en ruido de fondo menos relevante. Las mejoras existentes al enmascaramiento de MAE a menudo dependen de redes auxiliares aprendibles o mapas de atención supervisados, lo que puede introducir sobrecarga computacional o requerir procedimientos de entrenamiento externos.

Metodología: MO-MAE
Los autores proponen el Autoencoder enmascarado optimizado multifractal (MO-MAE), un marco que reemplaza el enmascaramiento aleatorio con una medida de complejidad basada en física para guiar la selección de parches. La metodología procede de la siguiente manera:

1. Segmentación en parches: Las imágenes de entrada se dividen en parches rectangulares no superpuestos (por ejemplo, $16 \times 16$).
2. Análisis multifractal (El selector): En lugar de una selección aleatoria, el modelo calcula la entropía de Rényi (una medida multifractal) para cada parche. Esta medida cuantifica la complejidad y el contenido de información del parche a diferentes escalas.
   • Se utiliza el método de la función de partición para estimar la distribución de probabilidad de las intensidades de píxeles dentro de un parche.
   • Se calcula la función de partición del momento $q$, lo que lleva a la estimación del espectro multifractal y la entropía de Rényi asociada ($R_q$).
   • Los parches se ordenan en orden descendente según sus valores de entropía.
3. Estrategia de enmascaramiento: El modelo selecciona los $n_S$ parches superiores (donde $n_S$ está determinado por la relación de enmascaramiento $r$) con la entropía más alta. Estos parches representan regiones de alta complejidad y riqueza de información.
4. Preentrenamiento: Los parches seleccionados de alta entropía se alimentan a un codificador Vision Transformer (ViT). El decodificador intenta reconstruir la imagen original a partir de esta entrada parcial. La función de pérdida mide la discrepancia entre las imágenes original y reconstruida.
5. Ajuste fino: El codificador preentrenado se ajusta finamente luego en datos médicos etiquetados para tareas específicas posteriores (por ejemplo, clasificación de enfermedades).

Contribuciones Clave
El artículo destaca cuatro innovaciones principales:

• Estrategia de enmascaramiento novedosa: El desarrollo de una estrategia de enmascaramiento basada en multifractales que mejora los resultados de clasificación de imágenes médicas en comparación con el enmascaramiento aleatorio estándar.
• Primera integración: Según el conocimiento de los autores, este es el primer trabajo que asocia el análisis multifractal (específicamente la entropía de Rényi) con autoencoders enmascarados.
• Complejidad basada en física: Esta es la primera exploración de una medida de complejidad basada en física para guiar el enmascaramiento de MAE, distinguiéndola de estrategias que dependen de parámetros aprendibles o algoritmos de entrenamiento externos.
• Interpretabilidad y eficiencia: El enfoque ofrece un criterio de enmascaramiento interpretable y añade una sobrecarga computacional mínima, ya que el cálculo de la entropía es directo y no requiere aprender parámetros adicionales durante el preentrenamiento.

Resultados Experimentales
El MO-MAE fue evaluado en dos puntos de referencia principales:

1. MedMNIST-V2: Una colección de imágenes biomédicas 2D que abarca diversas modalidades (patología, rayos X, dermatoscopía, etc.).
   • Rendimiento: MO-MAE demostró un aumento general tanto en la Precisión (ACC) como en el Área bajo la Curva (AUC) en comparación con el MAE original con enmascaramiento aleatorio.
   • Comparación: El modelo logró la AUC/ACC más alta en la mayoría de los conjuntos de datos, superando a modelos de última generación como MedVIT-S y MedVIT-L en varios escenarios, a pesar de que MedVIT es una arquitectura computacionalmente intensiva que combina CNN y Transformers.
   • Sensibilidad a hiperparámetros: Los experimentos indicaron que $q=2$ proporcionó el mejor compromiso entre la fractalidad de corto y largo alcance para la selección de parches.
2. COVID-CT: Un conjunto de datos para predecir casos de COVID-19 a partir de tomografías computarizadas (CT).
   • Rendimiento: MO-MAE logró una Precisión de 0.85 y una Puntuación F1 de 0.85.
   • Comparación: El modelo superó significativamente a otros métodos de la literatura, incluidos DenseNet-169 y ResGANet-101, los cuales poseen un número mucho mayor de parámetros aprendibles.

Significado y Afirmaciones
Los autores afirman que el marco MO-MAE ofrece una dirección prometedora para mejorar la precisión y eficiencia de los modelos de aprendizaje profundo en el análisis de imágenes médicas. Al obligar al modelo a centrarse en reconstruir las regiones más complejas y ricas en información de una imagen, el enfoque mejora la capacidad del modelo para capturar características clínicamente relevantes.

El artículo enfatiza que este paradigma auto-supervisado es particularmente valioso en escenarios médicos donde los datos etiquetados son limitados. Además, los autores sugieren que el método es generalizable, potencialmente aplicable a otros dominios más allá de la medicina y a tareas relacionadas como la segmentación de imágenes, aunque estas aplicaciones se señalan como áreas para investigación futura en lugar de resultados actuales. El estudio concluye que utilizar el análisis multifractal para guiar el enmascaramiento es una estrategia viable y efectiva que evita la necesidad de mecanismos de enmascaramiento aprendibles complejos.