Entropy-Guided Self-Supervised Learning for Medical Image Classification

Resumen Técnico: Aprendizaje Auto-supervisado Guiado por Entropía para la Clasificación de Imágenes Médicas

Enunciado del Problema
La clasificación precisa de imágenes médicas es crítica para el diagnóstico temprano de enfermedades y la planificación del tratamiento. Sin embargo, los modelos de aprendizaje profundo a menudo luchan en este dominio debido a datos anotados limitados, alta variabilidad intra-clase, diferencias inter-clase sutiles y la presencia de ruido y artefactos. Si bien las Redes Neuronales Convolucionales (CNN) sobresalen en la extracción de características, los modelos entrenados desde cero o ajustados finamente únicamente en ImageNet a menudo fallan al capturar matices específicos del dominio. Por el contrario, los Transformadores de Visión (ViT) requieren conjuntos de datos masivos y recursos computacionales elevados, que a menudo no están disponibles para la imagenología médica. El artículo aborda la necesidad de un marco robusto que aproveche tanto características generalizables como representaciones específicas del dominio para superar la escasez de datos y mejorar el rendimiento de clasificación.

Metodología
Los autores proponen un marco de aprendizaje profundo sinérgico que integra aprendizaje por transferencia, aprendizaje auto-supervisado (SSL) y aprendizaje por conjuntos. La arquitectura utiliza dos vías paralelas, ambas empleando una columna vertebral ConvNeXt-Tiny:

1. Vía Pre-entrenada en ImageNet: Un modelo ConvNeXt-Tiny inicializado con pesos pre-entrenados en el conjunto de datos a gran escala ImageNet. Esto sirve como línea base para proporcionar extractores de características fuertes y generalizables.
2. Vía Pre-entrenada con MAE Guiado por Entropía: Un segundo modelo ConvNeXt-Tiny se somete a un pre-entrenamiento auto-supervisado en el conjunto de datos médico objetivo utilizando un novedoso Autoencoder enmascarado (MAE) Guiado por Entropía.
   • Mecanismo: Inspirado en la "fuerza de difusión", este enfoque calcula una puntuación de entropía para cada parche de imagen basándose en la frecuencia de los valores de color. Luego, se aplica ruido gaussiano a cada parche de forma independiente, con la varianza ($\sigma^2$) controlada por la entropía de Shannon del parche.
   • Objetivo: Esto transforma el proceso de enmascaramiento en una transformación continua, enfocando la tarea de reconstrucción en regiones con mayor contenido de información o incertidumbre. El modelo minimiza el Error Cuadrático Medio (MSE) entre los parches enmascarados originales y reconstruidos.
3. Ajuste Fino: Ambos modelos se ajustan posteriormente en conjuntos de datos de imágenes médicas etiquetados utilizando la pérdida de Entropía Cruzada.
4. Estrategia de Conjuntos: La decisión final de clasificación se toma promediando las probabilidades predichas por los dos modelos ajustados finamente. Este enfoque de conjunto busca aprovechar las fortalezas complementarias de las características generales (ImageNet) y las características específicas del dominio (MAE Guiado por Entropía).

Contribuciones Clave

• MAE Guiado por Entropía: La introducción de una estrategia de pre-entrenamiento que utiliza puntuaciones de entropía para guiar el proceso de enmascaramiento e inyección de ruido, priorizando regiones informativas durante el aprendizaje auto-supervisado en imágenes médicas.
• Marco Sinérgico: Una arquitectura novedosa que combina aprendizaje por transferencia de ImageNet, SSL guiado por entropía y aprendizaje por conjuntos para mejorar la robustez y la precisión en la clasificación de imágenes médicas.
• Validación Exhaustiva: Experimentos completos realizados en cuatro conjuntos de datos diversos: Imágenes de Ultrasonido de Mama (BUSI), Colaboración Internacional de Imagenología de la Piel (ISIC) 2018, Kvasir (endoscopia) y un conjunto de datos de radiografías de tórax de COVID-19.
• Análisis de Ablación: Un estudio detallado que evalúa el impacto de las épocas de pre-entrenamiento y las configuraciones de ajuste fino en el rendimiento del modelo.

Resultados Experimentales
El marco se evaluó utilizando Precisión, Precisión, Recall, Puntuación F1 y Área Bajo la Curva (AUC). La configuración óptima identificada fue 1.000 épocas de pre-entrenamiento MAE seguidas de 15 épocas de ajuste fino.

• Rendimiento: El modelo de conjunto superó consistentemente a los modelos individuales (solo ImageNet y solo MAE) y a los métodos de última generación (SOTA), incluyendo SWIN, CMT, SMT y el Transformador de Visión Central-Periférico (CPVT).
• Métricas Específicas:
  • BUSI: Logró una precisión del 97,44% y un AUC del 99,74%, superando significativamente a CPVT (81,95% de precisión).
  • ISIC 2018: Logró una precisión del 91,18% y un AUC del 98,32%, superando a CPVT (87,98% de precisión).
  • Kvasir: Logró una precisión del 94,30% y un AUC del 99,66%.
  • COVID: Logró una precisión del 97,82% y un AUC del 99,88%.
• Observaciones: Los resultados sugieren que el pre-entrenamiento auto-supervisado extendido (1.000 épocas) construye eficazmente abstracciones estructurales específicas del dominio, ayudando al modelo a manejar la alta varianza intra-clase y los límites complejos de los tejidos.

Significado y Afirmaciones
El artículo afirma que el enfoque híbrido propuesto constituye un marco altamente confiable para la clasificación generalizada de imágenes biomédicas. Al combinar la reconstrucción de máscaras generativa con priores amplios de imágenes naturales, el método previene colapsos de optimización en campos con restricciones de datos. Los autores afirman que la estrategia de conjuntos captura con éxito información complementaria, lo que lleva a resultados de última generación en diversas modalidades médicas. El trabajo destaca la eficacia del enmascaramiento guiado por entropía para enfocarse en regiones informativas, mejorando así el poder discriminatorio de las características aprendidas a partir de datos médicos no etiquetados. Se planea trabajo futuro para explorar técnicas de fusión más sofisticadas (por ejemplo, promedios ponderados) e investigar la interpretabilidad de las características aprendidas.