MedicalRec: Medical recommender system for image classification without retraining

Resumen Técnico: MedicalRec: Sistema de Recomendación Médica para la Clasificación de Imágenes Sin Reentrenamiento

Planteamiento del Problema
La rápida adopción del aprendizaje profundo (DL) en la clasificación de imágenes médicas ha introducido desafíos computacionales y ambientales significativos. El entrenamiento de modelos de vanguardia requiere una energía sustancial, lo que conduce a altas emisiones de carbono y desechos electrónicos. Una ineficiencia principal en los flujos de trabajo actuales es el proceso de "ensayo y error" que investigadores y profesionales experimentan para seleccionar el modelo óptimo para un conjunto de datos de imágenes médicas específico. Este proceso implica entrenar y evaluar docenas de modelos para identificar al mejor ejecutor, una práctica que exacerba la huella de carbono y consume recursos y tiempo excesivos. Además, la falta de un estándar de referencia o protocolo para recomendar modelos basados en las características del conjunto de datos obliga a este ciclo repetitivo y de uso intensivo de recursos.

Metodología
Para abordar estos desafíos, los autores proponen MedicalRec, un sistema de recomendación basado en Transformers diseñado para predecir el modelo de aprendizaje automático más adecuado para una tarea de clasificación de imágenes médicas sin necesidad de reentrenamiento.

1. Construcción del Conjunto de Datos (MedicalRec-Bench):
   La base del estudio es un nuevo conjunto de datos, MedicalRec-Bench, compilado a partir de 3,000 artículos científicos en el campo de la clasificación de imágenes médicas. Este conjunto de datos contiene más de 5,000 registros de modelos probados en diversas tareas, incluyendo clasificación de Piel (Cáncer de Piel), Tumor, Herida, Cáncer de Mama y RM.

   • Características: El conjunto de datos incluye metadatos como títulos, resúmenes, palabras clave y características estadísticas (p. ej., tamaño de la muestra, dimensiones de la imagen, número de clases) junto con métricas de rendimiento (Exactitud, Precisión, Sensibilidad, F1, AUC).
   • Versiones: Debido al desafío de la falta de reporte por parte de los autores originales (lo que resulta en valores faltantes significativos), el conjunto de datos se lanzó en cuatro versiones con diferentes conteos de características: MedicalRec I (5 características), II (9 características), III (11 características) y IV (18 características).
   • Preprocesamiento de Datos: Los valores faltantes (representados como 0.0) se imputaron utilizando los promedios de columna, mientras que los datos textuales (Nombres de modelos) se integraron mediante BERT, y las características numéricas se utilizaron directamente.

2. Arquitectura del Modelo:
   MedicalRec se formula como un problema de recomendación secuencial donde:

   • Usuario/Escenario: Una tarea de clasificación específica definida por las características del conjunto de datos (p. ej., tamaño de imagen, número de clases).
   • Ítem: Una arquitectura de modelo específica (p. ej., ResNet-50, VGG-16).
   • Puntuación: La métrica de rendimiento (principalmente Exactitud).

   El modelo utiliza una arquitectura Transformer inspirada en BERT4Rec. Emplea:

   • Capa de Embedding: Convierte las características de entrada en vectores continuos.
   • Codificador Transformer: Consta de 12 capas, cada una con 12 cabezales de autoatención, para capturar las dependencias entre las características de entrada y el rendimiento del modelo.
   • Embeddings Posicionales: Añadidos para preservar la información temporal/secuencial.
   • Capa de Salida: Una función Softmax clasifica las recomendaciones de modelos de forma probabilística.
   • Objetivo de Entrenamiento: El modelo se entrena utilizando una tarea de predicción de ítems enmascarados (tarea Cloze), donde una proporción de los ítems de entrada se enmascara y el modelo los predice utilizando una red de alimentación hacia adelante de dos capas con activación GELU.

Contribuciones Clave

• MedicalRec-Bench: La creación del primer conjunto de datos disponible públicamente diseñado específicamente para la recomendación de modelos en la clasificación de imágenes médicas, agregando datos de 3,000 artículos.
• Modelo MedicalRec: El desarrollo de un sistema de recomendación basado en Transformers que mapea las características del conjunto de datos hacia arquitecturas de modelos óptimas, eliminando la necesidad de un reentrenamiento exhaustivo.
• Evaluación Exhaustiva: Una evaluación rigurosa del modelo propuesto frente a 12 modelos de base (incluyendo Filtrado Colaborativo, Basado en Contenido, SVD, LSTM, GRU, IndRNN, LLM y modelos conscientes de la equidad/Fairness-aware) a través de cuatro configuraciones de conjuntos de datos.

Resultados
El estudio evaluó los modelos utilizando Precision@K, Recall@K, F1@K, Ganancia Acumulada Decreciente (DCG) y HitRate@K.

• Rendimiento: El modelo MedicalRec propuesto logró un rendimiento superior en todas las versiones del conjunto de datos (I–IV). En la configuración más completa (MedicalRec IV), alcanzó un HitRate@100 de 75.50%, un Recall de 9.80% y una Precisión de 10.50%.
• Comparación: MedicalRec superó consistentemente a los métodos clásicos (Filtrado Colaborativo, SVD) y a los modelos de aprendizaje profundo de base (LSTM, GRU, IndRNN). Aunque los modelos "Fair" y "Multi-modal" mostraron resultados competitivos en métricas específicas (p. ej., DCG@5), MedicalRec mantuvo las puntuaciones más altas en general, particularmente en listas de recomendación más largas (D@50 a D@100).
• Estudios de Ablación:
  • Funciones de Activación: Se encontró que ReLU produjo los puntajes F1@100 más altos en todas las versiones del conjunto de datos.
  • Dropout: Las tasas de dropout óptimas variaron según la complejidad del conjunto de datos (0.7 para MedicalRec I; 0.5 para II, III y IV).
• Significancia Estadística: La validación cruzada de K-pliegues (5-fold) en MedicalRec IV confirmó la estabilidad del modelo, con un HitRate@100 que osciló entre 75.22% y 76.50%. Las pruebas T (valores P) indicaron que la diferencia de rendimiento entre MedicalRec y todos los demás modelos fue estadísticamente significativa (P < 0.05).

Significancia y Reclamaciones
El artículo afirma que MedicalRec ofrece una solución práctica para reducir el impacto ambiental del desarrollo de la IA médica. Al recomendar el modelo óptimo basado en las características del conjunto de datos, el sistema tiene como objetivo eliminar la necesidad de que los investigadores entrenen múltiples modelos candidatos, ahorrando así energía y reduciendo las emisiones de carbono. Los autores enfatizan que este es el primer trabajo que utiliza características estadísticas de la literatura existente para construir un sistema de recomendación de modelos para imágenes médicas. El conjunto de datos y la implementación se ponen a disposición pública para facilitar futuras investigaciones, señalando los autores que el trabajo futuro podría abordar desafíos como los valores de inicio cero, la imputación de datos faltantes y el desequilibrio de clases.