Clinical Metadata and Semantic Explanation-Guided Multimodal Deep Learning for Skin Lesion Recognition

Resumen Técnico: Aprendizaje Profundo Multimodal Guiado por Metadatos Clínicos y Explicaciones Semánticas para el Reconocimiento de Lesiones Cutáneas

Planteamiento del Problema
El reconocimiento preciso de lesiones cutáneas es crítico para el cribado temprano del melanoma y otras enfermedades dermatológicas malignas. Aunque los métodos de aprendizaje profundo existentes han demostrado un fuerte potencial utilizando imágenes dermoscópicas, a menudo subutilizan dos fuentes de información cruciales disponibles en la práctica clínica: metadatos clínicos (p. ej., edad del paciente, sexo, localización anatómica) y atributos diagnósticos semánticos (p. ej., red pigmentaria, estrías, velo azul blanquecino). Los enfoques multimodales actuales enfrentan desafíos para integrar eficazmente estas fuentes de datos heterogéneas; la simple concatenación de características no logra capturar relaciones cross-modales complejas, mientras que los modelos de fusión basados en atención o transformadores complejos pueden introducir cargas computacionales excesivas y carecer de suficiente interpretabilidad clínica.

Metodología
Los autores proponen un marco de aprendizaje profundo multimodal guiado por metadatos clínicos y explicaciones semánticas. La arquitectura consta de tres componentes principales:

1. Codificación de Características Multimodales:

   • Rama de Imagen: Las imágenes dermoscópicas se procesan utilizando una arquitectura base basada en EfficientNet. Se elimina la capa de clasificación original y los mapas de características de alto nivel se transforman en representaciones compactas mediante el promedio global (global average pooling) y una capa de proyección.
   • Rama de Metadatos: La información clínica (edad, sexo, sitio anatómico) se codifica en vectores estructurados. Las variables continuas se normalizan y las variables categóricas se codifican mediante one-hot encoding. Estas son procesadas por un Perceptrón Multicapa (MLP) para generar características de metadatos.
   • Rama Semántica: Los atributos diagnósticos basados en la regla de los siete puntos (p. ej., red pigmentaria, puntos, glóbulos) se codifican como vectores estructurados (binarios o categóricos) y son procesados por un MLP separado.
   • Todas las tres modalidades se proyectan en un espacio de características latentes compartido para asegurar su comparabilidad.

2. Fusión Cross-Modal con Compuerta (Gated Fusion):

   • En lugar de una simple concatenación, el marco emplea un módulo de fusión con compuerta.
   • Una red de compuerta ligera genera pesos adaptativos ($\alpha$) para las características de imagen, metadatos y semántica basadas en la muestra de entrada.
   • La representación fusionada final es una suma ponderada de las características específicas de cada modalidad. Este mecanismo permite al modelo enfatizar dinámicamente las modalidades informativas y suprimir las menos fiables para casos específicos.

3. Clasificación y Optimización:

   • La representación fusionada se introduce en una cabeza de clasificación (capas totalmente conectadas + softmax).
   • El modelo se optimiza utilizando una pérdida de entropía cruzada ponderada para abordar el desequilibrio de clases, combinada con regularización L2.

Contribuciones Clave

• Marco Integrado: El estudio propone un nuevo marco que integra simultáneamente imágenes dermoscópicas, metadatos clínicos estructurados y atributos diagnósticos semánticos para el reconocimiento de lesiones cutáneas.
• Mecanismo de Fusión Adaptativo: Se diseñó un módulo de fusión con compuerta que equilibra adaptativamente las contribuciones de diferentes modalidades, yendo más allá de la simple concatenación para aprender la importancia de la modalidad específica de cada muestra.
• Interpretabilidad Mejorada: Al incorporar explícitamente atributos diagnósticos semánticos (conceptos clínicamente significativos), el modelo busca cerrar la breancia entre las características visuales y el razonamiento dermatológico, mejorando la relevancia clínica.
• Evaluación Exhaustiva: El método se evalúa rigurosamente en tres conjuntos de datos públicos: ISIC-DICM-17K, HAM10000 y Derm7pt, comparándolo contra modelos de solo imagen, solo metadatos y varios baselines multimodales.

Resultados Experimentales
El método propuesto fue evaluado utilizando precisión (accuracy), sensibilidad, especificidad, puntuación F1 y AUC.

• Rendimiento General: El marco alcanzó una precisión general del 90.8%, sensibilidad del 91.7%, especificidad del 89.9%, puntuación F1 de 0.907 y un AUC de 0.961.
• Especificaciones por Dataset:
  • ISIC-DICM-17K: 91.8% de precisión, 0.968 de AUC.
  • HAM10000: 89.5% de precisión, 0.952 de AUC.
  • Derm7pt: 88.2% de precisión, 0.943 de AUC.
• Comparaciones: El método superó a los baselines de solo imagen (p. ej., ResNet-50, EfficientNet-B0), modelos de solo metadatos y otras estrategias de fusión (concatenación simple, fusión basada en atención). También superó a métodos multimodales recientes de vanguardia como FusionM4Net, TFormer, SkinM2Former y DermFormer.
• Estudio de Ablación: La eliminación de los metadatos clínicos o los atributos semánticos resultó en caídas de rendimiento, confirmando su valor complementario. El modelo completo con el mecanismo de fusión con compuerta superó a una variante sin compuerta, demostrando la efectividad de la ponderación adaptativa.

Significancia y Reivindicaciones
Los autores afirman que sus resultados demuestran que la integración multimodal mejora significativamente tanto el rendimiento como la interpretabilidad del diagnóstico de lesiones cutáneas basado en aprendizaje profundo. Específicamente:

• Pistas Complementarias: Los metadatos clínicos proporcionan un contexto a nivel del paciente difícil de capturar solo desde las imágenes, mientras que los atributos semánticos introducen pistas diagnósticas clínicamente significativas.
• Aprendizaje Adaptativo: El mecanismo de fusión con compuerta permite al modelo incorporar de manera flexible la información visual, clínica y semántica, aprendiendo representaciones más discriminativas que los métodos de fusión estática.
• Relevancia Clínica: Al utilizar atributos diagnósticos semánticos, el enfoque se alinea más estrechamente con el razonamiento dermatológico, ayudando potencialmente en el desarrollo de herramientas de diagnóstico asistido por computadora más confiables.

Los autores reconocen las limitaciones, señalando que el marco depende de conjuntos de datos públicos y anotaciones de atributos, y que se requiere una validación adicional en conjuntos de datos clínicos multicéntricos más grandes para una mayor aplicabilidad clínica.