Multimodal Deep Learning for Diabetic Foot Ulcer Staging Using Integrated RGB and Thermal Imaging

Resumen Técnico: Aprendizaje Profundo Multimodal para la Estadificación de Úlceras del Pie Diabético

1. Planteamiento del Problema

La Diabetes Mellitus (DM) es una enfermedad crónica que afecta a millones de personas a nivel mundial, siendo la úlcera del pie diabético (DFU) una de sus complicaciones más graves. La DFU conlleva altos riesgos de amputación, hospitalización y recurrencia (tasas de 25-44% en un año).

• Limitaciones actuales: Los enfoques tradicionales dependen de visitas clínicas y autoexámenes, lo cual es difícil de estandarizar en casa debido a variaciones en la distancia, ángulo e iluminación.
• Brecha tecnológica: Aunque existen soluciones de telemedicina y monitoreo remoto (como termografía o aplicaciones de "selfie"), estas suelen basarse en una sola modalidad (solo RGB o solo térmica) o carecen de una geometría de captura estandarizada. Además, los modelos de IA existentes a menudo sufren de problemas de generalización debido a la heterogeneidad de los datos y la falta de validación externa.
• Necesidad: Se requiere un sistema de adquisición de datos estandarizado y un enfoque de aprendizaje profundo que integre información visual (RGB) y térmica para mejorar la precisión en la clasificación de las etapas de la úlcera (Escala de Wagner).

2. Metodología

El estudio propone un marco de trabajo integral que abarca desde la adquisición de datos hasta la clasificación mediante redes neuronales convolucionales (CNN).

• Sistema de Adquisición de Imágenes:

  • Se desarrolló un prototipo portátil basado en Raspberry Pi 4B.
  • Componentes: Cámara RGB (Módulo V2, 8 MP) y cámara térmica (Flir Lepton 3.5, 160x120 píxeles) disparadas simultáneamente.
  • Diseño: Una carcasa impresa en 3D asegura una configuración lado a lado con un campo de visión (FoV) superpuesto aproximadamente. Incluye una pantalla táctil para una interfaz gráfica de usuario (GUI) que permite la captura con un solo toque.
  • Salida: Se guardan imágenes RGB (JPEG), térmicas coloreadas (JPEG) y datos térmicos crudos (TIFF).

• Preprocesamiento y Dataset:

  • Datos: Se recolectaron 1,205 muestras en un entorno hospitalario con consentimiento informado.
  • Clases: Las imágenes fueron anotadas por expertos clínicos en 6 clases (Grado 0 a Grado 5).
  • Procesamiento Térmico: Se aplicó una conversión de temperatura (Kelvin a Celsius) y un filtrado adaptativo basado en el rango de temperatura corporal (30°C - 45°C) para segmentar el pie y eliminar ruido ambiental.
  • Configuraciones de Entrenamiento: Se crearon tres conjuntos de datos para comparar:
    1. Solo RGB.
    2. Solo Térmico.
    3. Multimodal (RGB + Térmico): La imagen térmica se integra como un cuarto canal junto a los canales RGB.

• Modelos de Aprendizaje Profundo:

  • Se utilizaron cinco arquitecturas CNN preentrenadas en ImageNet: ResNet-50, VGG16, DenseNet-121, InceptionV3 y EfficientNetV2.
  • Estrategia: Transferencia de aprendizaje con una cabeza de clasificación personalizada (capas totalmente conectadas, ReLU, BatchNorm y Dropout del 50%).
  • Optimización: Se aplicó aumento de datos (rotación, volteo, cambio de color) y una función de pérdida ponderada por clase para mitigar el desequilibrio de clases.
  • Validación: Se utilizó validación cruzada estratificada de 5 pliegues, reservando un 15% del dataset como prueba independiente.

3. Contribuciones Clave

1. Desarrollo de un Prototipo de Espejo Inteligente/Dispositivo Portátil: Creación de un sistema de bajo costo basado en Raspberry Pi que estandariza la captura de imágenes RGB y térmicas simultáneas, abordando el problema de la variabilidad en el monitoreo doméstico.
2. Enfoque Multimodal Integrado: Demostración técnica de que fusionar la información morfológica (RGB) con la información fisiológica de temperatura (Térmica) como un canal adicional mejora significativamente la discriminación de características en comparación con el uso de modalidades individuales.
3. Análisis de Explicabilidad (XAI): Uso de Grad-CAM para visualizar las regiones de interés, demostrando que el modelo multimodal se enfoca de manera más precisa en la lesión y las zonas de hipertermia, reduciendo la ambigüedad observada en los modelos unimodales (especialmente en etapas tempranas).
4. Evaluación Exhaustiva: Comparación sistemática de cinco arquitecturas de CNN sobre tres tipos de datos, identificando a VGG16 como la arquitectura más robusta para esta tarea específica.

4. Resultados

Los experimentos mostraron que el enfoque multimodal supera consistentemente a los enfoques unimodales:

• Rendimiento General: El modelo VGG16 entrenado con datos RGB+Térmicos obtuvo el mejor rendimiento global.
  • Precisión (Accuracy): 93.25% (vs. 90.22% con solo RGB y 90.96% con solo térmico).
  • F1-Score: 92.53%.
  • MCC (Coeficiente de Correlación de Matthews): 91.03%.
• Comparación de Modalidades:
  • Los datos térmicos por sí solos tuvieron un rendimiento inferior en las etapas iniciales (Grado 0-1) debido a la falta de contraste térmico y ulceración visible.
  • Los datos RGB por sí solos a veces mostraron atención difusa fuera de la lesión.
  • La combinación RGB+Térmico compensó las debilidades de cada modalidad: la información térmica ayudó a localizar la inflamación en etapas avanzadas, mientras que el RGB proporcionó detalles estructurales en etapas tempranas.
• Estabilidad: El modelo multimodal mostró alta consistencia a través de los 5 pliegues de validación cruzada, con métricas estables (ej. 94.58% de precisión en el mejor pliegue).
• Visualización: Los mapas de activación Grad-CAM confirmaron que el modelo multimodal localiza las lesiones con mayor precisión y menos ruido que los modelos unimodales.

5. Significado e Impacto

• Avance Clínico: Este estudio valida que la integración de sensores térmicos y RGB en un solo dispositivo puede mejorar la detección temprana y la estadificación precisa de las úlceras, lo cual es crucial para prevenir amputaciones.
• Aplicabilidad en Telemedicina: El sistema desarrollado sienta las bases para plataformas de monitoreo doméstico accesibles y estandarizadas, permitiendo a los pacientes realizar controles diarios sin depender exclusivamente de visitas clínicas.
• Soporte a la Decisión Clínica: La alta precisión y la capacidad de explicabilidad del modelo lo convierten en una herramienta viable para sistemas de soporte a la decisión clínica (CDSS) en entornos de atención primaria y especializada.
• Limitaciones y Futuro: El estudio reconoce limitaciones como el tamaño del dataset (monocéntrico), la resolución térmica limitada del sensor de bajo costo y la falta de alineación pixel a pixel perfecta entre las cámaras. Futuras líneas de trabajo incluyen la adquisición de datos multicéntricos, el uso de sensores térmicos de mayor resolución y la implementación de técnicas de registro de imágenes automáticas.

En conclusión, el artículo demuestra que el aprendizaje profundo multimodal es una estrategia superior para la clasificación de úlceras del pie diabético, ofreciendo una solución tecnológica robusta, económica y clínicamente relevante para la gestión de la diabetes.