Multimodal Deep Learning for Diabetic Foot Ulcer Staging Using Integrated RGB and Thermal Imaging

1. Problema e Contexto

A Diabetes Mellitus (DM) é uma doença crônica global que gera custos elevados e mortalidade significativa. Uma das complicações mais graves é a Úlcera do Pé Diabético (DFU), que frequentemente leva a amputações não traumáticas e reinternações hospitalares. A taxa de recorrência é alta (25-44% em um ano), e o manejo inadequado aumenta o risco de infecção e amputação.

Embora diretrizes clínicas recomendem monitoramento regular e automonitoramento da temperatura da pele, as soluções atuais apresentam limitações:

• Dependência de visitas clínicas: Carga logística e econômica.
• Soluções remotas existentes: Sistemas de telemedicina e aplicativos baseados em smartphones (como "Foot Selfie") sofrem com variabilidade na captura de imagens (distância, ângulo, iluminação) e falta de padronização.
• Limitações de modalidades únicas: Imagens RGB (visíveis) capturam textura e cor, mas podem não detectar inflamação precoce. Imagens térmicas detectam anomalias de calor (inflamação/infeção), mas têm baixa resolução e dificuldade em identificar lesões em estágios iniciais (0-1) onde não há ferida visível ou grande contraste térmico.

O estudo visa preencher essa lacuna desenvolvendo um sistema de aquisição de dados integrado e um modelo de aprendizado profundo multimodal para classificar os estágios da úlcera (Classificação de Wagner) com maior precisão.

2. Metodologia

2.1. Sistema de Aquisição de Imagens

Foi desenvolvido um protótipo portátil baseado em Raspberry Pi 4 que captura simultaneamente imagens RGB e térmicas:

• Hardware: Raspberry Pi 4B (8GB RAM), Câmera RGB (Módulo V2, 8MP), Câmera Térmica (Flir Lepton 3.5, 160x120 pixels) e uma tela touchscreen de 7 polegadas.
• Design: Uma carcaça impressa em 3D posiciona as câmeras lado a lado para garantir um Campo de Visão (FoV) sobreposto.
• Interface: Uma GUI personalizada dispara a captura simultânea, salvando imagens RGB (JPEG), térmicas mapeadas por cor (JPEG) e dados térmicos brutos (TIFF).

2.2. Pré-processamento e Criação do Dataset

• Dataset: Coletado em ambiente hospitalar com 1.205 amostras únicas, anotadas por especialistas em 6 classes (Grau 0 a 5).
• Tratamento Térmico: Conversão de dados brutos (Kelvin) para Celsius. Aplicação de um filtro adaptativo baseado na temperatura corporal (30°C - 45°C) para segmentar o pé e reduzir ruído ambiental.
• Configuração Multimodal: Foram criados três conjuntos de treinamento:
  1. Apenas RGB.
  2. Apenas Térmico.
  3. RGB + Térmico: A imagem térmica foi integrada como um 4º canal ao lado dos canais RGB, formando um tensor unificado.

2.3. Arquitetura do Modelo e Treinamento

• Algoritmos: Utilização de Transfer Learning com cinco arquiteturas CNN pré-treinadas no ImageNet: ResNet-50, VGG16, DenseNet-121, InceptionV3 e EfficientNetV2.
• Head Personalizado: Camadas de classificação substituídas por duas camadas totalmente conectadas (1024 e 512 neurônios), com ReLU, Normalização em Lote (Batch Norm) e Dropout (50%).
• Otimização:
  • Aumento de dados (Data Augmentation): Rotação, flip, crop, ajustes de cor.
  • Função de perda ponderada por classe para mitigar o desbalanceamento do dataset.
  • Validação cruzada estratificada de 5 dobras (5-fold) com 15% dos dados reservados para teste final.

3. Resultados Principais

Os modelos foram avaliados usando métricas como Acurácia, Precisão, Recall, F1-Score, Especificidade e Coeficiente de Correlação de Matthews (MCC).

• Desempenho Geral: O conjunto de dados RGB+Thermal superou consistentemente os conjuntos unimodais (RGB apenas ou Térmico apenas) em todas as arquiteturas.
• Melhor Modelo: O VGG16 treinado com dados RGB+Thermal obteve os melhores resultados:
  • Acurácia Global: 93,25%
  • F1-Score: 92,53%
  • MCC: 91,03%
  • Sensibilidade: 91,68%
  • Especificidade: 98,4%
• Comparação de Modalidades:
  • O modelo apenas térmico teve desempenho inferior, especialmente nos estágios iniciais (0 e 1), devido à falta de contraste térmico e baixa resolução.
  • O modelo apenas RGB teve bom desempenho, mas apresentou ambiguidades em lesões com baixo contraste.
  • A abordagem multimodal combinou a detecção de anomalias térmicas (inflamação) com detalhes texturais e estruturais (RGB), resultando em uma representação mais discriminativa.
• Análise Visual (Grad-CAM):
  • O modelo multimodal exibiu mapas de ativação mais compactos e clinicamente relevantes, focando na região da úlcera e na inflamação circundante.
  • Modelos unimodais mostraram ativações difusas ou falharam em localizar regiões discriminativas em estágios iniciais.

4. Contribuições Chave

1. Sistema de Aquisição Integrado: Desenvolvimento de um protótipo de baixo custo (Raspberry Pi) capaz de capturar imagens RGB e térmicas simultaneamente com geometria de captura padronizada, resolvendo problemas de variabilidade de usuários em monitoramento domiciliar.
2. Validação de Multimodalidade: Evidência empírica de que integrar a imagem térmica como um quarto canal (4th channel) melhora significativamente a classificação de estágios de DFU em comparação com abordagens unimodais.
3. Arquitetura Otimizada: Identificação do VGG16 como a arquitetura mais robusta para esta tarefa específica quando combinada com dados multimodais.
4. Interpretabilidade: Uso de Grad-CAM para demonstrar que o modelo aprende a focar em regiões clinicamente relevantes (ferida e zonas hiperérmicas), aumentando a confiança clínica.

5. Significado e Conclusão

O estudo demonstra que a fusão de dados visuais e térmicos é superior para o diagnóstico e estadiamento de úlceras do pé diabético. A abordagem proposta oferece uma base sólida para:

• Monitoramento Domiciliar: Sistemas de espelho inteligente ou dispositivos portáteis que permitem triagem precoce e monitoramento contínuo.
• Telemedicina: Ferramentas de suporte à decisão clínica que reduzem a necessidade de visitas presenciais frequentes para estágios iniciais.
• Redução de Amputações: Detecção mais precisa e precoce de inflamações e úlceras, permitindo intervenção rápida antes que ocorra a amputação.

Limitações e Futuro: O estudo reconhece limitações como o tamanho do dataset (centro único), a resolução térmica limitada do sensor Flir Lepton (devido ao custo) e a falta de alinhamento pixel-perfeito entre as câmeras. Trabalhos futuros visam a coleta de dados multicêntricos, o uso de sensores térmicos de maior resolução e técnicas de registro automático de imagens para melhorar ainda mais a generalização e precisão do sistema.