Do Diabetic Foot Ulcer Segmentation Models Generalize? A Cross-Dataset Benchmark of CNN and Transformer Architectures

Resumo Técnico: Modelos de Segmentação de Úlceras de Pé Diabético Generalizam?

Declaração do Problema
Modelos de aprendizagem profunda para segmentação de Úlceras de Pé Diabético (UPD) relatam rotineiramente alta precisão (pontuações Dice frequentemente >0,80) quando treinados e testados no mesmo conjunto de dados. No entanto, essas avaliações são quase exclusivamente "in-domain", falhando em medir o comportamento do modelo em dados de diferentes fontes clínicas, câmeras ou populações de pacientes. Estudos prévios de cross-dataset foram limitados a redes neurais convolucionais (CNN) e modelos baseados em prompts (ex: SAM), deixando sem medida as capacidades de generalização das arquiteturas modernas de Transformers no domínio de UPD. Além disso, os benchmarks existentes carecem frequentemente de uma triagem rigorosa para vazamento de dados (sobreposição de imagens) entre os conjuntos de treinamento e teste, o que pode inflar as alegações de generalização.

Metodologia
Os autores conduziram um benchmark de cross-dataset controlado e com triagem de vazamento, comparando três arquiteturas de segmentação representativas:

• Baselines de CNN: U-Net e DeepLabV3+ (ambas utilizando codificadores ResNet-34).
• Arquitetura Transformer: SegFormer-B2 (utilizando um codificador MiT-B2).

Protocolo de Dados:

• Fonte de Treinamento: Um conjunto de dados combinado de imagens de feridas FUSeg e AZH. Os autores realizaram uma auditoria rigorosa usando MD5 e hashing perceptual (dHash) para detectar e remover sobreposições ao nível de imagem, tratando FUSeg e AZH como uma única fonte após confirmarem sua sobreposição significativa.
• Conjuntos de Teste Externos: Dois conjuntos de dados independentes sem sobreposição de imagem com a fonte de treinamento:
  1. DFUC2022: 2.000 imagens de um sítio clínico diferente (Teste Externo #1).
  2. Medetec: 160 imagens (Teste Externo #2).
• Protocolo de Treinamento: Todos os modelos foram treinados por 30 épocas em entradas de 256×256 usando uma perda combinada de Dice e cross-entropy binária. Nenhuma técnica de fine-tuning foi realizada nos conjuntos de teste externos.
• Avaliação: O desempenho foi medido usando o coeficiente Dice e a Interseção sobre União (IoU). A significância estatística foi avaliada via testes de postos sinalizados de Wilcoxon nos scores de Dice por imagem. Uma análise de falha por imagem definiu "falhas catastróficas" como imagens com Dice < 0,4.

Principais Contribuições

1. Primeiro Benchmark de Cross-Dataset com Triagem de Vazamento: Este estudo é o primeiro a aplicar um protocolo de triagem de vazamento para comparar arquiteturas de CNN e Transformer para segmentação de UPD através de conjuntos de dados independentes.
2. Análise de Família de Arquitetura vs. Complexidade: O trabalho isola o impacto da família de arquitetura (Transformer vs. CNN) da complexidade do modelo, utilizando DeepLabV3+ (CNN complexa) e U-Net (CNN mais simples) como baselines contra o SegFormer-B2.
3. Análise de Falha Abrangente: Além das métricas agregadas, o estudo fornece uma análise de falha por imagem através de 2.160 imagens de teste, categorizando falhas e analisando a severidade das quedas de desempenho.

Resultos

• Desempenho In-Domain: Todos os modelos alcançaram um desempenho sólido no conjunto de validação FUSeg retido (Dice 0,802–0,834), com o SegFormer-B2 apresentando um desempenho ligeiramente superior. A dispersão foi estreita, sugerindo que a escolha da arquitetura tem impacto mínimo dentro de uma única distribuição de dados.
• Generalização Cross-Dataset: Todos os modelos experimentaram uma degradação substancial de desempenho ao serem testados em conjuntos de dados externos.
  • DFUC2022: O SegFormer-B2 alcançou o maior Dice (0,557), superando a U-Net (0,501) e a DeepLabV3+ (0,489). O SegFormer-B2 também demonstrou maior estabilidade, com um desvio padrão (±0,003) uma ordem de magnitude menor que a da U-Net (±0,029).
  • Medetec: O SegFormer-B2 liderou novamente com um Dice de 0,786, comparado a 0,737 (U-Net) e 0,730 (DeepLabV3+).
• Taxas de Falha: No DFUC2022, o SegFormer-B2 produziu o menor número de falhas catastróficas (31,1% das imagens com Dice < 0,4), comparado a 38,5% para a U-Net e 43,0% para a DeepLabV3+.
• Significância Estatística: Testes de postos sinalizados de Wilcoxon confirmaram que o SegFormer-B2 superou significativamente ambos os baselines de CNN em ambos os conjuntos de dados externos (p < 0,001). A diferença entre os dois modelos de CNN não foi estatisticamente significativa no Medetec.
• Severidade da Falha: No Medetec, embora o SegFormer-B2 tenha tido uma contagem de falhas ligeiramente superior à da U-Net, suas falhas foram menos severas (agrupando-se logo abaixo do limiar de 0,4), enquanto as falhas das CNNs incluíram uma "cauda catastrófica" mais pesada (Dice ≈ 0).

Significância e Alegações
O artigo conclui que a família de arquitetura é um fator mais decisivo para a generalização entre hospitais do que a complexidade do modelo. Especificamente, o SegFormer-B2 baseado em Transformer generaliza melhor do que tanto a U-Net (mais simples) quanto a DeepLabV3+ (mais complexa). Os autores atribuem isso ao mecanismo de autoatenção global nos Transformers, que pode capturar pistas contextuais mais amplas (ex: textura da pele, gradientes de iluminação) que permanecem estáveis entre hospitais, enquanto as CNNs com campos receptivos locais podem sofrer overfitting a estatísticas espaciais específicas do dataset.

Uma implicação prática crítica destacada é que altos scores Dice in-domain não implicam prontidão para implantação. Modelos que alcançam >0,80 de Dice in-domain perderam aproximadamente 28–33 pontos percentuais de desempenho quando implantados entre hospitais. Embora o SegFormer-B2 ofereça uma generalização mensuravelmente melhor, os autores observam que mesmo o melhor modelo perde precisão substancial entre os datasets, ressaltando que a robustez cross-hospitalar continua sendo um problema aberto que requer mais trabalho em adaptação de domínio e adaptação em tempo de teste.