Entropy-Guided Self-Supervised Learning for Medical Image Classification

Resumo Técnico: Aprendizado Auto-supervisionado Guiado por Entropia para Classificação de Imagens Médicas

Declaração do Problema
A classificação precisa de imagens médicas é crítica para o diagnóstico precoce de doenças e o planejamento de tratamento. No entanto, modelos de aprendizado profundo frequentemente lutam neste domínio devido a dados anotados limitados, alta variabilidade intraclasse, diferenças sutis interclasses e à presença de ruído e artefatos. Embora as Redes Neurais Convolucionais (CNNs) se destaquem na extração de características, modelos treinados do zero ou ajustados finamente apenas no ImageNet frequentemente falham em capturar nuances específicas do domínio. Por outro lado, os Vision Transformers (ViTs) exigem vastos conjuntos de dados e recursos computacionais elevados, que muitas vezes não estão disponíveis para imagens médicas. O artigo aborda a necessidade de um framework robusto que aproveite tanto características generalizáveis quanto representações específicas do domínio para superar a escassez de dados e melhorar o desempenho de classificação.

Metodologia
Os autores propõem um framework de aprendizado profundo sinérgico que integra aprendizado por transferência, aprendizado auto-supervisionado (SSL) e aprendizado de conjunto. A arquitetura utiliza dois caminhos paralelos, ambos empregando uma base ConvNeXt-Tiny:

1. Caminho Pré-treinado no ImageNet: Um modelo ConvNeXt-Tiny inicializado com pesos pré-treinados no grande conjunto de dados ImageNet. Isso serve como uma linha de base para fornecer extratores de características fortes e generalizáveis.
2. Caminho Pré-treinado com MAE Guiado por Entropia: Um segundo modelo ConvNeXt-Tiny passa por pré-treinamento auto-supervisionado no conjunto de dados médico alvo usando um novo Autoencoder Mascaramento (MAE) Guiado por Entropia.
   • Mecanismo: Inspirado no "forçamento de difusão", esta abordagem calcula uma pontuação de entropia para cada patch de imagem com base na frequência dos valores de cor. Ruído gaussiano é então aplicado a cada patch independentemente, com a variância ($\sigma^2$) controlada pela entropia de Shannon do patch.
   • Objetivo: Isso transforma o processo de mascaramento em uma transformação contínua, focando a tarefa de reconstrução em regiões com maior conteúdo de informação ou incerteza. O modelo minimiza o Erro Quadrático Médio (MSE) entre os patches mascarados originais e reconstruídos.
3. Ajuste Fino: Ambos os modelos são subsequentemente ajustados finamente em conjuntos de dados de imagens médicas rotulados usando a função de perda de Entropia Cruzada.
4. Estratégia de Ensemble: A decisão final de classificação é feita pela média das probabilidades previstas pelos dois modelos ajustados finamente. Esta abordagem de ensemble visa aproveitar as forças complementares das características gerais (ImageNet) e das características específicas do domínio (MAE Guiado por Entropia).

Principais Contribuições

• MAE Guiado por Entropia: A introdução de uma estratégia de pré-treinamento que usa pontuações de entropia para guiar o processo de mascaramento e injeção de ruído, priorizando regiões informativas durante o aprendizado auto-supervisionado em imagens médicas.
• Framework Sinérgico: Uma arquitetura inovadora que combina aprendizado por transferência do ImageNet, SSL guiado por entropia e aprendizado de ensemble para aumentar a robustez e a precisão na classificação de imagens médicas.
• Validação Extensa: Experimentos abrangentes conduzidos em quatro conjuntos de dados diversos: Imagens de Ultrassom de Mama (BUSI), Colaboração Internacional de Imagens de Pele (ISIC) 2018, Kvasir (endoscopia) e um conjunto de dados de raios-X de tórax de COVID-19.
• Análise de Ablação: Um estudo detalhado avaliando o impacto das épocas de pré-treinamento e das configurações de ajuste fino no desempenho do modelo.

Resultados Experimentais
O framework foi avaliado usando Precisão, Precisão, Revocação, Pontuação F1 e Área sob a Curva (AUC). A configuração ótima identificada foi 1.000 épocas de pré-treinamento MAE seguidas por 15 épocas de ajuste fino.

• Desempenho: O modelo de ensemble superou consistentemente os modelos individuais (apenas ImageNet e apenas MAE) e os métodos mais avançados (SOTA), incluindo SWIN, CMT, SMT e o Vision Transformer Central-Periférico (CPVT).
• Métricas Específicas:
  • BUSI: Alcançou 97,44% de precisão e 99,74% de AUC, superando significativamente o CPVT (81,95% de precisão).
  • ISIC 2018: Alcançou 91,18% de precisão e 98,32% de AUC, superando o CPVT (87,98% de precisão).
  • Kvasir: Alcançou 94,30% de precisão e 99,66% de AUC.
  • COVID: Alcançou 97,82% de precisão e 99,88% de AUC.
• Observações: Os resultados sugerem que o pré-treinamento auto-supervisionado estendido (1.000 épocas) constrói efetivamente abstrações estruturais específicas do domínio, ajudando o modelo a lidar com alta variância intraclasse e limites complexos de tecidos.

Significado e Afirmações
O artigo afirma que a abordagem híbrida proposta constitui um framework altamente confiável para classificação generalizada de imagens biomédicas. Ao combinar a reconstrução de máscara generativa com priores amplos de imagens naturais, o método previne colapsos de otimização em campos com restrições de dados. Os autores afirmam que a estratégia de ensemble captura com sucesso informações complementares, levando a resultados state-of-the-art em diversas modalidades médicas. O trabalho destaca a eficácia do mascaramento guiado por entropia em focar regiões informativas, melhorando assim o poder discriminativo das características aprendidas a partir de dados médicos não rotulados. Trabalhos futuros estão planejados para explorar técnicas de fusão mais sofisticadas (por exemplo, média ponderada) e investigar a interpretabilidade das características aprendidas.