Deep neural networks with Fisher vector encoding for medical image classification

Resumo Técnico: Redes Neurais Profundas com Codificação de Vetor Fisher para Classificação de Imagens Médicas

Enunciado do Problema
As Redes Neurais Convolucionais (CNNs) tornaram-se o padrão para reconhecimento de imagens, mas enfrentam limitações na classificação de imagens médicas, incluindo a exigência de tamanhos de entrada fixos (frequentemente levando à perda de informação via pooling) e um "viés de localidade" que impede a captura de informações globais. Embora os Vision Transformers (ViT) abordem o viés de localidade por meio de atenção automática, eles tipicamente exigem grandes conjuntos de dados para treinamento e exibem complexidade computacional quadrática em relação à resolução da imagem, tornando-os menos adequados para imagens médicas de alta resolução ou cenários com disponibilidade limitada de dados. Além disso, embora modelos híbridos CNN+ViT tenham surgido para mitigar esses problemas, a integração de técnicas sofisticadas de representação de características sem ordem — especificamente Vetores Fisher (FV) — com essas arquiteturas híbridas permanece amplamente inexplorada. Uma barreira significativa para a aplicação de Vetores Fisher em configurações de grande escala é o alto custo computacional da estimativa do Modelo de Mistura Gaussiana (GMM) subjacente.

Metodologia
Os autores propõem uma arquitetura híbrida que combina MIT-EfficientViT (um Vision Transformer multi-escala) com codificação de Vetor Fisher para criar um modelo adequado tanto para conjuntos de dados médicos pequenos quanto grandes. A metodologia central envolve os seguintes componentes:

1. Modificação da Arquitetura: O cabeçalho de classificação padrão do modelo MIT-EfficientViT é substituído. Em vez de uma camada de Convolução de Garrafa Invertida Móvel (MBConv) seguida de pooling global, os autores inserem uma camada de codificação de Vetor Fisher.
2. Concatenação de Características Sem Perda: Para abordar a questão de concatenar características locais de múltiplos estágios da espinha dorsal do Transformer (que existem em espaços dimensionais diferentes), os autores propõem uma abordagem sem perda. Em vez de subamostrar características de dimensões superiores (o que causa perda de informação) ou superamostrar as de dimensões inferiores (o que aumenta o custo computacional), eles calculam o Máximo Divisor Comum (MDC) das dimensões das características. As características locais são divididas em subcaracterísticas dessa dimensão comum e, em seguida, concatenadas.
3. Estimativa de GMM via Subamostragem Baseada em Entropia: Para superar o gargalo computacional da estimativa de GMM em grandes conjuntos de dados, os autores introduzem uma estratégia de amostragem baseada na entropia da imagem. Eles calculam a entropia de Shannon das imagens no conjunto de treinamento e selecionam um subconjunto de amostras (até um limite, por exemplo, 5.000) com os maiores valores de entropia para estimar os parâmetros do GMM. Isso visa reter as amostras mais informativas enquanto reduz a carga computacional.
4. Adaptação para Dados 3D: Para lidar com imagens médicas 3D (por exemplo, tomografias computadorizadas), as camadas convolucionais 2D da espinha dorsal são substituídas por convoluções 3D. Como pesos pré-treinados 3D não estão disponíveis, os autores inicializam o modelo repetindo pesos pré-treinados 2D ao longo de um eixo.
5. Estratégia de Treinamento: A espinha dorsal é ajustada finamente no conjunto de dados de destino antes de extrair características para a codificação de Vetor Fisher. Esta etapa é crucial para gerar características de alto nível específicas da aplicação, particularmente para dados 3D onde não existem pesos pré-treinados.

Principais Contribuições
O artigo delineia quatro contribuições primárias:

• Estimativa Robusta de GMM: Um método para estimar Modelos de Mistura Gaussiana por subamostragem do conjunto de treinamento baseado na entropia da imagem. Experimentos demonstram que isso reduz o número de amostras necessárias para o treinamento do GMM sem perda estatisticamente significativa no desempenho do modelo.
• Modelo Híbrido de Classificação Médica: A introdução de um modelo de classificação de imagens médicas que combina arquiteturas híbridas CNN+ViT com codificação de Vetor Fisher.
• Concatenação de Características Sem Perda: Uma abordagem novel e sem perda para concatenar características de múltiplos estágios do Transformer, abordando questões de perda de informação relatadas em trabalhos anteriores.
• Extensão para 3D: A expansão das aplicações de Vetor Fisher para conjuntos de dados de imagens 3D, desenvolvendo uma metodologia para recuperar conhecimento de domínios pré-treinados 2D.

Resultados
O método proposto foi avaliado em uma coleção diversificada de conjuntos de dados, incluindo o conjunto MedMNIST (v2) (cobrindo modalidades 2D e 3D), Clean-CC-CCII (TCs torácicas de COVID-19) e ISIC2018 (imagens dermatoscópicas).

• MedMNIST (v2): O modelo superou os resultados de referência (incluindo variantes ResNet, AutoML e outros modelos híbridos) em todos os conjuntos de dados MedMNIST. Melhorias notáveis de pelo menos 5% na precisão foram observadas em RetinaMNIST, OrganMNIST3D, FractureMNIST3D e SynapseMNIST3D.
• Impacto do Ajuste Fino: O ajuste fino da espinha dorsal antes da estimativa do GMM melhorou consistentemente tanto a Precisão (ACC) quanto a Área sob a Curva ROC (AUC) para os casos 2D e 3D. A melhoria foi particularmente significativa nos casos 3D onde pesos pré-treinados estavam ausentes.
• Estágios de Extração de Características: O uso de características de dois estágios (Estágio 4 e Estágio 3) geralmente produziu resultados ótimos, especialmente quando a espinha dorsal foi ajustada finamente.
• Conjuntos de Dados Realistas: Em Clean-CC-CCII e ISIC2018, o modelo alcançou resultados competitivos em relação à literatura recente (por exemplo, ResGANet, Hiera, MogaNet), superando-os em Clean-CC-CCII e igualando ou excedendo-os em ISIC2018, mantendo uma contagem de parâmetros comparável (limitada a ~25 milhões).
• Eficácia da Subamostragem: A análise usando Divergência Kullback-Leibler (KL) mostrou que um GMM estimado usando apenas 2% do conjunto de treinamento (selecionado por entropia) era tão semelhante ao caso base (100% dos dados) quanto um GMM estimado usando 50% dos dados, validando a eficiência da estratégia de amostragem.

Significado e Alegações
Os autores afirmam que seu trabalho conecta com sucesso a lacuna entre a eficiência de dados de métodos de codificação sem ordem (como Vetores Fisher) e o poder representacional de modelos híbridos CNN+ViT. Ao abordar as questões de escalabilidade da estimativa de GMM por meio de subamostragem baseada em entropia e resolver problemas de concatenação de características por meio de um método de divisão sem perda, o modelo proposto é apresentado como uma solução robusta para classificação de imagens médicas em diversas escalas de dados e modalidades. Os resultados sugerem que essa abordagem é particularmente adequada para aplicações biomédicas onde a aquisição de dados é cara e os conjuntos de dados podem ser pequenos ou de alta resolução. Os autores concluem modestamente que, embora seu método seja eficaz, trabalhos futuros poderiam explorar a estimativa de estatísticas de primeira e segunda ordem treináveis para habilitar aprendizado de ponta a ponta e capacidades de aprendizado incremental.