A multifractal-based masked auto-encoder: an application to medical images

Resumo Técnico: Um Autoencoder Mascarado Baseado em Múltiplos Fatores para Imagens Médicas

Declaração do Problema
Os Autoencoders Mascarados (MAEs) tradicionais utilizam uma estratégia de mascaramento aleatório durante o pré-treinamento auto-supervisionado. Embora eficazes na visão computacional geral, essa abordagem é subótima para imagens médicas. Em contextos médicos, mudanças sutis em regiões específicas frequentemente possuem valor diagnóstico crítico, enquanto o mascaramento aleatório pode ignorar essas áreas de alta informação ou focar em ruído de fundo menos relevante. Melhorias existentes no mascaramento de MAEs frequentemente dependem de redes auxiliares aprendíveis ou mapas de atenção supervisionados, o que pode introduzir sobrecarga computacional ou exigir procedimentos de treinamento externos.

Metodologia: MO-MAE
Os autores propõem o Autoencoder Mascarado Otimizado Multifatorial (MO-MAE), um framework que substitui o mascaramento aleatório por uma medida de complexidade baseada em física para guiar a seleção de patches. A metodologia procede da seguinte forma:

1. Fragmentação (Patching): As imagens de entrada são divididas em patches retangulares não sobrepostos (por exemplo, $16 \times 16$).
2. Análise Multifatorial (O Seletor): Em vez de seleção aleatória, o modelo calcula a entropia de Rényi (uma medida multifatorial) para cada patch. Essa medida quantifica a complexidade e o conteúdo de informação do patch em diferentes escalas.
   • O método da função de partição é utilizado para estimar a distribuição de probabilidade das intensidades de pixel dentro de um patch.
   • A função de partição do momento de ordem $q$ é calculada, levando à estimativa do espectro multifractal e da entropia de Rényi associada ($R_q$).
   • Os patches são ordenados em ordem decrescente com base em seus valores de entropia.
3. Estratégia de Mascaramento: O modelo seleciona os $n_S$ patches superiores (onde $n_S$ é determinado pela taxa de máscara $r$) com a maior entropia. Esses patches representam regiões de alta complexidade e riqueza de informação.
4. Pré-treinamento: Os patches de alta entropia selecionados são alimentados em um codificador Vision Transformer (ViT). O decodificador tenta reconstruir a imagem original a partir dessa entrada parcial. A função de perda mede a discrepância entre as imagens original e reconstruída.
5. Ajuste Fino (Fine-tuning): O codificador pré-treinado é então ajustado finamente em dados médicos rotulados para tarefas específicas subsequentes (por exemplo, classificação de doenças).

Contribuições Principais
O artigo destaca quatro inovações primárias:

• Estratégia de Mascaramento Novel: O desenvolvimento de uma estratégia de mascaramento baseada em multifractalidade que melhora os resultados de classificação de imagens médicas em comparação com o mascaramento aleatório padrão.
• Primeira Integração: Até onde é conhecido pelos autores, este é o primeiro trabalho a associar análise multifractal (especificamente a entropia de Rényi) com autoencoders mascarados.
• Complexidade Baseada em Física: Esta é a primeira exploração de uma medida de complexidade baseada em física para guiar o mascaramento de MAEs, distinguindo-o de estratégias que dependem de parâmetros aprendíveis ou algoritmos de treinamento externos.
• Interpretabilidade e Eficiência: A abordagem oferece um critério de mascaramento interpretável e adiciona sobrecarga computacional mínima, pois o cálculo da entropia é direto e não requer a aprendizagem de parâmetros extras durante o pré-treinamento.

Resultados Experimentais
O MO-MAE foi avaliado em dois benchmarks principais:

1. MedMNIST-V2: Uma coleção de imagens biomédicas 2D cobrindo várias modalidades (patologia, raio-X, dermatoscopia, etc.).
   • Desempenho: O MO-MAE demonstrou um aumento geral tanto na Precisão (ACC) quanto na Área sob a Curva (AUC) em comparação com o MAE original com mascaramento aleatório.
   • Comparação: O modelo alcançou a maior AUC/ACC na maioria dos conjuntos de dados, superando modelos state-of-the-art como MedVIT-S e MedVIT-L em vários cenários, apesar do MedVIT ser uma arquitetura computacionalmente intensiva que combina CNNs e Transformers.
   • Sensibilidade a Hiperparâmetros: Experimentos indicaram que $q=2$ forneceu o melhor compromisso entre fractalidade de curto e longo alcance para a seleção de patches.
2. COVID-CT: Um conjunto de dados para prever casos de COVID-19 a partir de tomografias computadorizadas (CT).
   • Desempenho: O MO-MAE alcançou uma Precisão de 0,85 e uma Pontuação F1 de 0,85.
   • Comparação: O modelo superou significativamente outros métodos da literatura, incluindo DenseNet-169 e ResGANet-101, que possuem um número muito maior de parâmetros aprendíveis.

Significado e Alegações
Os autores afirmam que o framework MO-MAE oferece uma direção promissora para melhorar a precisão e a eficiência de modelos de aprendizado profundo na análise de imagens médicas. Ao forçar o modelo a focar na reconstrução das regiões mais complexas e ricas em informação de uma imagem, a abordagem aprimora a capacidade do modelo de capturar características clinicamente relevantes.

O artigo enfatiza que este paradigma auto-supervisionado é particularmente valioso em cenários médicos onde dados rotulados são limitados. Além disso, os autores sugerem que o método é generalizável, potencialmente aplicável a outros domínios além da medicina e a tarefas relacionadas, como segmentação de imagens, embora essas aplicações sejam notadas como áreas para investigação futura em vez de resultados atuais. O estudo conclui que o uso de análise multifractal para guiar o mascaramento é uma estratégia viável e eficaz que evita a necessidade de mecanismos de mascaramento aprendíveis complexos.