Synthetic Data Generation for Long-Tail Medical Image Classification: A Case Study in Skin Lesions

Resumo Técnico: Geração de Dados Sintéticos para Classificação de Imagens Médicas de Cauda Longa

Declaração do Problema
Distribuições de classes de cauda longa são onipresentes em conjuntos de dados médicos multiclasse, impondo desafios significativos para modelos de aprendizado profundo. Nestes cenários, algumas classes "cabeça" dominantes contêm a maioria das amostras, enquanto inúmeras classes "cauda" clinicamente críticas (frequentemente correspondentes a doenças raras e de alto risco) estão severamente sub-representadas. Modelos treinados em dados tão enviesados tipicamente alcançam precisão geral competitiva, mas falham em generalizar para classes de cauda. Soluções existentes — categorizadas em design de funções de perda, melhorias na arquitetura do modelo e reequilíbrio de classes — oferecem apenas melhorias marginais. Esses métodos frequentemente dependem de ajuste meticuloso de hiperparâmetros, exibem generalização limitada entre diferentes modelos e lutam para escalar devido à natureza determinística da augmentação de dados manual. Além disso, embora modelos de difusão tenham demonstrado sucesso na geração de imagens naturais, sua aplicação à imagem médica específica de domínio e de cauda longa permanece subexplorada, particularmente no que tange à geração de amostras diversas, porém clinicamente significativas.

Metodologia
Os autores propõem um pipeline de augmentação de dados sintéticos acionado por modelo de difusão, adaptado para Classificação de Imagens Médicas de Cauda Longa (LTMIC), demonstrado especificamente na classificação de lesões cutâneas. A abordagem consiste em três etapas principais:

1. Arquitetura do Modelo de Difusão de Inpainting:
   O núcleo do método é um novo modelo de difusão de inpainting. Diferentemente dos modelos padrão de incorporação de texto, que são inadequados para descrições médicas altamente especializadas, os autores treinam uma rede simples de incorporação de classe totalmente conectada. O modelo recebe quatro entradas: a imagem original de dermatoscopia ($x$), uma máscara binária de área de interesse ($b$), o fundo da imagem de dermatoscopia ($d$) e o rótulo da classe ($y$). A imagem e o fundo são codificados em espaço latente por meio de um Variational Auto Encoder (VAE) pré-treinado. A máscara binária é reescalada para corresponder às dimensões latentes. Esses componentes são concatenados e alimentados em um UNet parametrizado por $\theta_d$ para estimar o ruído adicionado durante o processo de difusão forward. Uma rede de incorporação de classe parametrizada por $\theta_c$ fornece a condicionamento do rótulo.

2. Ajuste Fino com Seleção de Amostras:
   Para garantir que o modelo de difusão aprenda a distribuição de cada classe igualmente bem, uma estratégia de sobreamostragem é empregada durante o ajuste fino. Os autores aproveitam descobertas de trabalhos anteriores que sugerem que amostras "aproximadamente dentro da distribuição" (AID) (aquelas ligeiramente distantes do centro da distribuição) são mais importantes para treinar modelos generativos. Consequentemente, um método de detecção de anomalias médicas auto-supervisionado é usado para calcular pontuações de anomalia para cada amostra. Pesos são atribuídos com base na distância de uma amostra em relação à pontuação de anomalia mediana de sua classe; amostras mais próximas da região AID recebem pesos mais altos e são repetidas para equilibrar o conjunto de dados de ajuste fino entre todas as classes.

3. Geração Sintética e Filtragem OOD:
   O modelo ajustado finamente gera imagens sintéticas utilizando como entrada as imagens de fundo e os rótulos de classe do conjunto de dados de treinamento original. Devido à natureza estocástica dos modelos de difusão, o conjunto de dados sintético inicial ($D_{syn}$) contém amostras "ruidosas", incluindo imagens Fora da Distribuição (OOD) que podem não ser clinicamente válidas. Para abordar isso, um mecanismo de filtragem médica OOD é aplicado a $D_{syn}$ para produzir um conjunto de dados sintético limpo ($D_{clean}^{syn}$). O conjunto de dados de treinamento final é formado combinando o conjunto de dados de cauda longa original ($D_{LT}$) com $D_{clean}^{syn}$. Um hiperparâmetro $\gamma$ controla a porcentagem de amostras limpas retidas do conjunto sintético para cada classe.

Principais Contribuições
O artigo delineia três contribuições principais:

1. Pipeline Inovador: Um pipeline de geração de dados sintéticos integrando um modelo de difusão de inpainting com filtragem OOD, especificamente projetado para abordar o problema LTMIC.
2. Arquitetura Especializada: Uma nova arquitetura de modelo de difusão de inpainting adaptada para geração de imagens médicas, utilizando uma rede dedicada de incorporação de classe e condicionamento de fundo em vez de incorporações de texto genéricas.
3. Estratégia de Amostragem: Uma estratégia de amostragem baseada em OOD inovadora para ajuste fino de modelos de difusão em conjuntos de dados médicos de cauda longa, que prioriza amostras AID para melhorar a qualidade dos dados gerados para classes de cauda.

Resultados Experimentais
O método foi avaliado no conjunto de dados de classificação de lesões cutâneas ISIC2019, um benchmark contendo 25.331 imagens em 8 classes com desequilíbrio severo (variando de 12.875 amostras para Nevus a apenas 62 para Lesão Vascular). Os experimentos utilizaram validação cruzada de 5 dobras e um classificador simples baseado em CNN (sem ensemble ou dados externos) para isolar o impacto do método de geração de dados.

• Desempenho Geral: A abordagem proposta alcançou uma Precisão Multiclasse Balanceada (BMA) de 0,802, superando significativamente os métodos atuais de Estado da Arte (SOTA), incluindo ensembles de múltiplos modelos (MRE) e outras abordagens baseadas em difusão (por exemplo, CBDM, Dreambooth). Notavelmente, superou o método MRE em aproximadamente 4% em BMA sem exigir dados externos.
• Melhoria em Classes de Cauda: Os ganhos mais significativos foram observados em classes de cauda. Para a classe com o menor número de amostras (Dermatofibroma, DF), o método resultou em uma melhoria de precisão de mais de 28% em comparação com a linha de base sem dados sintéticos.
• Impacto da Filtragem OOD: O estudo constatou que a filtragem OOD é crucial para equilibrar o desempenho. Embora dados sintéticos sem filtragem tenham melhorado significativamente as classes de cauda, introduziram ruído que degradou ligeiramente o desempenho das classes de cabeça. O processo de filtragem restaurou o desempenho das classes de cabeça enquanto mantinha os ganhos nas classes de cauda.
• Sensibilidade aos Hiperparâmetros: Um estudo de ablação sobre $\gamma$ (a taxa de retenção de amostras sintéticas limpas) revelou que o desempenho melhora drasticamente mesmo com uma pequena quantidade de dados sintéticos, mas estabiliza ou diminui à medida que $\gamma$ se aproxima de 1 (sem filtragem). A faixa ótima para $\gamma$ foi identificada entre 0,2 e 0,6.

Significado e Alegações
Os autores afirmam que seus resultados demonstram a eficácia da augmentação baseada em difusão na mitigação do desequilíbrio de cauda longa e no aprimoramento da robustez da classificação médica. Ao gerar amostras sintéticas diversas, realistas e clinicamente significativas, o método aborda a escassez de dados de doenças raras sem depender de ensembles de modelos complexos ou funções de perda especializadas que são sensíveis a hiperparâmetros. O artigo conclui que, embora a abordagem atual trate a geração de dados e a classificação como processos independentes, trabalhos futuros focarão na otimização conjunta desses componentes para aprimorar ainda mais o desempenho LTMIC. O método é apresentado como agnóstico ao modelo, capaz de integração com qualquer arquitetura de classificação.