MARVEL: Margin-Aware Robust von Mises-Fischer Expert Learning for Long-Tailed Out-of-Distribution Detection

Resumo Técnico: MARVEL – Aprendizado de Especialistas de von Mises-Fischer Robusto e Consciente de Margem para Long-Tailed Out-of-Distribution Detection

Declaração do Problema
Redes neurais profundas (DNNs) alcançaram alto desempenho em imagens médicas, mas enfrentam desafios significativos de confiabilidade em implantações no mundo real. Dois problemas principais exacerbam isso:

1. Falha na Detecção de Out-of-Distribution (OOD): As DNNs frequentemente produzem predições excessivamente confiantes e errôneas em entradas OOD (ex: diferentes regiões anatômicas, modalidades ou imagens não radiográficas), o que gera riscos de segurança.
2. Desequilíbrio de Classes Long-Tailed: Conjuntos de dados médicos frequentemente seguem uma distribuição long-tailed onde poucas classes "cabeça" (head) dominam e inúmeras classes "cauda" (tail) são raras. Esse viés faz com que os modelos sofram overfitting nas classes cabeça, resultando em um aprendizado de representação pobre para as classes cauda. Consequentemente, amostras da cauda são frequentemente classificadas incorretamente como OOD, ou amostras OOD verdadeiras são confundidas com classes da cauda devido à sobreposição de clusters de características próximas às fronteiras de decisão.

A literatura existente frequentemente assume conjuntos de dados equilibrados, avalia a detecção de OOD em benchmarks de imagens naturais grosseiros ou falha em abordar a interação entre desequilíbrio de classes e incerteza de distribuição.

Metodologia: Estrutura MARVEL
Os autores propõem o MARVEL (Margin-Aware Robust von Mises-Fisher Expert Learning), uma estrutura projetada para classificação de ID (In-Distribution) em imagens médicas sob distribuições long-tailed com detecção de OOD. A arquitetura consiste em um extrator de características compartilhado e um ensemble de especialistas especializados.

1. Classificador Nonlinear von Mises-Fisher (NvMF):

   • Motivação: Classificadores convencionais baseados em vMF reduzem-se a similaridades de cosseno escalonadas, gerando fronteiras de decisão lineares no espaço hiperesférico. Isso limita a flexibilidade para modelar geometrias de classe complexas e heterogêneas encontradas em dados desequilibrados.
   • Inovação: Os autores reinterpretam a distribuição vMF através de sua estrutura de família exponencial. Em vez de tratá-la apenas como um modelo de verossimilhança, eles definem os logits usando mudanças na função de partição logarítmica ($\ell_c = -\Delta A(x)$).
   • Garantia Teórica: O artigo prova (Teorema 1) que, conforme o parâmetro de concentração $\kappa \to \infty$, os logits NvMF propostos convergem para a similaridade de cosseno padrão, estabelecendo-o como uma generalização fundamentada de classificadores hiperesféricos existentes. Para um $\kappa$ finito, ele induz fronteiras de decisão não lineares, permitindo uma melhor separação de clusters complexos.

2. Ensemble de Multi-Especialistas Consciente de Margem:

   • Para abordar o desequilíbrio long-tailed, a estrutura utiliza três especialistas NvMF, cada um treinado com um parâmetro de força de margem distinto $\tau \in \{0, 1, 2\}$:
     • Enviesado para a Cabeça ($\tau=0$): Classificador padrão para classes majoritárias.
     • Equilibrado ($\tau=1$): Rebalanceamento moderado.
     • Enviesado para a Cauda ($\tau=2$): Proteção agressiva para classes minoritárias.
   • Mecanismo: O termo de margem $\Delta_{yc} = \tau \log(\pi_c / \pi_y)$ é introduzido na função de perda, onde $\pi$ representa os priors de classe empíricos. Isso desloca assimetricamente as fronteiras de decisão para longe das classes da cauda, evitando que sejam sobrecarregadas pelas classes da cabeça.

3. Especialista de Outliers Dedicado:

   • Uma camada totalmente conectada simples e separada ($g_{out}$) é treinada explicitamente para classificação binária (ID vs. OOD).
   • Ela utiliza um conjunto de dados OOD auxiliar (ImageNet-100) durante o treinamento. Diferente dos especialistas NvMF que modelam classes ID finas, este especialista foca exclusivamente em separar inliers de outliers, fornecendo um sinal de supervisão direta para a detecção de OOD.

4. Estratégia de Inferência:

   • Classificação de ID: Agrega predições dos três especialistas NvMF (calculando a média das probabilidades softmax sobre as $K$ classes ID).
   • Detecção de OOD: Combina dois sinais: (i) a probabilidade da $(K+1)$-ésima classe (OOD) dos especialistas NVMF, e (ii) a probabilidade explícita de OOD do especialista de outliers. O escore final é a média desses dois sinais.

Protocolo de Avaliação
Os autores criticam os benchmarks existentes por dependerem de imagens naturais (ex: SVHN, LSUN) ou simples exclusão de classes. Eles propõem um framework de avaliação de OOD clinicamente realista abrangendo:

• Novas Classes: Classes semânticas não vistas durante o treinamento (Open-Set).
• Corrupções: Degradações sintéticas (ruído, desfoque, artefatos).
• NearOOD: Desvios de domínio dentro de imagens médicas (ex: diferentes dispositivos de aquisição, técnicas de coloração ou regiões anatômicas).
• FarOOD: Imagens naturais (MS-COCO) visualmente distantes de dados médicos.
• Datasets: Experimentos são conduzidos em RFMiD (imagem de retina), ISIC2019 (dermatologia) e NCTCRC (histopatologia), todos remodelados para seguir uma distribuição long-tailed de 50:1.

Principais Resultados

• Detecção de OOD: O MARVEL supera consistentemente os métodos de estado da arte (PASCL, COCL, EAT, PATT, OE) em todos os datasets e cenários OOD.
  • Alcança reduções de FPR95 médias de 8,45% (RFMiD), 13,02% (ISIC2019) e 36,90% (NCTCRC) em relação aos baselines.
  • Atinge AUROC quase saturado (>99%) nos cenários FarOOD e NearOOD2, atribuído ao especialista de outliers dedicado.
  • Mantém o melhor desempenho no cenário Open-Set mais desafiador, embora o AUROC permaneça abaixo de 85% nesta configuração específica, destacando a dificuldade inerente de distinguir novas classes de classes da cauda.
• Classificação de ID: O MARVEL alcança a maior Acurácia e Acurácia Balanceada. Ao contrário dos baselines que mostram um grande gap entre performance de cabeça e cauda, o MARVEL melhora significamente o reconhecimento de classes da cauda (ex: a acurácia da cauda aproxima-se de 95% no NCTCRC) enquanto mantém o desempenho das classes da cabeça.
• Estudos de Ablação:
  • Escolha do Classificador: O NvMF supera significativamente o vMF linear, o cosseno e os classificadores FC, validando o benefício das fronteiras não lineares.
  • Contagem de Especialistas: Um ensemble de três especialistas fornece o trade-off ideal; adicionar um quarto especialista não traz melhorias e frequentemente degrada o desempenho.
  • Calibração: O MARVEL demonstra calibração de confiança superior comparado aos baselines, que tendem a ser excessivamente confiantes (PASCL, PATT) ou pouco confiantes (OE, EAT).
  • Scoring de OOD: O scoring baseado em logits (MSP) dentro da estrutura supera métodos baseados em distância (KNN, Mahalanobis), que têm dificuldade com a natureza esparsa e anisotrópica das representações de classes da cauda.

Significância e Alegações
O artigo afirma que o MARVEL aborda uma lacuna crítica na IA médica ao unificar o reconhecimento de cauda longa e a detecção de OOD. Sua significância reside em:

1. Novidade Metodológica: Introdução de um classificador Nonlinear vMF teoricamente fundamentado que generaliza classificadores de cosseno e uma estratégia de multi-especialista consciente de margem para lidar com severo desequilíbrio de classes.
2. Modelagem Explícita de OOD: Desacoplamento da detecção de OOD da discriminação de classes ID multiclasse via um especialista de outliers dedicado, prevenindo a confusão entre classes raras da cauda e outliers verdadeiros.
3. Relevância Clínica: Indo além de benchmarks artificiais para avaliar modelos em um espectro de desvios de distribuição clinicamente reflexivos (mudanças de modalidade, variações de aquisição e imagens naturais).
4. Segurança: Permitir a identificação confiável de casos desconhecidos para deferimento a clínicos, apoiando assim diagnósticos assistidos por IA mais seguros em fluxos de trabalho reais, onde os dados são inerentemente desequilibrados e os desvios de distribuição são comuns.

Os autores reconhecem limitações, incluindo a dependência de dados OOD auxiliares para treinamento e a suposição de um espaço de rótulos fixo, observando que trabalhos futuros poderiam explorar aprendizado contínuo e tarefas de predição densa.