MaRS: Robust Out-of-Distribution Detection via Mahalanobis Residual Scoring

Resumo Técnico: MaRS – Detecção Robusta de Fora da Distribuição via Pontuação de Resíduo de Mahalanobis

Definição do Problema
Modelos de fundação fornecem representações altamente descritivas para imagens médicas, mas sua confiabilidade degrada sob mudanças de distribuição causadas por alterações em populações de pacientes, dispositivos de imagem ou condições de aquisição. Embora a detecção de Fora da Distribuição (OOD - Out-of-Distribution) seja essencial para uma implantação clínica segura, os métodos existentes enfrentam limitações específicas. Métodos baseados em confiança frequentemente sofrem de fragilidade devido ao desequilíbrio de classes e má calibração. Métodos baseados em distância (ex: Deep kNN, Mahalanobis) podem degradar em embeddings de alta dimensão, onde as distâncias de vizinhos mais próximos tornam-se menos informativas e as estimativas de covariância são difíceis de regularizar. Métodos baseados em reconstrução, que aprendem um manifold de dentro da distribuição (ID - In-Distribution) e sinalizam amostras com grandes erros de reconstrução, têm visto uma adoção limitada. Os autores postulam que essa inconsistência não provém de uma má qualidade de reconstrução, mas sim de como os erros de reconstrução são pontuados. Abordagens padrão utilizam normas $L_2$ uniformes, que colapsam a estrutura anisotrópica dos resíduos, de modo que suprimem desvios informativos que ocorrem em direções de baixa variância.

Metodologia: MaRS
Os autores introduzem o MaRS (Mahalanobis Residual Scoring), um detector de OOD label-free (sem rótulos) e totalmente post-hoc, projetado para operar em características de backbone congeladas. O método consiste em três componentes primários:

1. Projeção de Manifold via Autoencoder: Dado um backbone congelado $\Phi$ que produz características $z$, um autoencoder leve $(E, D)$ é treinado nas características ID para minimizar a perda de reconstrução $\|z - \hat{z}\|_2^2$. Geometricamente, isso implementa uma projeção $\Pi_{M_{ID}}(z)$ sobre o manifold ID. O resíduo de reconstrução é definido como $r(x) = z - \hat{z}$.
2. Análise do Espaço de Resíduo: Os autores observam que, enquanto os resíduos ID são pequenos e refletem imperfeições de reconstrução, os resíduos OOD contêm componentes sistemáticos que refletem o desvio do manifold aprendido. Crucialmente, a distribuição desses resíduos é altamente anisotrópica.
3. Pontuação de Mahalanobis: Em vez de uma norma $L_2$ uniforme, o MaRS calcula a pontuação OOD usando a distância de Mahalanobis no espaço de resíduo:
   $$S_{MaRS}(x) = r(x)^\top \Sigma^{-1} r(x)$$
   onde $\Sigma$ é a matriz de covariância dos resíduos ID. Através da decomposição em autovalores $\Sigma = U\Lambda U^\top$, a pontuação é expressa como uma soma ponderada de projeções quadráticas sobre os componentes principais:
   $$S_{MaRS}(x) = \sum_{i=1}^{D} \frac{(u_i^\top r(x))^2}{\lambda_i}$$
   Esta formulação amplifica desvios ao longo de direções de baixa variância (estáveis) (onde $\lambda_i$ é pequeno) e reduz o peso de direções de alta variância (onde $\lambda_i$ é grande). Diferente dos métodos de Mahalanobis no espaço de embedding que dependem de médias condicionais de classe, o MaRS é label-free e depende de uma única covariância global dos resíduos, isolando efetivamente a variação semântica de classe para isolar o desvio de distribuição.

Principais Contribuições

• Framework MaRS: Um detector de OOD plug-and-play e label-free que aplica a distância de Mahalanobis aos resíduos de reconstrução de um autoencoder. Ele opera diretamente em características de backbone congeladas, garantindo eficiência computacional e adaptabilidade entre modalidades sem exigir o ajuste fino (fine-tuning) do backbone.
• Identificação da Anisotropia de Resíduo: O artigo identifica a anisotropia de resíduo como um sinal crítico, anteriormente negligenciado, para a detecção de OOD. Demonstra que a pontuação de Mahalanobis consciente da variância no espaço de resíduo supera substancialmente a agregação $L_2$ uniforme.
• Robustez à Arquitetura e Escala: Os autores mostram que o MaRS permanece robusto através de diferentes arquiteturas de backbone (ViT supervisionado e DINOv3 autossupervisionado) e escalas de modelo (Small e Base). Além disso, o método beneficia-se de operar em características de pré-normalização, onde a estrutura de variância anisotrópica intrínseca é preservada, ao contrário das linhas de base de espaço latente que exigem normalização.

Resultados Experimentais
Experimentos extensivos foram conduzidos através de três modalidades de imagem (histopatologia, raio-X de tórax, dermatoscopia), múltiplos tipos de desvio de distribuição (covariável, near-OOD, far-OOD, semântico) e diferentes famílias de modelos.

• Desempenho: O MaRS superou consistentemente as linhas de base estabelecidas de confiança (MSP, ODIN, ViM), de distância (Deep kNN, OCSVM, Mahalanobis++) e de reconstrução (Residual, AE).
• Significância Estatística: O MaRS superou significativamente o Mahalanobis++ (a linha de base de espaço latente mais forte) em 3 execuções e 5 divisões de conjunto de dados em termos de AUROC e FPR@95 (teste Wilcoxon signed-rank pareado, $p < 0.05$).
• Achados de Ablação: A análise espectral da covariância do resíduo revelou que mais de 90% da variância está concentrada em menos de um terço dos componentes principais. Desvios OOD foram encontrados concentrados nas direções de baixa variância restantes. A razão da energia do resíduo OOD para o ID foi 1.64$\times$ maior no subespaço de baixa variância, confirmando que a pontuação de Mahalanis isola efetivamente esses sinais informativos.
• Sensibilidade à Normalização: Embora a normalização melhore o desempenho para as linhas de base padrão de espaço latente, ela degrada o MaRS ao achatar o espectro de variância e suprimir as direções de baixa variância onde os sinais OOD são mais pronunciados.

Significância
O artigo afirma que uma limitação central dos detectores de OOD baseados em reconstrução existentes é a suposição implícita de erros de reconstrução isotrópicos. Ao substituir a agregação $L_2$ uniforme pela pontuação de Mahalanis consciente da covariância, o MaRS aborda essa limitação. Os autores afirmam que esta abordagem fornece um princípio simples, porém poderoso, para a detecção de OOD post-hoc em representações congeladas, oferecendo uma solução robusta e label-free que generaliza bem através de modalidades de imagem médica e escalas de modelo sem depender de rótulos de classe ou suposições de subespaço predefinidas. O trabalho sugere que melhorias futuras na detecção de OOD médica podem depender de um melhor modelamento da anisotropia do espaço de resíduo, em vez de apenas melhorar a qualidade da reconstrução ou as representações do backbone.