MahaVar: OOD Detection via Class-wise Mahalanobis Distance Variance under Neural Collapse

Resumo Técnico: MahaVar: Detecção de OOD via Variância da Distância de Mahalanobis por Classe sob Colapso Neural

Declaração do Problema
A implantação de redes neurais profundas em ambientes do mundo real apresenta um desafio crítico: modelos treinados sob uma suposição de mundo fechado frequentemente encontram amostras de teste que estão fora de sua distribuição de treinamento (Out-of-Distribution ou OOD). Essas amostras podem levar a previsões excessivamente confiantes e potencialmente catastróficas. Embora a detecção de Out-of-Distribution (OOD) seja essencial para domínios críticos para a segurança, como direção autônoma e imagem médica, os métodos pós-hoc existentes (que não exigem retreinamento ou acesso a dados OOD) frequentemente dependem de sinais limitados. Especificamente, detectores baseados em distância de Mahalanobis, uma linha de base forte, geralmente focam exclusivamente na distância mínima até a distribuição gaussiana condicional à classe mais próxima, potencialmente ignorando a geometria estrutural das distâncias entre todas as classes.

Metodologia: MahaVar
Os autores propõem MahaVar, um detector OOD pós-hoc simples, porém eficaz, que amplia a distância de Mahalanobis padrão com um termo de variância da distância por classe. O método fundamenta-se na seguinte lógica:

1. Observação Empírica: Os autores observam que, para amostras In-Distribution (ID), as distâncias de Mahalanobis por classe ordenadas exibem uma "estrutura de mínimo agudo pronunciado". A distância até a classe mais próxima é significativamente menor do que as distâncias para todas as outras classes, que permanecem grandes e relativamente uniformes. Em contraste, amostras OOD exibem um mínimo menos pronunciado, com distâncias para todas as classes sendo comparativamente grandes e menos variáveis. Essa assimetria estrutural implica que amostras ID possuem uma variância maior nas distâncias por classe em comparação com amostras OOD.
2. Fundamentação Teórica (Colapso Neural): O artigo fornece uma análise teórica baseada no Colapso Neural, um fenômeno geométrico onde as características penúltimas de cada classe colapsam em direção à sua média de classe, e as médias das classes se organizam em uma Estrutura de Encaixe Angular Simples (Simplex Equiangular Tight Frame - ETF). Sob suposições relaxadas de Colapso Neural (especificamente compactação intraclasse e separação interclasse), os autores provam que amostras ID exibem estruturalmente uma variância de distância por classe estritamente maior do que amostras OOD. O Teorema 4.3 e o Corolário 4.4 estabelecem condições suficientes sob as quais essa separação de variância é garantida, particularmente quando amostras OOD mantêm separação angular suficiente das médias das classes ou não residem dentro do subespaço gerado pelas médias das classes.
3. Função de Pontuação: A pontuação OOD proposta $S(x)$ combina a distância de Mahalanobis mínima negativa com a variância por classe dessas distâncias:
   $$S(x) = -\min_{c} d_{Maha,c}(\hat{\phi}(x)) + \alpha \cdot \text{Var}_c[d_{Maha,c}(\hat{\phi}(x))]$$
   Onde $\hat{\phi}(x)$ representa características penúltimas normalizadas em L2, e $\alpha$ é um hiperparâmetro que controla o peso do termo de variância.

Principais Contribuições
O artigo faz três contribuições primárias:

1. Descoberta Empírica: Identificação de uma assimetria estrutural previamente não explorada: amostras ID exibem um mínimo agudo nas distâncias de Mahalanobis por classe (alta variância), enquanto amostras OOD exibem uma distribuição mais plana (baixa variância).
2. Justificativa Teórica: Uma análise principista que liga essa observação à geometria do Colapso Neural, provando que, sob condições geométricas específicas, amostras ID dominam estritamente amostras OOD em termos de variância de distância por classe.
3. Proposta Algorítmica: A introdução do MahaVar, um detector pós-hoc que integra esse termo de variância ao framework Mahalanobis++.

Resultados Experimentais
Os autores avaliaram o MahaVar seguindo o protocolo de benchmark OpenOOD v1.5 em três configurações In-Distribution (ID): CIFAR-10, CIFAR-100 e ImageNet, utilizando tanto configurações de avaliação Near-OOD quanto Far-OOD.

• Desempenho: O MahaVar alcança desempenho State-of-the-Art (SOTA) no CIFAR-100 e no ImageNet entre todos os métodos avaliados.
• Comparação com Linhas de Base: Ele supera consistentemente todas as linhas de base baseadas em Mahalanobis (incluindo Mahalanobis e Mahalanobis++) em todas as três benchmarks em termos de AUROC e FPR@95.
• Robustez: Na grande benchmark ImageNet, média sobre três arquiteturas de backbone (ResNet-50, Swin-B e ViT-B), o MahaVar alcança a melhor AUROC média e FPR@95. Notavelmente, enquanto outros métodos de modelagem de ativação (como ASH-S e SCALE) degradam significativamente em backbones baseados em Transformers (Swin-B, ViT-B), o MahaVar mantém desempenho estável e superior.
• Estudos de Ablação: Experimentos confirmam que o termo de variância fornece informações complementares significativas mesmo sem normalização L2, embora a combinação de normalização L2 e variância produza os melhores resultados. O método também é robusto à escolha da métrica de distância (L1, L2, Mahalanobis), com Mahalanobis performando melhor devido ao seu tratamento da estrutura de covariância.

Significado e Alegações
O artigo alega que a estrutura completa da distância por classe contém informações discriminativas mais ricas do que a distância apenas da classe mais próxima. Ao aproveitar as propriedades geométricas do Colapso Neural, o MahaVar oferece um método fundamentado teoricamente e robusto empiricamente para detecção de OOD. Os autores enfatizam que essa abordagem é particularmente valiosa para implantação no mundo real, onde o retreinamento de modelos é impraticável.

No entanto, os autores mantêm um tom modesto em relação às limitações:

• No CIFAR-10, métodos baseados em KNN ainda alcançam uma AUROC ligeiramente superior, sugerindo que abordagens não paramétricas podem ser superiores em configurações com baixo número de classes.
• O quadro teórico depende de suposições de Colapso Neural, que assumem redes bem treinadas próximas à fase terminal do treinamento. Os autores observam que relaxar essas suposições para cobrir geometrias de características mais gerais é uma direção para trabalho futuro.
• A implementação prática omite o passo de centralização da média global usado nas provas teóricas, pois a centralização foi encontrada para degradar o desempenho no ResNet-50 devido à geometria de características não negativas induzida por ativações ReLU.