DAVIS: OOD Detection via Dominant Activations and Variance for Increased Separation

Título: DAVIS: Detecção de Distribuição Fora do Padrão (OOD) via Ativações Dominantes e Variância para Aumento da Separação

1. O Problema

A detecção de entradas Fora da Distribuição (OOD - Out-of-Distribution) é crucial para a segurança de modelos de aprendizado de máquina em cenários do mundo real. Quando um modelo enfrenta dados de classes desconhecidas ou contextos não vistos durante o treinamento, ele deve sinalizar incerteza em vez de fazer previsões confiantes e incorretas.

A limitação fundamental identificada pelos autores na maioria dos métodos de detecção post-hoc (após o treinamento) é a dependência de Global Average Pooling (GAP).

• Perda de Informação: O GAP resume cada mapa de ativação espacial em um único valor escalar (a média). Embora eficaz para classificação, essa operação descarta estatísticas distribucionais valiosas, como a intensidade do pico (ativação máxima) e a variância (dispersão) das ativações.
• Máscara de Sinais: O GAP suprime sinais discriminativos que são essenciais para distinguir entre dados In-Distribution (ID) e OOD. Dados ID tendem a ter ativações esparsas e de alta magnitude em canais específicos, enquanto dados OOD tendem a produzir ativações mais uniformes e de menor magnitude, mas o GAP dilui essa diferença ao calcular apenas a média.

2. Metodologia: DAVIS

O artigo propõe o DAVIS (Dominant Activations and Variance for Increased Separation), uma técnica post-hoc simples e plug-and-play que enriquece a representação de características antes da pontuação final de OOD.

Mecanismo Principal:
Em vez de usar apenas o vetor de características do GAP ($h(x)$), o DAVIS extrai estatísticas ricas dos mapas de ativação pré-pooling ($g(x)$) para cada canal $n$:

1. Ativação Dominante (Máximo): $m(x) = \max(g(x))$
2. Variância/Desvio Padrão: $\sigma(x)$
3. Média: $\mu(x)$ (equivalente ao GAP tradicional)

O DAVIS propõe duas formulações para o vetor de características enriquecido $h_{DAVIS}(x)$:

• DAVIS(m): Substitui o vetor de características pela ativação dominante (máximo) de cada canal.
• DAVIS($\mu, \sigma$): Aumenta a média com o desvio padrão escalado por um hiperparâmetro $\gamma$:
  $$h_{DAVIS}^{(\mu, \sigma)}(x) = \mu(x) + \gamma \sigma(x)$$

Integração:
O método é agnóstico ao modelo e pode ser integrado a qualquer função de pontuação existente (baseada em logits, energia, gradiente ou distância KNN). O vetor enriquecido é passado pela camada totalmente conectada original para gerar novos logits, melhorando a separabilidade entre as distribuições ID e OOD sem re-treinamento.

3. Contribuições Chave

1. Identificação da Limitação do GAP: Os autores demonstram que a perda de informação causada pelo Global Average Pooling é uma fraqueza subestimada na detecção de OOD.
2. Proposta do DAVIS: Um módulo simples que recupera estatísticas de pico e variância perdidas, criando representações de características mais discriminativas.
3. Análise Estatística e Teórica: O artigo fornece uma prova formal (Apêndice B) mostrando que a separação entre as expectativas de logits para dados ID e OOD aumenta quando se utiliza a combinação de média e variância (ou máximo), sob a suposição de que os pesos da camada final têm uma soma não negativa (uma propriedade comum observada empiricamente).
4. Validação em Arquiteturas Diversas: O método foi testado em uma ampla gama de arquiteturas, desde CNNs tradicionais (ResNet, DenseNet) até modelos modernos (Swin Transformer, ConvNeXt, EfficientNet), demonstrando robustez onde outros métodos falham.

4. Resultados Experimentais

O DAVIS foi avaliado em benchmarks padrão (CIFAR-10, CIFAR-100, ImageNet) com múltiplos conjuntos de dados OOD (far-OOD e near-OOD).

• Desempenho Superior: O DAVIS reduziu significativamente a Taxa de Falsos Positivos a 95% de Sensibilidade (FPR95) em comparação com os melhores métodos existentes.
  • ImageNet: Reduções de FPR95 de 25,09% (Swin-B), 16,53% (ConvNeXt-B) e 7,96% (ResNet-50) em relação aos métodos state-of-the-art.
  • CIFAR: Reduções de FPR95 de até 52,08% em ResNet-18 no CIFAR-10.
• Robustez em Arquiteturas Modernas: O DAVIS manteve alta performance em modelos modernos (Swin-B, ConvNeXt) que utilizam normalização por camada (LayerNorm) e funções de ativação não-ReLU (GeLU, SiLU), onde métodos baseados em esparsidade (como ReAct, DICE) tendem a falhar devido à natureza densa das ativações nesses modelos.
• Cenários Near-OOD: O método demonstrou eficácia mesmo quando a diferença semântica entre ID e OOD é pequena (ex: CIFAR-10 vs. CIFAR-100).
• Custo Computacional: O overhead é negligenciável (< 0,1% de GFLOPs adicionais), pois envolve apenas cálculos estatísticos simples nos mapas de ativação já existentes.

5. Significado e Impacto

O trabalho do DAVIS é significativo por várias razões:

• Mudança de Paradigma: Desafia a suposição de que o GAP é suficiente para a detecção de OOD, propondo que a "informação de distribuição" (variância e picos) é tão importante quanto a informação de média para a detecção de anomalias.
• Generalização: Ao contrário de métodos que dependem de suposições específicas sobre a esparsidade das ativações (válidas apenas para ReLU), o DAVIS funciona robustamente em arquiteturas modernas e diversas funções de ativação.
• Simplicidade e Eficiência: Oferece um ganho de desempenho massivo sem a necessidade de re-treinamento complexo, dados de outliers auxiliares ou modificações profundas na arquitetura do modelo.
• Fundamento Teórico: Fornece uma justificativa matemática para o uso de estatísticas de ordem superior (máximo e variância) na detecção de OOD, validando empiricamente que essas estatísticas criam um "gap" de separação maior entre ID e OOD do que a média sozinha.

Em resumo, o DAVIS demonstra que recuperar estatísticas descartadas pelo pooling global é uma estratégia poderosa, simples e universalmente aplicável para melhorar a segurança e a confiabilidade de modelos de visão computacional em ambientes abertos.