Resumo Técnico: Pontuações de Novidade Vendi para Detecção de Dados Fora da Distribuição

Declaração do Problema

Sistemas modernos de aprendizado de máquina frequentemente exibem comportamento imprevisível ao encontrar entradas fora da distribuição (OOD), produzindo com frequência previsões de alta confiança, mas incorretas. Isso representa riscos significativos em domínios de alto risco, como direção autônoma, imagem médica e descoberta científica. Embora a detecção de OOD seja crítica para a segurança, os métodos pós-hoc existentes enfrentam limitações:

• Métodos baseados em logits (por exemplo, Probabilidade Máxima de Softmax, pontuações de Energia) ignoram estatísticas de características da distribuição interna, reduzindo a confiabilidade.
• Métodos de densidade no espaço de características (por exemplo, distância de Mahalanobis) frequentemente dependem de suposições restritivas sobre a geometria das representações (por exemplo, Gaussianidade, colapso neural) que podem não se manter em arquiteturas diversas.
• Métodos baseados em similaridade (por exemplo, k-Vizinhos Mais Próximos) incorrem em sobrecarga computacional significativa no momento da inferência.
• Métodos baseados em gradientes frequentemente exigem múltiplas passagens forward e backward, tornando-os impraticáveis para aplicações sensíveis à latência.

Há uma necessidade de um detector de OOD pós-hoc computacionalmente eficiente que não dependa de suposições distribucionais restritivas e possa operar efetivamente mesmo com acesso limitado aos dados de treinamento.

Metodologia: A Pontuação de Novidade Vendi (VNS)

Os autores propõem a Pontuação de Novidade Vendi (VNS), um detector de OOD pós-hoc fundamentado no conceito de diversidade em vez de estimativa de densidade. A VNS aproveita a Pontuação Vendi (VS), uma família de métricas de diversidade baseadas em similaridade, para quantificar o quanto uma amostra de teste aumenta a diversidade de um conjunto de características da distribuição interna (ID).

Algoritmo Central

1. Novidade Condicional à Classe:

   • Para um classificador treinado $f_\theta$ com $C$ classes, o método extrai embeddings $h(x)$ da camada penúltima.
   • Para cada classe $c$, uma matriz de densidade condicional à classe $\rho_c$ é computada a partir dos embeddings de treinamento dessa classe.
   • A novidade de uma amostra de teste $x$ em relação à classe $c$ é definida como o aumento na razão logarítmica da Pontuação Vendi de ordem 2 ($VS_2$) quando $x$ é adicionado ao conjunto da classe:
     $$\Delta_c(x) = \log VS_2(\rho'_c) - \log VS_2(\rho_c)$$
   • Para garantir eficiência, os autores empregam uma aproximação de posto 1. Em vez de manter o espectro de autovalores completo de $\rho_c$, eles aproximam a mudança em $VS_2$ usando apenas o maior autovalor $\lambda_c$ e seu autovetor correspondente $u_c$. Isso reduz a complexidade de computar pontuações condicionais à classe para $O(D)$ por classe.

2. Agregação Ponderada por Probabilidade:

   • Em vez de confiar em uma única classe prevista, a VNS agrega pontuações de novidade condicionais à classe usando as probabilidades de classe previstas pelo modelo $p(x)$.
   • A pontuação local de OOD é computada como:
     $$S_{\text{LOCAL-OOD}}(x) = \sum_{c \in T_K(x)} N_c p_c(x)^\gamma \Delta_c(x)$$
     onde $T_K(x)$ representa as $K$ classes previstas principais, $N_c$ é o tamanho da classe (usado para escalonamento) e $\gamma$ controla a nitidez da agregação.

3. Correção de Diversidade Global:

   • Para contabilizar variações de densidade global, uma pontuação de novidade global é computada com base na mudança em $VS_\infty$ (que depende do maior autovalor da matriz de densidade global) quando a amostra de teste é adicionada a todo o conjunto de dados.
   • A pontuação final da VNS combina sinais locais e globais:
     $$\text{VNS}(x) = S_{\text{LOCAL-OOD}}(x) - g \cdot S_{\text{GLOBAL-OOD}}(x)$$
     onde $g \in \{0, 1\}$ é um coeficiente binário que determina se a correção global é aplicada.

Complexidade

• Complexidade Temporal: $O(CD)$, onde $C$ é o número de classes e $D$ é a dimensão do embedding. Isso é linear em ambos os parâmetros, tornando-o significativamente mais rápido que métodos baseados em Mahalanobis ($O(CD^2)$) e abordagens k-NN.
• Complexidade Espacial: $O(CD)$, pois requer apenas o armazenamento do maior autovalor e autovetor para cada classe.

Contribuições Principais

1. Novo Paradigma: Introduz uma perspectiva baseada em diversidade para detecção de OOD, afastando-se da modelagem de densidade tradicional ou análise de logits.
2. Pontuação de Novidade Vendi (VNS): Propõe um algoritmo específico que quantifica a novidade através do impacto de uma amostra de teste na diversidade de representações, utilizando aproximações eficientes de posto 1 da Pontuação Vendi.
3. Integração de Sinais Híbridos: Combina sinais de novidade local (condicionais à classe) e global, ponderados por probabilidades preditivas, para melhorar a robustez.
4. Eficiência de Dados: Demonstra que a VNS mantém desempenho de última geração (state-of-the-art) mesmo quando computada usando apenas 1% dos dados de treinamento, permitindo implantação em ambientes com restrições de memória.
5. Validação Teórica e Empírica: Fornece justificativa teórica para a aproximação de posto 1 e validação empírica extensa em múltiplos conjuntos de dados e arquiteturas.

Resultados Experimentais

Os autores avaliaram a VNS em benchmarks padrão de OOD: CIFAR-10, CIFAR-100 e ImageNet-1K, usando arquiteturas incluindo ResNet, ViT e Swin-T.

• Desempenho: A VNS alcançou desempenho de última geração (SOTA) no CIFAR-10 e resultados competitivos no CIFAR-100. No benchmark ImageNet-1K, a VNS reduziu a Taxa de Falsos Positivos em 95% de Taxa de Verdadeiros Positivos (FPR@95) em 13% em relação ao segundo melhor algoritmo em média.
• Robustez: Ao contrário de alguns métodos de moldagem de ativação que performam bem em ResNet, mas degradam em Transformers, a VNS demonstrou desempenho consistente em diferentes arquiteturas (ResNet, ViT, Swin-T).
• Eficiência: A VNS é ordens de magnitude mais rápida que o segundo método mais preciso (RMDS++) e comparável em latência a métodos baseados apenas em logits (por exemplo, GEN, NCI).
• Escassez de Dados: Quando treinada com apenas 1% dos dados de treinamento do ImageNet, a VNS alcançou uma AUROC média de 88,96%, quase idêntica ao seu desempenho com acesso total aos dados (88,59% de AUROC).

Significado e Alegações

O artigo afirma que a VNS oferece uma solução fundamentada, eficiente e robusta para detecção de OOD. Seu significado reside em:

• Evitar Suposições Restritivas: Ao depender de métricas de diversidade em vez de suposições de densidade Gaussiana, a VNS é menos sensível a violações de suposições geométricas comuns em representações de aprendizado profundo.
• Implantação Prática: A complexidade de tempo linear e a capacidade de funcionar com dados de treinamento mínimos tornam a VNS adequada para cenários do mundo real onde o acesso a dados de treinamento é limitado ou a latência é crítica.
• Segurança: O método fornece um mecanismo para sistemas de ML identificarem entradas além de sua competência, acionando respostas mais seguras, como abstenção ou escalonamento para humanos.

Os autores notam limitações, incluindo a necessidade de ajuste de hiperparâmetros (que eles abordam por meio de um conjunto de validação automatizado) e a dependência do kernel cosseno. Eles enfatizam que, embora a VNS melhore a segurança, não é uma solução completa e deve fazer parte de um protocolo de segurança mais amplo envolvendo monitoramento e supervisão humana.