Resumo Técnico: Uma Análise Sistemática da Detecção Fora de Distribuição Sob Mudanças de Paradigma de Representação e Treinamento

Declaração do Problema

Redes neurais profundas frequentemente produzem "falhas silenciosas", entregando previsões incorretas com alta confiança. A detecção Fora de Distribuição (OOD) visa sinalizar essas falhas atribuindo pontuações de confiança que distinguem previsões confiáveis de não confiáveis. Embora existam inúmeras Funções de Pontuação de Confiança (CSFs), seus rankings de desempenho são notoriamente instáveis em diferentes conjuntos de dados, arquiteturas e pipelines de treinamento. A questão central abordada por este trabalho é: Quando uma família específica de detectores funciona e que propriedade do modelo treinado determina sua eficácia?

Os autores desafiam a visão de que a detecção OOD é meramente um concurso entre regras de pontuação. Em vez disso, eles hipotetizam que o desempenho é governado principalmente pela geometria da representação aprendida, moldada pela arquitetura, paradigma de treinamento e complexidade do espaço de rótulos, e não pelo design da pontuação aplicada sobre ela.

Metodologia

1. Benchmark Centrado em Representação

Os autores apresentam um benchmark sistemático que varia factorialmente quatro dimensões-chave:

• Backbones: CNNs (VGG-13, ResNet-18) e Vision Transformers (ViT).
• Paradigmas de Treinamento: Entropia Cruzada Vanilla (ConfidNet), DeVries (confiança interpolada) e Deep Gamblers (perda de aposta com reserva).
• Conjuntos de Dados de Origem: CIFAR-10, CIFAR-100, SuperCIFAR-100 e TinyImageNet.
• Regimes OOD: Os conjuntos de dados são agrupados em regimes próximo, médio e distante com base em distâncias semânticas derivadas do CLIP, indo além das agrupamentos binários padrão próximo/distante.

2. Pipeline de Ranking Estatístico

Para abordar a instabilidade dos rankings, o artigo substitui resumos de único vencedor por um pipeline de ranking controlado por múltiplas comparações:

• Métricas: Métricas livres de limiar AURC (Área sob a Curva de Risco-Cobertura) e AUGRC (Área sob a Curva de Risco-Cobertura Generalizada).
• Procedimento: O teste de Friedman identifica diferenças significativas nos rankings. Testes post-hoc de Conover–Holm com correção de Holm identificam cliques de "vencedores" estatisticamente indistinguíveis. Isso permite a identificação de grupos de CSFs que são conjuntamente competitivos, em vez de forçar uma única melhor escolha.

3. Filtragem por Projeção

O estudo introduz a filtragem por projeção como uma intervenção controlada na geometria da representação. Usando Análise de Componentes Principais (PCA) em características da penúltima camada, os autores reconstroem características a partir de subespaços de baixo rank. Eles avaliam três variantes:

• Projeção Global: Um único subespaço para todas as classes.
• Projeção por Classe: Subespaços específicos para cada classe.
• Projeção Prevista por Classe (CPP): Usando o subespaço da classe prevista pelo modelo.

4. Análise de Colapso Neural (NC)

Os autores utilizam métricas de Colapso Neural (NC) para quantificar a geometria das características da última camada. Essas métricas medem fenômenos como colapso de variabilidade, convergência para uma estrutura de moldura equiangular simples (ETF) e autodualidade entre médias de classes e pesos do classificador.

• Correlação: Testes de Mantel são usados para correlacionar distâncias de geometria NC com distâncias de ranking de CSF.
• Previsão: Um framework preditivo baseado em NC é proposto. Um modelo de regressão logística L2 por CSF é treinado em características NC (computadas a partir do classificador treinado) para prever a lista curta competitiva de detectores para um novo modelo, sem exigir dados de validação OOD.

Principais Contribuições

1. Benchmark Consciente de Representação: Uma avaliação abrangente que abrange CNNs, ViTs, múltiplos paradigmas de treinamento e um regime OOD granular de três níveis (próximo/médio/distante).
2. Pipeline de Clique Estatístico: Um método robusto para identificar CSFs de alto desempenho estatisticamente indistinguíveis, proporcionando uma visão mais matizada do desempenho competitivo do que médias agregadas.
3. Estratificação Baseada em CLIP: Um agrupamento orientado por dados de conjuntos de dados OOD que revela uma transição sistemática na eficácia do detector, de pontuações baseadas em margem (OOD-próximo) para pontuações conscientes de geometria (OOD-médio/distante).
4. Insights da Filtragem por Projeção: A demonstração de que a granularidade ótima de filtragem é dependente da arquitetura: a Projeção Global melhora amplamente as CSFs em CNNs, enquanto a Projeção Prevista por Classe (CPP) é a intervenção crítica para ViTs ajustados finamente.
5. Preditivo Baseado em NC: Um método para recomendar uma lista curta competitiva de detectores para um modelo não visto usando apenas o perfil NC do modelo, eliminando a necessidade de dados de validação OOD.

Resultados

Achados Empíricos sobre Famílias de Detectores

A família de detectores competitiva transita sistematicamente com a severidade da mudança e a arquitetura:

• CNNs:
  • Dentro da Distribuição/Misclassificação: Dominado por pontuações probabilísticas simples (ex: GEN, MSR).
  • OOD-Próximo: Pontuações baseadas em margem (Energy, MLS) e NNGuide são as mais fortes.
  • OOD-Médio/Distante: Pontuações conscientes de geometria (CTM, fDBD, NNGuide) tornam-se dominantes.
• ViTs (Ajustados Finamente):
  • A transição é mais abrupta. O OOD-próximo é heterogêneo.
  • O OOD-médio é dominado por pontuações baseadas em reconstrução (KPCA RecError).
  • O OOD-distante muda para pontuações baseadas em resíduo (Residual, ViM, pNML).

Impacto da Filtragem por Projeção

• CNNs: A projeção global melhora significativamente pontuações baseadas em distância (ex: Mahalanobis, CTM) removendo variações nocivas, enquanto variantes condicionais por classe frequentemente degradam o desempenho.
• ViTs: A Projeção Prevista por Classe (CPP) gera os maiores ganhos (ex: para GradNorm), removendo efetivamente resíduos de pré-treinamento que obscurecem a geometria específica da tarefa. A projeção global fornece ganhos modestos para pontuações baseadas em logits.

Geometria NC e Previsão

• Correlação: Testes de Mantel confirmam uma correlação significativa ($r = 0,31\text{--}0,68, p \le 0,004$) entre a geometria NC e os rankings de CSF em todos os paradigmas de treinamento.
• Transferência Cross-Arquitetura: Um preditor baseado em NC treinado em VGG-13 prevê com sucesso listas curtas competitivas para ResNet-18 sem retreinamento.
  • Desempenho: A lista curta prevista reduz o arrependimento médio do conjunto sobre a linha de base CSF fixa mais forte em 51% a 84% através dos regimes OOD próximo, médio e distante.
  • Significância: Em 49 de 54 comparações pareadas de Wilcoxon corrigidas por Holm, o preditor superou significativamente as linhas de base.

Significância e Alegações

O artigo afirma que o desempenho da detecção OOD é governado principalmente pelo regime de representação, e não apenas pelo design da pontuação.

• Mecanismo: A geometria da representação aprendida (especificamente o grau de Colapso Neural e alinhamento com os pesos do classificador) dita quais regras de pontuação são eficazes. Pontuações conscientes de protótipos e limites prosperam quando as representações estão colapsadas e alinhadas; pontuações baseadas em gradiente e variedade são preferidas quando o colapso é mais fraco.
• Utilidade Prática: Os autores demonstram que é possível prever qual detector OOD funcionará para um determinado modelo simplesmente analisando a geometria interna do modelo (métricas NC), removendo a necessidade de dados caros de validação OOD.
• Mudança Metodológica: O trabalho move o campo de perguntar "Qual CSF vence em média?" para "Qual família é estatisticamente competitiva sob qual regime de representação e por quê?".

Os autores permanecem modestos quanto ao escopo, observando que os resultados são restritos à classificação de imagens em conjuntos de dados e backbones específicos, e que a transferência cross-arquitetura foi testada em um único par CNN-a-CNN. Eles enfatizam que o preditor NC fornece uma lista curta de candidatos em vez de uma única escolha determinística, reconhecendo que uma quebra de empate adicional pode ser necessária na implantação.