Resumo Técnico: Explorando a Planicidade Local para Detecção Eficiente de Fora da Distribuição (OOD)

Declaração do Problema

A implantação confiável de aprendizado de máquina requer a capacidade de detectar dados fora da distribuição (OOD) — amostras extraídas de distribuições disjuntas do conjunto de treinamento. Redes neurais profundas modernas frequentemente produzem previsões errôneas e excessivamente confiantes em tais entradas. Embora métodos de detecção post-hoc (que operam em modelos pré-treinados sem retreinamento) sejam atraentes por sua eficiência, as abordagens baseadas em curvatura existentes enfrentam limitações significativas. Métodos que utilizam a curvatura do cenário de perda (por exemplo, via aproximação de Laplace) para estimar a incerteza do modelo são computacionalmente proibitivos para redes grandes devido ao escalonamento quadrático da matriz Hessiana. Além disso, esses métodos dependem de suposições implícitas em relação à diferença na planicidade do cenário entre dados da distribuição interna (ID) e OOD, as quais não foram sistematicamente investigadas.

Metodologia

1. Observações Empíricas sobre a Discrepância de Curvatura

Os autores primeiro fornecem uma análise empírica sistemática da curvatura do cenário de perda induzida por amostras ID e OOD. Usando o método de Hutchinson para estimar estatísticas da Hessiana (maior autovalor $\lambda_{max}$ e traço $tr(H)$) sem construir a matriz completa, eles observam:

• Curvatura ID vs. OOD: Amostras ID exibem consistentemente menor curvatura (menor $\lambda_{max}$ e traço) em comparação com amostras OOD.
• Severidade do Deslocamento: A lacuna de curvatura aumenta à medida que o deslocamento de distribuição se torna mais severo, movendo-se dos regimes de quase-OOD para os de OOD distante.
• Separabilidade por Amostra: A distribuição do traço da Hessiana por amostra mostra uma separação clara, com amostras ID concentradas em valores menores e amostras OOD deslocando-se para valores mais altos com distribuições mais amplas.

2. FOLD: Detecção OOD Modulada pela Planicidade

Motivado pela observação de que amostras ID residem em regiões mais planas do cenário de perda, o artigo propõe o FOLD, um detector leve que evita o custo proibitivo da aproximação de curvatura no espaço de parâmetros.

• Hessiana de Características (Feature Hessian): Em vez de computar a Hessiana completa de parâmetros, o FOLD transporta a curvatura do espaço de logits de volta para o espaço de características latentes. Dada uma rede decomposta em um codificador de características $h(\cdot)$ e um classificador linear $g(\cdot)$, a Hessiana de características é derivada via regra da cadeia de segunda ordem:
  $$\nabla_{\mathbf{h}}^2 \mathcal{L} = (\nabla_{\mathbf{h}} g) (\nabla_{\mathbf{z}}^2 \mathcal{L}) (\nabla_{\mathbf{h}} g)^{\top}$$
  Este operador projeta a incerteza preditiva sobre o manufóide de características induzido pelo classificador, capturando estruturas geométricas críticas para a detecção de OOD.
• Normalização Parcial de Características: Para abordar o problema onde grandes magnitudes de características fazem o softmax saturar (achatando o cenário de perda e fazendo a Hessiana desaparecer), o FOLD introduz a normalização parcial de características:
  $$\tilde{\mathbf{h}} = \frac{\mathbf{h}}{\|\mathbf{h}\|^{\alpha}}, \quad 0 < \alpha \leq 1$$
  O escore de detecção é definido como o traço da Hessiana neste espaço normalizado: $S_{fold}(\mathbf{x}) = \text{tr}(\nabla_{\tilde{\mathbf{h}}}^2 \mathcal{L})$.
  • Dependência de Dataset: O $\alpha$ ideal varia conforme a complexidade do conjunto de dados. Datasets simples (ex: CIFAR) beneficiam-se de uma normalização quase total ($\alpha \approx 1$), enquanto datasets complexos (ex: ImageNet) requerem uma supressão mais branda ($\alpha \approx 0.2$) para preservar pistas de magnitude informativas.

3. AUTOFOLD: Calibração Autossupervisionada

Para eliminar a necessidade de conjuntos de validação OOD externos para ajustar o $\alpha$, os autores introduzem o AUTOFOLD. Este esquema autossupervisionado:

• Gera amostras pseudo-OOD mascarando o logit dominante das amostras ID (definindo o logit da classe verdadeira como $-\infty$), simulando um cenário de classe desconhecida.
• Seleciona automaticamente o $\alpha^*$ ideal maximizando a AUROC entre os escores das amostras de validação ID originais e seus correspondentes com logits mascarados.
• Opera inteiramente no tempo de inferência com overhead negligenciável, não exigindo retreinamento ou dados externos.

Principais Contribuições

1. Análise Sistemática de Curvatura: A primeira investigação sistemática confirmando que entradas OOD exibem maior curvatura de Hessiana do que dados ID, com a discrepância aumentando sob deslocamentos de distribuição mais fortes.
2. Algoritmo de Detecção Eficiente (FOLD): Um método leve que utiliza a Hessiana de características e a normalização parcial de características para aumentar a separabilidade ID-OOD sem o overhead de métodos de aproximação de curvatura bayesianos.
3. Ajuste Automático de Hiperparâmetros (AUTOFOLD): Uma estratégia autossupervisionada usando o mascaramento de logits de ID para calibrar parâmetros de normalização sem dados OOD externos.
4. Validação Teórica e Empírica: A análise teórica (sob suposições simplificadas de classificação binária) apoia a afirmação de que o traço esperado da Hessiana de características é maior para dados OOD. Experimentos extensos validam essas descobertas através de diversas arquiteturas e datasets.

Resultados Experimentais

Os autores avaliaram o FOLD e o AUTOFOLD em benchmarks padrão de OOD (CIFAR-10, CIFAR-100, ImageNet-200, ImageNet-1K) contra um conjunto abrangente de baselines post-hoc (ex: MSP, ODIN, ReAct, VIM, KNN).

• Desempenho: FOLD e suas variantes superam consistentemente métodos anteriores.
  • FOLD-R (FOLD combinado com o limiar de ativação do ReAct) alcançou o melhor desempenho médio, melhorando a AUROC média em 1,63% e reduzindo o FPR95 em 2,30% em comparação com baselines fortes.
  • Variantes do AUTOFOLD alcançaram desempenho competitivo ao FOLD de $\alpha$ fixo, demonstrando que a calibração automática é eficaz sem ajuste manual.
• Eficiência: O FOLD mantém a eficiência computacional comparável a uma passagem direta (forward pass) padrão. Diferente de métodos que exigem configuração cara (ex: KNN, MDS) ou inferência custosa (ex: RMDS), o FOLD possui overhead quase mínimo.
• Generalização: O método demonstra desempenho estável através de diversas arquiteturas de backbone (RegNet, DenseNet, WRN, ResNeXt), indicando que as vantagens geométricas da pontuação baseada em curvatura são agnósticas à arquitetura.
• Estudos de Ablação:
  • Normalização: A normalização parcial mostrou-se superior à normalização total em datasets complexos (ImageNet), onde a normalização total descartava pistas de magnitude informativas, colapsando o hiato espectral entre ID e OOD.
  • Hessiana de Características: O uso da Hessiana de características resultou em uma AUROC maior do que o uso da Hessiana de logits isoladamente, particularmente em domínios complexos, confirmando o valor de incorporar a geometria induzida pelo classificador.

Significância e Alegações

O artigo afirma fornecer uma solução fundamentada e prática para detecção de OOD robusta no mundo real. Ao explorar a propriedade estrutural de que dados ID residem em regiões de perda mais planas do que dados OOD, o FOLD preenche a lacça entre a promessa teórica da estimativa de incerteza baseada em curvatura e as restrições práticas de eficiência computacional.

Os autores enfatizam que sua abordagem:

• Evita o "overhead computacional proibitivo" típico das aproximações de curvatura bayesianas.
• Remove a dependência de conjuntos de validação OOD externos para o ajuste de hiperparâmetros via AUTOFOLD.
• Oferece um componente "plug-and-play" (normalização parcial) que melhora os frameworks de detecção existentes.
• Fornece uma base teórica (Teorema 1) ligando os traços da Hessiana de características a deslocamentos de distribuição, oferecendo uma explicação intuitiva para o sucesso empírico observado.

O trabalho conclui que o FOLD alcança um equilíbrio favorável entre precisão de detecção e eficiência computacional, tornando-o adequado para implantação em cenários onde dados OOD não estão disponíveis para validação e a inferência em tempo real é necessária.