An Information-Theoretic Framework for Feature Construction in Out-of-Distribution Detection

=== RASCUNHO ===
Resumo Técnico: Uma Estrutura de Informação-Teórica para Construção de Características em Detecção de Fora da Distribuição

Definição do Problema
Sistemas de aprendizado de máquina frequentemente falham ao encontrar dados fora da distribuição (OOD - out-of-distribution), produzindo previsões incorretas com alta confiança. Embora existam numerosos métodos de detecção de OOD post-hoc, eles são, em grande parte, abordagens empíricas baseadas em regras (ex: ReAct, FS-OPT, VRA, ASH) que carecem de uma fundamentação teórica unificada. Consequentemente, esses métodos frequentemente têm dificuldade em generalizar entre diferentes conjuntos de dados e tipos de desvios distributivos (semânticos e de covariável). Há uma necessidade de uma estrutura teórica que possa derivar características de OOD baseadas em pressupostos estatísticos subjacentes, explicar as propriedades dos métodos existentes e gerar sistematicamente novas características mais robustas.

Metodologia
Os autores propõem uma nova estrutura de informação-teórica que formula a construção de características de OOD como um problema de otimização variacional.

1. Formulação de Característica Aleatória: Ao contrário das funções de modelagem de características determinísticas existentes, os autores modelam as características de OOD ($\tilde{Z}$) como variáveis aleatórias derivadas das características da rede ($Z$) via uma distribuição condicional $p(\tilde{z}|z)$. A média desta distribuição corresponde às funções de modelagem determinísticas encontradas na literatura.
2. Funcional de Perda: A otimização busca uma distribuição condicional que minimize um funcional de perda composto $L$:
   • Termo de Divergência KL: Maximiza a separação entre as distribuições de características ID (dentro da distribuição) e OOD usando a divergência de Kullback-Leibler (KL) simetrizada.
   • Regularização de Gargalo de Informação (IB - Information Bottleneck): Minimiza a informação mútua entre a característica de entrada $Z$ e a característica de OOD $\tilde{Z}$, enquanto maximiza a informação mútua entre $\tilde{Z}$ e o rótulo de OOD $Y$. Isso garante que a característica seja comprimida, mas retenha informações especificamente relevantes para a detecção de OOD, filtrando variações estranhas.
3. Otimização: Como o problema é definido sobre um espaço de dimensões infinitas de medidas de probabilidade, os autores empregam o cálculo de variações para derivar gradientes. Eles assumem independência elemento a elemento e gaussianidade para a distribuição condicional $p(\tilde{z}|z) \sim \mathcal{N}(\mu(z), \sigma_c(z))$, permitindo um algoritmo de descida de gradiente computacionalmente viável para resolver para a média ótima $\mu(z)$ e o desvio padrão $\sigma_c(z)$.
4. Análise Distributiva: A estrutura analisa as características ótimas sob várias distribuições de OOD assumidas (Gaussiana, Laplaciana e uma variante de Gauss Inversa proposta). O estudo revela que diferentes pressupostos distributivos levam a comportamentos de modelagem distintos:
   • OOD Gaussiana: Resulta em características com inclinações positivas para valores pequenos e inclinações negativas (ou corte/clipping) para valores grandes, dependendo do peso de regularização do IB.
   • OOD de Cauda Pesada (Laplaciana/Gauss Inversa): Resulta em características que suprimem valores pequenos (zerando-os) e cortam valores grandes, com regiões lineares para valores intermediários.
5. Função de Modelagem Proposta (PLF): Motivados pela observação de que as formas ótimas entre diferentes distribuições podem ser aproximadas por funções lineares por partes, os autores introduzem uma Função Linear por Partes (PLF). Esta função de 7 parâmetros é parametrizada usando quantis das magnitudes das características in-distribution para garantir adaptabilidade entre arquiteturas e conjuntos de dados.

Principais Contribuições

1. Estrutura Teórica: Introdução de um funcional de perda variacional e de informação-teórica que deriva características de OOD como variáveis aleatórias, unificando a separação de distribuições com a compressão de informação.
2. Explicação Teórica de Métodos Existentes: A estrutura demonstra que os métodos baseados em regras de estado da arte (SoA) existentes (ex: ReAct, VRA, ASH) correspondem implicitamente a pressupostos de distribuições de OOD e forças de regularização subjacentes específicas. Por exemplo, o corte (clipping) está ligado a uma alta regularização de IB, enquanto a supressão de valores pequenos está ligada a pressupostos de OOD de cauda pesada.
3. Nova Função de Modelagem (PLF): Derivação de uma nova função de modelagem linear por partes, teoricamente motivada, que generaliza as propriedades dos métodos existentes sem se comprometer com um único pressuposto de distribuição a priori.
4. Parametrização Baseada em Quantis: Uma formulação inovadora para os pontos de quebra da PLF usando quantis empíricos, permitindo que o método se generalize através de diferentes intervalos de características sem aumentar a contagem de parâmetros.

Resultos
Os autores validam o método PLF contra detectores de OOD post-hoc de SoA em extensos benchmarks:

• Desvios Semânticos: No benchmark OpenOOD (abrangendo CIFAR-10, CIFAR-100, ImageNet-200 e ImageNet-1K), o PLF classifica-se entre os três primeiros de todos os 21 métodos avaliados em todos os conjuntos de dados e arquiteturas. Ele alcança o melhor ranking geral no desafiador benchmark ImageNet-1K e supera consistentemente outros métodos de modelagem de características (Energy, ReAct, VRA-P, FS-OPT).
• Desvios de Covariável: No dataset BROAD e nos benchmarks de desvio de covariável do OpenOOD (incluindo ImageNet-C, ImageNet-R, ImageNet-V2 e ataques adversariais como AutoAttack e PGD), o PLF alcança a maior AUROC média entre os métodos de modelagem de características e classifica-se em segundo lugar no geral entre todos os 21 métodos. Ele demonstra robustez através de diversos desvios onde outros métodos frequentemente se especializam em apenas um subconjunto. Notavelmente, este trabalho apresenta o primeiro benchmarking abrangente de detectores de OOD post-hoc em desvios de covariável especificamente dentro do framework OpenOOD.
• Eficiência: O custo de inferência é comparável aos métodos lineares por partes existentes (microssegundos por imagem em uma GPU A100).

Significância
O artigo afirma fornecer a primeira estrutura teórica geral para a construção de características de OOD baseada em distribuições estatísticas. Sua significância reside em ir além das heurísticas empíricas baseadas em regras para uma abordagem principista que explica por que os métodos existentes funcionam e como construir melhores. Ao demonstrar que uma única função de modelagem, derivada teoricamente (PLF), pode superar métodos especializados tanto em desvios semânticos quanto de covariável, o trabalho sugere que uma estratégia de modelagem de características unificada e agnóstica à distribuição é alcançável. Os autores observam que este é o primeiro benchmarking abrangente de detectores de OOD post-hoc em desvios de covariável dentro do framework OpenOOD, destacando as capacidades de generalização abrangentes do método. O trabalho futuro é identificado como a exploração da distribuição completa da característica aleatória (não apenas a média), a integração de funções de pontuação (score functions) na teoria e a extensão para funções gerais de modelagem de vetores.