Resumo Técnico: Fusão Mínima de Tippett de Modelos de Difusão no Espaço de Representação para Detecção de Fora de Distribuição com Múltiplos Codificadores

Declaração do Problema

A detecção de fora de distribuição (OOD) visa identificar se uma amostra de teste origina-se do mesmo processo que os dados de treinamento (dentro de distribuição, ID). Embora modelos generativos profundos, particularmente modelos de difusão, tenham mostrado promessa na estimativa de densidade, operá-los diretamente no espaço de pixels é computacionalmente caro e frequentemente produz pontuações OOD pouco confiáveis. Por outro lado, modelos de difusão no espaço de representação (RDMs), operando sobre características comprimidas de codificadores pré-treinados, oferecem uma alternativa tratável. No entanto, um desafio fundamental permanece: diferentes codificadores pré-treinados (por exemplo, CLIP, DINOv2, ResNet-50) capturam aspectos distintos da estrutura da imagem (alinhamento global, semântica de alta granularidade, textura) e, portanto, são sensíveis a diferentes tipos de deslocamentos de distribuição (mudanças globais de domínio, divergência semântica, corrupções de covariáveis). Nenhum codificador único domina em todos os tipos de deslocamento. O problema central abordado é como combinar efetivamente múltiplos codificadores especializados para detectar amostras OOD quando o tipo específico de deslocamento de distribuição é desconhecido no momento do teste, sem depender de rótulos OOD para calibração.

Metodologia: EncMin2L

O artigo propõe EncMin2L, um framework que funde modelos de difusão no espaço de representação por codificador usando um portão mínimo de dois níveis com base estatística.

1. Diagnósticos de Especialização de Codificadores

Antes do treinamento, os autores introduzem dois diagnósticos computados inteiramente a partir de dados ID para caracterizar a sensibilidade do codificador:

• $\eta^2$ (Teste F condicional à classe): Mede a fração da variância da verossimilhança logarítmica explicada pela identidade da classe. Um $\eta^2$ alto indica sensibilidade a deslocamentos semânticos de alta granularidade (por exemplo, CIFAR-100), enquanto um $\eta^2$ baixo sugere sensibilidade a deslocamentos globais de domínio (por exemplo, SVHN).
• $\Delta\mu$ (Deslocamento de verossimilhança logarítmica sob corrupções sintéticas): Quantifica a mudança na média da verossimilhança logarítmica quando imagens ID são submetidas a corrupções sintéticas (por exemplo, desfoque gaussiano, ruído). Um grande $\Delta\mu$ prevê alta sensibilidade a deslocamentos de covariáveis (por exemplo, CIFAR-10C).
• Correlação entre Codificadores ($\rho$): Correlações de posto de Spearman entre as verossimilhanças logarítmicas dos codificadores são usadas para filtrar redundância. Baixa correlação implica informação complementar.

2. Arquitetura de Portão Mínimo de Dois Níveis

O mecanismo de fusão, EncMin2L, opera sem rótulos OOD e consiste em dois níveis de agregação estatística:

• Nível 1 (Portão Mínimo dentro do Codificador): Para cada codificador $k$, são utilizadas duas "forquilhas": uma forquilha normalizada (normalizada por escore Z) e uma forquilha não normalizada. Cada forquilha é modelada por uma Rede de Pontuação de Equação Diferencial Estocástica Preservadora de Variância (VP-SDE) independente. As verossimilhanças logarítmicas são transformadas em valores-p através da Função de Distribuição Acumulada (CDF) empírica de amostras de validação ID. Uma operação de mínimo ($\min(\cdot)$) entre as duas forquilhas as colapsa em uma única pontuação por codificador.

  • Calibração: Como o mínimo de duas variáveis uniformes segue uma distribuição Beta(1, 2), um segundo mapeamento de CDF empírico é aplicado para restaurar a uniformidade, garantindo que a pontuação seja válida para o próximo nível.

• Nível 2 (Portão Mínimo entre Codificadores): As pontuações calibradas de todos os $K$ codificadores são agregadas usando o teste de valor-p mínimo de Tippett. A pontuação OOD final $s(x)$ é o mínimo de todas as pontuações por codificador: $s(x) = \min_k \hat{e}_k(x)$.

  • Regra de Decisão: Uma amostra é sinalizada como OOD se $s(x) < \tau$, onde $\tau$ é um limiar calibrado em dados ID retidos para controlar a Taxa de Falsos Positivos (FPR).

Esta abordagem garante que, para qualquer ponto de teste dado, o sistema recorra ao codificador específico (e à forquilha) que levanta o alarme mais forte, adaptando-se à entrada sem conhecimento prévio do tipo de deslocamento.

Contribuições Principais

1. Diagnósticos de Dados ID para Seleção de Codificadores: O artigo demonstra que a especialização do codificador pode ser quantificada estritamente a partir de dados ID usando $\eta^2$ e $\Delta\mu$. Essas métricas preveem com sucesso qual codificador terá o melhor desempenho em benchmarks OOD específicos (deslocamentos semânticos vs. de covariáveis) sem observar nenhuma amostra OOD.
2. Framework EncMin2L: Uma estratégia de fusão nova e agnóstica a codificadores que combina verossimilhanças de difusão por codificador através de um portão mínimo de dois níveis. Evita as armadilhas de modelos monolíticos de múltiplos codificadores (que requerem significativamente mais parâmetros e frequentemente falham em capturar as geometrias individuais dos codificadores) agregando estatisticamente detectores especializados.
3. Calibração Estatística: O método fornece um procedimento de teste múltiplo estatisticamente válido. Ao mapear pontuações para valores-p e aplicar o teste de Tippett, o framework garante estabilidade de calibração e permite ajuste direto do limiar com base nos níveis desejados de FPR sem retreinamento.

Resultados Experimentais

O framework foi avaliado em quatro benchmarks OOD representando tipos distintos de deslocamento:

• SVHN: Deslocamento global de domínio.
• CIFAR-100: Deslocamento semântico de alta granularidade.
• CIFAR-10C: Deslocamento de covariáveis (corrupções).
• DTD/CelebA: Deslocamentos de domínio de textura e rosto (Far-OOD).

Desempenho:

• EncMin2L alcançou $\ge 0,94$ AUROC em todos os quatro tipos de deslocamento simultaneamente quando CIFAR-10 foi a distribuição ID.
• Superou baselines monolíticas de múltiplos codificadores de última geração e detectores de codificador único.
• Eficiência: EncMin2L alcançou esses resultados com 2,3$\times$ menos parâmetros do que a baseline monolítica de melhor desempenho (que exigia uma dimensão oculta muito maior para igualar o desempenho).
• Ablação: Experimentos de leave-one-out confirmaram que remover um codificador específico (por exemplo, CLIP) causou uma queda significativa no desempenho no tipo de deslocamento previsto pelo seu perfil diagnóstico (por exemplo, SVHN), validando a hipótese de especialização.

Comparações:

• Vs. Difusão no Espaço de Pixels: EncMin2L superou significativamente métodos no espaço de pixels (por exemplo, DiffPath, LMD, Projection Regret) em deslocamentos semânticos (CIFAR-100), onde métodos no espaço de pixels falharam em capturar estruturas de densidade condicionais à classe.
• Vs. Métodos no Espaço de Características: Embora métodos k-NN em codificadores específicos tenham performado bem em certos deslocamentos, faltava-lhes a robustez para lidar com todos os tipos de deslocamento simultaneamente. EncMin2L forneceu uma solução unificada.
• Vs. Métodos Baseados em Classificador: EncMin2L superou pontuações MSP, Mahalanobis e Energy, particularmente em cenários onde as fronteiras de classe eram ambíguas ou a distribuição ID era complexa (por exemplo, CIFAR-100).

Significado e Alegações

O artigo alega que EncMin2L representa um avanço significativo na detecção OOD ao:

1. Resolver o Problema do "Deslocamento Desconhecido": Fornece um mecanismo para detectar amostras OOD em todo o espectro de deslocamentos de distribuição sem necessidade de conhecer o tipo de deslocamento com antecedência ou ter dados OOD para treinamento.
2. Aproveitar a Diversidade de Codificadores: Formaliza a observação de que diferentes codificadores possuem pontos fortes complementares. Em vez de forçar um único modelo a aprender todos os recursos, agrega modelos especializados, alcançando maior precisão com menor custo computacional.
3. Ferramenta de Design Prática: O pipeline de diagnóstico ($\eta^2$, $\Delta\mu$) permite que profissionais selecionem e combinem codificadores durante a fase de design baseando-se apenas em dados ID, tornando o framework adaptável a vários cenários de implantação sem exigir exemplos OOD.

Os autores enfatizam que o método depende da validade estatística do teste de Tippett e das propriedades da difusão no espaço de representação, oferecendo um sinal robusto e estável em calibração que se adapta às características distribucionais específicas da entrada.