📊 statistics

A Bayesian Nonparametric Perspective on Mahalanobis Distance for Out of Distribution Detection

Este artigo estabelece uma conexão formal entre modelos bayesianos não paramétricos e a pontuação de distância de Mahalanobis relativa para detecção de dados fora da distribuição, propondo modelos de mistura hierárquica generalizados que demonstram desempenho superior, particularmente quando as classes de treinamento exibem estruturas de covariância variáveis ou dados limitados.

Autores originais: Randolph W. Linderman (Electrical and Computer Engineering Department, Duke University, Durham, NC, USA), Noah Cowan (Statistics Department, Stanford University, Stanford, CA, USA), Yiran Chen (Electr

Publicado 2026-05-28

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Randolph W. Linderman (Electrical and Computer Engineering Department, Duke University, Durham, NC, USA), Noah Cowan (Statistics Department, Stanford University, Stanford, CA, USA), Yiran Chen (Electrical and Computer Engineering Department, Duke University, Durham, NC, USA), Scott W. Linderman (Statistics Department, Stanford University, Stanford, CA, USA, The Wu Tsai Neurosciences Institute, Stanford University, Stanford, CA, USA)

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um guarda de segurança em uma galeria de arte muito exclusiva. Você passou anos estudando os quadros da galeria (seus dados de treinamento). Você sabe exatamente como uma pintura "real" parece, se sente e se comporta.

Um dia, um estranho entra segurando um objeto estranho. É uma obra-prima de um novo artista que você ainda não viu (uma amostra Fora da Distribuição ou OOD), ou é apenas uma lixeira de formato estranho (um outlier)? Seu trabalho é identificar a lixeira imediatamente e dar o alarme.

Este artigo trata de construir um guarda de segurança mais inteligente usando um tipo específico de matemática chamado Não Paramétricos Bayesianos. Aqui está como os autores explicam sua abordagem, usando analogias simples.

O Jeito Antigo: A Régua "Tamanho Único"

Por muito tempo, os guardas de segurança usaram uma ferramenta simples chamada Distância de Mahalanobis (especificamente, uma versão chamada RMDS).

Pense nisso como uma régua que assume que cada quadro na galeria tem exatamente o mesmo formato e textura.

Se um quadro está levemente esticado, a régua diz: "Isso é estranho!"
Se um quadro está levemente amassado, a régua diz: "Isso é estranho!"

O problema é que, no mundo real, nem todos os quadros são iguais. Alguns são largos e planos; outros são altos e finos. Alguns são pintados em tela áspera; outros em seda lisa. Se você forçar uma régua "tamanho único" a medi-los a todos, você pode deixar passar a lixeira porque ela parece um quadro "normal" e largo, ou pode dar um alarme falso porque um quadro alto parece "anormal" para sua régua plana.

A Nova Ideia: A Abordagem de "Sabedoria Compartilhada e Flexível"

Os autores propõem um novo guarda de segurança baseado em Modelos de Mistura de Processos de Dirichlet (DPMMs).

Em vez de assumir que todos os quadros são iguais, este novo guarda entende que:

Existem muitos tipos de quadros: A galeria pode ter 100 estilos diferentes (clusters).
Novos quadros podem aparecer: Sempre há uma chance de existir um novo estilo que o guarda nunca viu antes.
Eles compartilham sabedoria: Mesmo que cada estilo de quadro seja diferente, eles ainda podem aprender uns com os outros.

A Analogia da "Sabedoria Compartilhada" (Priors Hierárquicos)

Imagine que a galeria tem 100 departamentos de arte diferentes.

O Jeito Antigo: Cada departamento tenta medir seus próprios quadros usando sua própria régua. Se um departamento tem apenas 5 quadros, sua régua é instável e pouco confiável.
O Jeito Novo (Hierárquico): Todos os departamentos compartilham uma "Régua Mestre" da qual podem se apropriar. Se um departamento tem muito poucos quadros, ele se apoia fortemente na Régua Mestre. Se um departamento tem milhares de quadros, ele confia mais em suas próprias medições.

Isso é o que os autores chamam de Priors Hierárquicos. Isso permite que o sistema seja flexível (admitindo formatos diferentes) mas também estável (não ficando confuso quando os dados são escassos).

A Grande Descoberta: O Antigo e o Novo são Primos

O artigo faz uma descoberta surpreendente. Os autores provaram matematicamente que a antiga régua "Tamanho Único" (RMDS) é, na verdade, apenas uma versão especial e simplificada de seu novo sistema "Flexível".

Pense assim: a antiga régua é como uma foto em preto e branco da cena. O novo sistema é um vídeo em alta definição e colorido. Os autores mostraram que, se você apertar os olhos no vídeo e desligar a cor, ele fica exatamente igual à foto em preto e branco. Isso significa que o método antigo não estava "errado"; era apenas uma versão simplificada de uma ideia mais poderosa.

As Novas Ferramentas: Três Tipos de Guardas Flexíveis

Como perceberam que o método antigo era apenas uma versão simplificada, os autores construíram três novos guardas, mais poderosos, para lidar com situações diferentes:

O Guarda de Corpo Inteiro (Covariância Total): Este guarda examina cada detalhe do formato e da textura do quadro simultaneamente. É muito preciso, mas precisa de muita memória e tempo. Funciona melhor quando você tem uma galeria enorme com muitos quadros por estilo.
O Guarda de Varredura Rápida (Covariância Diagonal): Este guarda examina a largura e a altura separadamente, ignorando como elas podem interagir. É mais rápido e precisa de menos memória. Funciona bem quando a galeria é enorme, mas você não tem tempo suficiente para examinar cada detalhe.
O Guarda de Varredura Rápida "Vinculado" (Diagonal Acoplado): Esta é a invenção nova dos autores. É como o Guarda de Varredura Rápida, mas ele percebe que, se a largura de um quadro é "estranha", a altura provavelmente também é "estranha". Ele vincula essas duas ideias. Isso acabou sendo o melhor desempenho em muitos testes, especialmente quando a galeria tinha muitos estilos, mas não muitos exemplos de cada um.

O Que Eles Encontraram?

Os autores testaram esses novos guardas em um famoso benchmark chamado OpenOOD (um teste gigante de diferentes galerias de arte e lixeiras).

Quando a galeria é pequena e lotada: O novo guarda "Vinculado" foi o melhor em identificar as lixeiras.
Quando a galeria tem muito poucos exemplos de cada estilo: Os novos guardas foram muito melhores que a antiga régua, porque a antiga régua ficou confusa com a falta de dados.
Quando os estilos são muito diferentes entre si: Os novos guardas se adaptaram melhor porque não forçaram tudo para dentro da mesma "caixa".

A Conclusão

O artigo argumenta que não devemos confiar apenas em réguas simples e rígidas (como a antiga RMDS) para detectar dados estranhos. Em vez disso, devemos usar modelos Não Paramétricos Bayesianos que atuam como um sistema de sabedoria compartilhada e flexível.

Ao tratar o problema como "descobrir se este novo item pertence a um grupo conhecido ou a um grupo totalmente novo" e ao permitir que diferentes grupos compartilhem força estatística, podemos construir sistemas de segurança muito melhores na identificação de lixeiras na galeria de arte, especialmente quando a galeria é bagunçada ou os exemplos são escassos.

Em resumo: O artigo pega uma estrutura matemática complexa e flexível, mostra que ela explica por que nossas ferramentas simples atuais funcionam e, em seguida, usa essa estrutura para construir ferramentas melhores e mais adaptáveis que superam as antigas em situações complicadas.

Resumo Técnico: Uma Perspectiva Bayesiana Não Paramétrica sobre a Distância de Mahalanobis para Detecção Fora de Distribuição

Declaração do Problema

Sistemas de aprendizado de máquina, particularmente aqueles construídos sobre modelos fundamentais treinados em conjuntos de dados massivos, inevitavelmente encontram dados que se desviam de suas distribuições de treinamento. Detectar essas amostras fora de distribuição (OOD) é crítico para segurança e confiabilidade. Embora métodos bayesianos não paramétricos ofereçam um framework probabilístico coerente para estimar a probabilidade de um ponto de dados pertencer a um novo cluster, eles têm sido amplamente evitados em favor de métricas baseadas em distâncias mais simples. Uma barreira primária à adoção de abordagens bayesianas é o desafio computacional e estatístico de estimar matrizes de covariância de alta dimensão para incorporações de características, especialmente quando o número de amostras de treinamento por classe é pequeno em relação à dimensão da incorporação.

Metodologia

Conexão Teórica: RMDS e DPMMs

Os autores estabelecem uma relação teórica formal entre a amplamente utilizada Pontuação de Distância de Mahalanobis Relativa (RMDS) e inferência bayesiana não paramétrica. Especificamente, eles demonstram que a RMDS é uma aproximação próxima da probabilidade de outlier derivada de um Modelo de Mistura de Processo de Dirichlet Gaussiano (DPMM) com matrizes de covariância acopladas (onde todas as classes compartilham uma única matriz de covariância).

Proposição 4.1: Mostra que a probabilidade de inlier de um DPMM geral pode ser expressa como uma função logística de uma pontuação $\tilde{C}(x)$ , que é análoga à pontuação de Mahalanobis relativa.
Proposição 4.2: Prova que, sob regimes específicos (dados sub-gaussianos, tamanhos de cluster iguais e condições específicas sobre a matriz de covariância relativa), a pontuação do DPMM de um modelo de covariância acoplada está quase perfeitamente correlacionada com a RMDS. Isso conecta a abordagem heurística da RMDS à inferência bayesiana rigorosa.

DPMMs Gaussianos Hierárquicos

Reconhecendo que a suposição de covariância acoplada (e, portanto, a RMDS) pode não se manter quando as classes exibem estruturas de covariância significativamente diferentes, os autores propõem DPMMs Gaussianos Hierárquicos. Esses modelos relaxam a suposição de covariância acoplada inferindo matrizes de covariância separadas para cada cluster, enquanto compartilham força estatística entre classes por meio de um prior hierárquico.

O artigo introduz três variantes específicas de modelo:

Modelo de Covariância Completa: Utiliza um prior conjugado Normal-Inverso Wishart (NIW). Isso permite matrizes de covariância completas, mas arrisca sobreajuste em altas dimensões.
Modelo de Covariância Diagonal: Assume que as variâncias são independentes entre as dimensões, utilizando um prior qui-quadrado inverso escalado. Isso reduz a contagem de parâmetros, mas assume independência entre as dimensões.
Modelo de Covariância Diagonal Acoplada: Uma abordagem novel que captura correlações entre dimensões introduzindo um fator de escala específico da classe $\gamma_k$ . Esse fator escala as variâncias para todas as dimensões de uma classe específica, permitindo que o modelo capture variações sistemáticas na magnitude da variância entre classes, mantendo a eficiência computacional.

Estimação

Os autores desenvolvem algoritmos eficientes de Expectativa-Maximização (EM) para estimar os hiperparâmetros desses modelos hierárquicos.

Para os modelos de Covariância Completa e Diagonal, os passos M para hiperparâmetros (concentração $\nu_0$ e escala de precisão $\kappa_0$ ) são computados em forma fechada ou via um método de Newton generalizado.
Para o modelo de Covariância Diagonal Acoplada, o posterior sobre o fator de escala $\gamma_k$ não possui forma fechada. Os autores aproximam isso usando quadratura numérica sobre uma grade densa, aproveitando o fato de que $\gamma_k$ é unidimensional.

Resultados Chave

Experimentos Sintéticos

Simulações em dados 2D confirmaram que modelos hierárquicos superam modelos de covariância acoplada (e RMDS) quando:

As matrizes de covariância diferem significativamente entre clusters (baixo $\nu_0$ ).
O número de pontos de dados por classe ( $N_k$ ) é pequeno em relação à dimensionalidade ( $D$ ).
Em regimes onde $N_k/D$ é pequeno, a RMDS independente (usando covariâncias por classe sem priores hierárquicos) falha devido ao sobreajuste, enquanto os DPMMs hierárquicos mantêm desempenho robusto.

Avaliação no Benchmark OpenOOD

Os modelos foram avaliados no benchmark OpenOOD usando os conjuntos de dados CIFAR-10, CIFAR-100 e ImageNet-1K com vários conjuntos de dados OOD (Próximos e Distantes).

ImageNet-1K: O modelo de Covariância Diagonal Acoplada alcançou o melhor desempenho na detecção de OOD Próximo, superando a RMDS padrão e o DPMM acoplado. O modelo de Covariância Completa performou mal, provavelmente devido ao sobreajuste no espaço de alta dimensão (768D).
CIFAR-10: O modelo hierárquico de Covariância Completa rendeu o maior desempenho em ambas as tarefas de OOD Próximo e Distantes, sugerindo que, para incorporações de menor dimensionalidade (512D) e conjuntos de dados menores, a estrutura de covariância completa é aprendível e benéfica.
Análise de Dimensionalidade: À medida que a dimensionalidade das características aumentava, o desempenho do modelo de Covariância Completa estagnou ou degradou, enquanto os modelos Diagonal e Diagonal Acoplada mantiveram desempenho superior, particularmente em benchmarks de OOD Próximo.

Significado e Alegações

O artigo alega que métodos bayesianos não paramétricos com priores hierárquicos fornecem uma abordagem bem fundamentada e praticamente competitiva para detecção OOD. As contribuições primárias são:

Unificação Teórica: Fornecer um link formal entre a heurística RMDS e inferência bayesiana sob um DPMM Gaussiano, validando a RMDS como um limite específico de um framework probabilístico mais geral.
Generalização: Propor modelos hierárquicos que generalizam a RMDS ao relaxar a suposição de covariância igual, adaptando-se assim a cenários onde as covariâncias das classes diferem.
Utilidade Prática: Demonstrar que esses modelos podem melhorar a detecção OOD, particularmente em regimes caracterizados por:
- Estruturas de covariância heterogêneas entre classes.
- Dados limitados por classe em relação à dimensionalidade das características.
- A necessidade de distinção granular entre amostras dentro de distribuição e amostras "OOD Próximo".

Os autores observam que, embora o modelo de covariância completa possa sofrer sobreajuste em altas dimensões, o modelo de Covariância Diagonal Acoplada oferece um compromisso robusto, capturando correlações de variância entre classes sem a explosão de parâmetros da estimação de covariância completa. Eles concluem que enquadrar a detecção OOD como inferência em um modelo generativo permite escolhas de modelagem principistas que podem levar a melhorias de desempenho sobre bases de referência existentes baseadas em distâncias.