📊 statistics

A Bayesian Nonparametric Perspective on Mahalanobis Distance for Out of Distribution Detection

Este trabajo establece una conexión formal entre los modelos bayesianos no paramétricos y la puntuación de distancia de Mahalanobis relativa para la detección de datos fuera de distribución, proponiendo modelos de mezcla jerárquica generalizados que demuestran un rendimiento superior, particularmente cuando las clases de entrenamiento exhiben estructuras de covarianza variables o datos limitados.

Autores originales: Randolph W. Linderman (Electrical and Computer Engineering Department, Duke University, Durham, NC, USA), Noah Cowan (Statistics Department, Stanford University, Stanford, CA, USA), Yiran Chen (Electr

Publicado 2026-05-28

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Randolph W. Linderman (Electrical and Computer Engineering Department, Duke University, Durham, NC, USA), Noah Cowan (Statistics Department, Stanford University, Stanford, CA, USA), Yiran Chen (Electrical and Computer Engineering Department, Duke University, Durham, NC, USA), Scott W. Linderman (Statistics Department, Stanford University, Stanford, CA, USA, The Wu Tsai Neurosciences Institute, Stanford University, Stanford, CA, USA)

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un guardia de seguridad en una galería de arte muy exclusiva. Has pasado años estudiando los cuadros de la galería (tus datos de entrenamiento). Sabes exactamente cómo se ve, se siente y se comporta un cuadro "real".

Un día, un extraño entra sosteniendo un objeto extraño. ¿Es una obra maestra de un nuevo artista que aún no has visto (una muestra fuera de distribución o OOD), o es simplemente una papelera de forma extraña (un valle)? Tu trabajo es detectar la papelera de inmediato y dar la alarma.

Este artículo trata sobre construir un guardia de seguridad más inteligente utilizando un tipo específico de matemáticas llamado No Parametría Bayesiana. Así es como los autores explican su enfoque, usando analogías simples.

La Vieja Forma: La Regla "Talla Única"

Durante mucho tiempo, los guardias de seguridad utilizaron una herramienta simple llamada Distancia de Mahalanobis (específicamente, una versión llamada RMDS).

Piensa en esto como una regla que asume que cada cuadro individual en la galería tiene exactamente la misma forma y textura.

Si un cuadro está ligeramente estirado, la regla dice: "¡Eso es extraño!"
Si un cuadro está ligeramente arrugado, la regla dice: "¡Eso es extraño!"

El problema es que en el mundo real, no todos los cuadros son iguales. Algunos son anchos y planos; otros son altos y delgados. Algunos están pintados sobre lienzo rugoso; otros sobre seda suave. Si fuerzas una regla de "talla única" para medirlos a todos, podrías pasar por alto la papelera porque parece un cuadro ancho "normal", o podrías dar una falsa alarma porque un cuadro alto parece "anormal" para tu regla plana.

La Nueva Idea: El Enfoque de "Sabiduría Compartida Flexible"

Los autores proponen un nuevo guardia de seguridad basado en Modelos de Mezcla de Procesos de Dirichlet (DPMM).

En lugar de asumir que todos los cuadros son iguales, este nuevo guardia entiende que:

Hay muchos tipos de cuadros: La galería podría tener 100 estilos diferentes (clústeres).
Podrían aparecer cuadros nuevos: Siempre existe la posibilidad de que exista un estilo nuevo que el guardia nunca haya visto antes.
Comparten sabiduría: Aunque cada estilo de cuadro es diferente, aún pueden aprender unos de otros.

La Analogía de la "Sabiduría Compartida" (Priors Jerárquicos)

Imagina que la galería tiene 100 departamentos de arte diferentes.

La Vieja Forma: Cada departamento intenta medir sus propios cuadros usando su propia regla. Si un departamento solo tiene 5 cuadros, su regla es inestable y poco fiable.
La Nueva Forma (Jerárquica): Todos los departamentos comparten una "Regla Maestra" de la que pueden tomar prestada. Si un departamento tiene muy pocos cuadros, se apoya fuertemente en la Regla Maestra. Si un departamento tiene miles de cuadros, confía más en sus propias mediciones.

Esto es lo que los autores llaman Priors Jerárquicos. Permite que el sistema sea flexible (admitiendo diferentes formas) pero también estable (no confundirse cuando los datos son escasos).

El Gran Descubrimiento: La Vieja y la Nueva son Primos

El artículo hace un descubrimiento sorprendente. Los autores demostraron matemáticamente que la vieja regla de "talla única" (RMDS) es en realidad solo una versión especial y simplificada de su nuevo sistema "Flexible".

Piénsalo así: la vieja regla es como una foto en blanco y negro de la escena. El nuevo sistema es un video en color de alta definición. Los autores mostraron que si entrecierras los ojos al video y apagas el color, se ve exactamente igual a la foto en blanco y negro. Esto significa que el método antiguo no estaba "equivocado"; era simplemente una versión simplificada de una idea más poderosa.

Las Nuevas Herramientas: Tres Tipos de Guardias Flexibles

Dado que se dieron cuenta de que el método antiguo era solo una versión simplificada, los autores construyeron tres nuevos guardias más poderosos para manejar diferentes situaciones:

El Guardia de Cuerpo Completo (Covarianza Completa): Este guardia examina cada detalle de la forma y textura del cuadro simultáneamente. Es muy preciso pero necesita mucha memoria y tiempo. Funciona mejor cuando tienes una galería enorme con muchos cuadros por estilo.
El Guardia de Escaneo Rápido (Covarianza Diagonal): Este guardia examina el ancho y la altura por separado, ignorando cómo podrían interactuar. Es más rápido y necesita menos memoria. Funciona bien cuando la galería es enorme pero no tienes suficiente tiempo para examinar cada detalle.
El Guardia de Escaneo Rápido "Vinculado" (Diagonal Acoplada): Esta es la invención novedosa de los autores. Es como el guardia de escaneo rápido, pero nota que si el ancho de un cuadro es "extraño", la altura probablemente también sea "extraña". Vincula estas dos ideas entre sí. Resultó ser el mejor rendimiento en muchas pruebas, especialmente cuando la galería tenía muchos estilos pero no muchos ejemplos de cada uno.

¿Qué Encontraron?

Los autores probaron estos nuevos guardias en un famoso punto de referencia llamado OpenOOD (una prueba gigante de diferentes galerías de arte y papeleras).

Cuando la galería es pequeña y abarrotada: El nuevo guardia "Vinculado" fue el mejor detectando las papeleras.
Cuando la galería tiene muy pocos ejemplos de cada estilo: Los nuevos guardias fueron mucho mejores que la vieja regla porque la vieja regla se confundía por la falta de datos.
Cuando los estilos son muy diferentes entre sí: Los nuevos guardias se adaptaron mejor porque no forzaron todo en la misma "caja".

La Conclusión

El artículo argumenta que no deberíamos depender solo de reglas simples y rígidas (como la vieja RMDS) para detectar datos extraños. En su lugar, deberíamos utilizar modelos No Paramétricos Bayesianos que actúan como un sistema flexible de sabiduría compartida.

Al tratar el problema como "descubrir si este nuevo elemento pertenece a un grupo conocido o a un grupo completamente nuevo", y al permitir que diferentes grupos compartan fuerza estadística, podemos construir sistemas de seguridad mucho mejores para detectar las papeleras en la galería de arte, especialmente cuando la galería está desordenada o los ejemplos son escasos.

En resumen: El artículo toma un marco matemático complejo y flexible, muestra que explica por qué funcionan nuestras herramientas simples actuales, y luego utiliza ese marco para construir herramientas mejores y más adaptables que superan a las antiguas en situaciones complicadas.

Resumen Técnico: Una Perspectiva Bayesiana No Paramétrica sobre la Distancia de Mahalanobis para la Detección de Datos Fuera de Distribución

Enunciado del Problema

Los sistemas de aprendizaje automático, particularmente aquellos construidos sobre modelos fundamentales entrenados con conjuntos de datos masivos, inevitablemente encuentran datos que se desvían de sus distribuciones de entrenamiento. Detectar estas muestras fuera de distribución (OOD) es crítico para la seguridad y la fiabilidad. Aunque los métodos bayesianos no paramétricos ofrecen un marco probabilístico coherente para estimar la probabilidad de que un punto de datos pertenezca a un nuevo clúster, han sido en gran medida descartados en favor de métricas basadas en distancias más simples. Una barrera principal para adoptar enfoques bayesianos es el desafío computacional y estadístico de estimar matrices de covarianza de alta dimensión para las incrustaciones de características, especialmente cuando el número de muestras de entrenamiento por clase es pequeño en relación con la dimensión de la incrustación.

Metodología

Conexión Teórica: RMDS y DPMMs

Los autores establecen una relación teórica formal entre la ampliamente utilizada Puntuación de Distancia de Mahalanobis Relativa (RMDS) y la inferencia bayesiana no paramétrica. Específicamente, demuestran que la RMDS es una aproximación cercana de la probabilidad de valores atípicos derivada de un Modelo de Mezcla de Proceso de Dirichlet Gaussiano (DPMM) con matrices de covarianza vinculadas (donde todas las clases comparten una única matriz de covarianza).

Proposición 4.1: Muestra que la probabilidad de un valor dentro de la distribución de un DPMM general puede expresarse como una función logística de una puntuación $\tilde{C}(x)$ , que es análoga a la puntuación de Mahalanobis relativa.
Proposición 4.2: Demuestra que bajo regímenes específicos (datos sub-gaussianos, tamaños de clústeres iguales y condiciones específicas sobre la matriz de covarianza relativa), la puntuación del DPMM de un modelo de covarianza vinculada está casi perfectamente correlacionada con la RMDS. Esto conecta el enfoque heurístico de RMDS con la inferencia bayesiana rigurosa.

DPMMs Gaussianos Jerárquicos

Reconociendo que la suposición de covarianza vinculada (y por tanto RMDS) podría no sostenerse cuando las clases exhiben estructuras de covarianza significativamente diferentes, los autores proponen DPMMs Gaussianos Jerárquicos. Estos modelos relajan la suposición de covarianza vinculada inferiendo matrices de covarianza separadas para cada clúster mientras comparten fuerza estadística entre clases mediante un prior jerárquico.

El artículo introduce tres variantes específicas de modelo:

Modelo de Covarianza Completa: Utiliza un prior conjugado Normal-Inverso Wishart (NIW). Esto permite matrices de covarianza completas pero conlleva el riesgo de sobreajuste en altas dimensiones.
Modelo de Covarianza Diagonal: Asume que las varianzas son independientes entre dimensiones, utilizando un prior de chi-cuadrado inverso escalado. Esto reduce la cantidad de parámetros pero asume independencia entre dimensiones.
Modelo de Covarianza Diagonal Acoplada: Un enfoque novedoso que captura correlaciones entre dimensiones introduciendo un factor de escala específico de la clase $\gamma_k$ . Este factor escala las varianzas para todas las dimensiones de una clase específica, permitiendo al modelo capturar variaciones sistemáticas en la magnitud de la varianza entre clases mientras mantiene la eficiencia computacional.

Estimación

Los autores desarrollan algoritmos eficientes de Esperanza-Maximización (EM) para estimar los hiperparámetros de estos modelos jerárquicos.

Para los modelos de Covarianza Completa y Diagonal, los pasos M para los hiperparámetros (concentración $\nu_0$ y escalado de precisión $\kappa_0$ ) se calculan en forma cerrada o mediante un método de Newton generalizado.
Para el modelo de Covarianza Diagonal Acoplada, la distribución posterior sobre el factor de escala $\gamma_k$ no tiene forma cerrada. Los autores aproximan esto utilizando cuadratura numérica sobre una cuadrícula densa, aprovechando el hecho de que $\gamma_k$ es unidimensional.

Resultados Clave

Experimentos Sintéticos

Las simulaciones en datos 2D confirmaron que los modelos jerárquicos superan a los modelos de covarianza vinculada (y a RMDS) cuando:

Las matrices de covarianza difieren significativamente entre clústeres (bajo $\nu_0$ ).
El número de puntos de datos por clase ( $N_k$ ) es pequeño en relación con la dimensionalidad ( $D$ ).
En regímenes donde $N_k/D$ es pequeño, RMDS independiente (usando covarianzas por clase sin priores jerárquicos) falla debido al sobreajuste, mientras que los DPMMs jerárquicos mantienen un rendimiento robusto.

Evaluación en el Benchmark OpenOOD

Los modelos fueron evaluados en el benchmark OpenOOD utilizando los conjuntos de datos CIFAR-10, CIFAR-100 e ImageNet-1K con diversos conjuntos de datos OOD (Cercanos y Lejanos).

ImageNet-1K: El modelo de Covarianza Diagonal Acoplada logró el mejor rendimiento en la detección de OOD Cercanos, superando al RMDS estándar y al DPMM vinculado. El modelo de Covarianza Completa tuvo un rendimiento pobre, probablemente debido al sobreajuste en el espacio de alta dimensión (768D).
CIFAR-10: El modelo jerárquico de Covarianza Completa produjo el rendimiento más alto tanto en tareas de OOD Cercanos como Lejanos, sugiriendo que para incrustaciones de menor dimensionalidad (512D) y conjuntos de datos más pequeños, la estructura de covarianza completa es aprendible y beneficiosa.
Análisis de Dimensionalidad: A medida que aumentó la dimensionalidad de las características, el rendimiento del modelo de Covarianza Completa se estancó o degradó, mientras que los modelos Diagonal y Diagonal Acoplada mantuvieron un rendimiento superior, particularmente en los benchmarks de OOD Cercanos.

Significado y Afirmaciones

El artículo afirma que los métodos bayesianos no paramétricos con priores jerárquicos proporcionan un enfoque bien fundamentado y prácticamente competitivo para la detección de OOD. Las contribuciones principales son:

Unificación Teórica: Proporcionar un vínculo formal entre la heurística RMDS y la inferencia bayesiana bajo un DPMM Gaussiano, validando RMDS como un límite específico de un marco probabilístico más general.
Generalización: Proponer modelos jerárquicos que generalizan RMDS al relajar la suposición de covarianza igual, adaptándose así a escenarios donde las covarianzas de las clases difieren.
Utilidad Práctica: Demostrar que estos modelos pueden mejorar la detección de OOD, particularmente en regímenes caracterizados por:
- Estructuras de covarianza heterogéneas entre clases.
- Datos limitados por clase en relación con la dimensionalidad de las características.
- La necesidad de una distinción detallada entre muestras dentro de la distribución y muestras "OOD Cercanas".

Los autores señalan que, aunque el modelo de covarianza completa puede sobreajustarse en altas dimensiones, el modelo de Covarianza Diagonal Acoplada ofrece un compromiso robusto, capturando correlaciones de varianza entre clases sin la explosión de parámetros de la estimación de covarianza completa. Concluyen que plantear la detección de OOD como inferencia en un modelo generativo permite elecciones de modelado fundamentadas que pueden conducir a mejoras de rendimiento sobre las líneas base basadas en distancias existentes.