🤖 machine learning

An Information-Theoretic Framework for Feature Construction in Out-of-Distribution Detection

Este artículo propone un novedoso marco de teoría de la información para la construcción de características de detección de fuera de distribución mediante la optimización de un funcional de pérdida que combina la divergencia KL para la separación de distribuciones y el principio de Cuello de Botella de Información, resultando en una nueva función de modelado superior que supera a los métodos existentes en diversos bancos de pruebas.

Autores originales: Sudeepta Mondal (Mary), Xinyi (Mary), Xie, Alex Wong, Ganesh Sundaramoorthi

Publicado 2026-08-11

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Sudeepta Mondal (Mary), Xinyi (Mary), Xie, Alex Wong, Ganesh Sundaramoorthi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot a reconocer diferentes tipos de animales. Le muestras miles de fotos de gatos, perros y pájaros, y aprende a decir: "¡Eso es un gato!" con gran confianza. Pero, ¿qué pasa si de repente le muestras la foto de una tostadora o de una nube? Como el robot nunca ha visto estas cosas, podría seguir gritando con confianza: "¡Eso es un gato!", porque está intentando forzar la nueva imagen dentro de una categoría que ya conoce. Este es un gran problema para la seguridad de la IA. Necesitamos una forma de que el robot diga: "Espera, no sé qué es esto", en lugar de adivinar erróneamente. Este es el desafío de la detección de "Fuera de la Distribución" (OOD, por sus siglas en inglés): descubrir cuándo los datos son totalmente nuevos y diferentes de aquello con lo que la IA fue entrenada.

Para resolver esto, los científicos suelen observar las "características" (features) que la IA utiliza para tomar decisiones. Piensa en estas características como las notas internas o los bocetos que el robot hace de la imagen antes de dar una respuesta. Algunos investigadores han intentado retocar estas notas usando reglas fijas, como "si un número es demasiado grande, redúcelo". Pero estas reglas son a menudo simples suposiciones basadas en lo que funcionó en pruebas específicas, y podrían fallar cuando el robot vea algo verdaderamente extraño. La gran pregunta es: ¿podemos encontrar una regla matemática que nos diga exactamente cómo ajustar estas notas para cualquier tipo de dato nuevo, no solo para los ejemplos específicos que hemos visto antes?

Este artículo introduce una nueva forma de pensar en ese problema utilizando una mezcla de matemáticas y teoría de la información. Los autores proponen una teoría que trata el ajuste de estas notas internas no como una regla fija, sino como un proceso aleatorio y flexible. Utilizan una "función de pérdida" matemática (una tarjeta de puntuación para medir qué tan bien lo está haciendo la IA) que intenta hacer dos cosas al mismo tiempo: primero, aleja las notas de los datos nuevos y extraños lo más posible de las notas de los datos familiares; y segundo, utiliza el concepto de "Cuello de Botella de Información" (Information Bottleneck) para asegurarse de que las notas no se vuelvan demasiado desordenadas o pierdan los detalles importantes necesarios para detectar lo extraño.

Al realizar simulaciones con diferentes suposiciones sobre cómo son los datos "extraños" (como asumir que siguen una curva de campana o que tienen colas pesadas), los autores descubrieron que la mejor manera de ajustar las notas cambia dependiendo del tipo de extrañeza. Por ejemplo, si los datos extraños son muy ruidosos, el mejor ajuste se parece al "recorte" (clipping, que consiste en cortar los valores extremos), lo que explica por qué algunos métodos existentes funcionan. Si los datos extraños tienen valores atípicos raros y extremos, el mejor ajuste se parece a "anular" (zeroing out) los valores pequeños.

Basándose en estos hallazgos, los autores sugieren una nueva herramienta flexible llamada "Función Lineal por Partes" (PLF, por sus siglas en inglés). Puedes pensar en esto como un filtro inteligente y ajustable que puede moldear y dar forma a las notas internas de la IA de la manera justa para detectar nuevos datos, sin importar qué tipo de datos nuevos sean. Cuando probaron este nuevo filtro en una amplia variedad de pruebas estándar, incluyendo distorsiones de imagen complicadas y categorías completamente nuevas, funcionó mejor que casi todos los demás métodos disponibles actualmente. De hecho, en una comparación masiva de 21 métodos de detección, su nuevo enfoque quedó entre los tres mejores en todas las pruebas, lo que sugiere que es una solución mucho más fiable y general para mantener a la IA honesta cuando se encuentra con lo desconocido.

=== BORRADOR ===
Resumen Técnico: Un Marco de Información-Teórico para la Construcción de Características en la Detección de Fuera de Distribución

Planteamiento del Problema
Los sistemas de aprendizaje automático suelen fallar al encontrarse con datos fuera de la distribución (OOD, por sus siglas en inglés), produciendo predicciones incorrectas con alta confianza. Aunque existen numerosos métodos de detección de OOD post-hoc (e.g., ReAct, FS-OPT, VRA, ASH), estos son mayoritariamente enfoques empíricos basados en reglas que carecen de un fundamento teórico unificado. En consecuencia, estos métodos suelen tener dificultades para generalizar a través de diferentes conjuntos de datos y tipos de desplazamientos distribucionales (semánticos y de covariable). Existe la necesidad de un marco teórico que pueda derivar características de OOD basadas en supuestos estadísticos subyacentes, explicar las propiedades de los métodos existentes y generar sistemáticamente nuevas características más robustas.

Metodología
Los autores proponen un nuevo marco de información-teórico que formula la construcción de características de OOD como un problema de optimización variacional.

Formulación de Características Aleatorias: A diferencia de las funciones de modelado de características deterministas existentes, los autores modelan las características de OOD ( $\tilde{Z}$ ) como variables aleatorias derivadas de las características de la red ( $Z$ ) mediante una distribución condicional $p(\tilde{z}|z)$ . La media de esta distribución corresponde a las funciones de modelado deterministas presentes en la literatura.
Funcional de Pérdida: La optimización busca una distribución condicional que minimice un funcional de pérdida compuesto $L$ $L$ :
- Término de Divergencia KL: Maximiza la separación entre las distribuciones de características ID (dentro de la distribución) y OOD utilizando la divergencia de Kullback-Leibler simetrizada.
- Regularización de Cuello de Botella de Información (IB): Minimiza la información mutua entre la característica de entrada $Z$ y la característica de OOD $\tilde{Z}$ , mientras maximiza la información mutua entre $\tilde{Z}$ y la etiqueta de OOD $Y$ . Esto asegura que la característica sea comprimida pero retenga la información específicamente relevante para la detección de OOD, filtrando variaciones extrañas.
Optimización: Dado que el problema se define sobre un espacio de dimensiones infinitas de medidas de probabilidad, los autores emplean el cálculo de variaciones para derivar gradientes. Asumen independencia elemento a elemento y gaussianidad para la distribución condicional $p(\tilde{z}|z) \sim \mathcal{N}(\mu(z), \sigma_c(z))$ , lo que permite un algoritmo de descenso de gradiente computacionalmente factible para resolver la media óptima $\mu(z)$ y la desviación estándar $\sigma_c(z)$ .
Análisis Distribucional: El marco analiza las características óptimas bajo diversas distribuciones de OOD asumidas (Gaussiana, Laplaciana y una variante de Gaussiana Inversa propuesta). El estudio revela que diferentes supuestos distribucionales conducen a distintos comportamientos de modelado:
- OOD Gaussiana: Produce características con pendientes positivas para valores pequeños y pendientes negativas (o recorte/clipping) para valores grandes, dependiendo del peso de la regularización IB.
- OOD de Cola Pesada (Laplaciana/Gaussiana Inversa): Produce características que suprimen valores pequeños (anulándolos) y recortan valores grandes, con regiones lineales para valores intermedios.
Función de Modelado Propuesta (PLF): Motivados por la observación de que las formas óptimas a través de diferentes distribuciones pueden aproximarse mediante funciones lineales por partes, los autores introducen una Función Lineal por Partes (PLF). Esta es una función de 7 parámetros, parametrizada utilizando cuantiles de las magnitudes de las características de la distribución interna para asegurar la adaptabilidad entre arquitecturas y conjuntos de datos.

Contribuciones Clave

Marco Teórico: Introducción de un funcional de pérdida de información-teórico y variacional que deriva las características de OOD como variables aleatorias, unificando la separación de distribuciones con la compresión de información.
Explicación Teórica de Métodos Existentes: El marco demuestra que los métodos actuales de estado del arte (SoA) basados en reglas (e.g., ReAct, VRA, ASH) corresponden implícitamente a supuestos distribucionales de OOD y fuerzas de regularización específicos. Por ejemplo, el recorte (clipping) está vinculado a una alta regularización IB, mientras que la supresión de valores pequeños está vinculada a supuestos de OOD de cola pesada.
Nueva Función de Modelado (PLF): Derivación de una nueva función de modelado lineal por partes, motivada teóricamente, que generaliza las propiedades de los métodos existentes sin comprometerse con un único supuesto de distribución a priori.
Parametrización Basada en Cuantiles: Una formulación novedosa para los puntos de ruptura de la PLF utilizando cuantiles empíricos, lo que permite que el método se generalice a través de diferentes rangos de características sin aumentar el recuento de parámetros.

Resultados
Los autores validan el método PLF frente a detectores de OOD post-hoc de SoA en exhaustivos benchmarks:

Desplazamientos Semánticos: En el benchmark OpenOOD (que cubre CIFAR-10, CIFAR-100, ImageNet-200 e ImageNet-1K), PLF se sitúa dentro de los tres mejores de los 21 métodos evaluados en todos los conjuntos de datos y arquitecturas. Logra el mejor ranking general en el desafiante benchmark de ImageNet-1K y supera consistentemente a otros métodos de modelado de características (Energy, ReAct, VRA-P, FS-OPT).
Desplazamientos de Covariable: En el conjunto de datos BROAD y en los benchmarks de desplazamiento de covariable de OpenOOD (incluyendo ImageNet-C, ImageNet-R, ImageNet-V2 y ataques adversarios como AutoAttack y PGD), PLF logra el mayor AUROC promedio entre los métodos de modelado de características y ocupa el segundo lugar general entre los 21 métodos. Demuestra robustez ante diversos desplazamientos donde otros métodos a menudo se especializan en solo un subconjunto. Notablemente, este trabajo presenta la primera evaluación exhaustiva de detectores de OOD post-hoc en desplazamientos de covariable específicamente dentro del marco OpenOOD.
Eficiencia: El costo de inferencia es comparable al de los métodos lineales por partes existentes (microsegundos por imagen en una GPU A100).

Significancia
El artículo afirma proporcionar el primer marco teórico general para la construcción de características de OOD basadas en distribuciones estadísticas. Su significancia radica en ir más allá de las heurísticas empíricas basadas en reglas hacia un enfoque basado en principios que explica por qué funcionan los métodos existentes y cómo construir mejores modelos. Al demostrar que una única función, derivada teóricamente (PLF), puede superar a métodos especializados tanto en desplazamientos semánticos como de covariable, el trabajo sugiere que es posible lograr una estrategia de modelado de características unificada y agnóstica a la distribución. Los autores señalan que este es el primer benchmarking exhaustivo de detectores de OOD post-hoc en desplazamientos de covariable dentro del marco OpenOOD, destacando la capacidad de generalización del método. Como trabajo futuro, se identifica la exploración de la distribución completa de la característica aleatoria (no solo su media), la integración de funciones de puntuación en la teoría y la extensión a funciones de modelado vectorial generales.

Más como este