Resumen Técnico: Señal en el Ruido (SITN)

Enunciado del Problema

Los modelos generativos profundos, en particular los Flujos Normalizantes Continuos (CNF), ofrecen una base teórica para la detección de datos fuera de distribución (OOD) al modelar explícitamente las distribuciones de datos. Sin embargo, investigaciones anteriores han establecido que las verosimilitudes asignadas por estos modelos son indicadores poco fiables para distinguir datos dentro de la distribución (ID) de datos OOD en espacios de alta dimensión. Un modo de fallo bien documentado implica que los modelos entrenados en un conjunto de datos (por ejemplo, CIFAR-10) asignan verosimilitudes más altas a muestras de un conjunto de datos diferente (por ejemplo, MNIST o SVHN).

Las correcciones existentes a este problema, como las pruebas de tipicidad, las penalizaciones de complejidad y las relaciones de verosimilitud, a menudo sufren de sesgos inherentes vinculados a la propia verosimilitud (específicamente el "sesgo de complejidad", donde se favorecen imágenes simples) o imponen restricciones prácticas. Estas restricciones incluyen la necesidad de algoritmos de compresión específicos del dominio, acceso a datos OOD para modelos de fondo o una sobrecarga computacional significativa (por ejemplo, entrenamiento de conjuntos o ajuste fino en muestras de prueba).

Metodología: Señal en el Ruido (SITN)

Los autores proponen Señal en el Ruido (SITN), un marco que replantea la detección OOD como una prueba de bondad de ajuste de una sola muestra dentro del espacio de ruido latente de los CNF.

Idea Central

Los CNF utilizan mapeos difeomórficos que preservan la masa para transformar un prior de ruido gaussiano estándar ($P_0 = \mathcal{N}(0, I)$) en la distribución de datos objetivo ($P_{ID}$). Dado que estos mapeos son reversibles, los datos ID se mapean de vuelta a muestras que se ajustan al prior gaussiano estándar. Por el contrario, las muestras OOD, que poseen baja masa de probabilidad bajo la distribución objetivo, se mapean a latentes de ruido que exhiben propiedades empíricas atípicas bajo el prior gaussiano. Crucialmente, esta atipicidad es independiente de la divergencia del campo vectorial, que es el principal impulsor de los valores de verosimilitud.

El Marco

SITN explota la factorización completa del prior gaussiano. Un único vector latente de alta dimensión $Z$ (mapeado desde una entrada $X$ a través del flujo inverso $\phi^{-1}$) se trata como una colección de $D$ muestras independientes e idénticamente distribuidas (i.i.d.) de una distribución normal estándar univariada. El método prueba $Z$ contra dos condiciones necesarias para la hipótesis nula ($H_0$) de que $Z \sim \mathcal{N}(0, I)$:

1. Normalidad Marginal: Cada elemento de $Z$ debe seguir una distribución normal univariada estándar.
   • Estadístico: Se utiliza el estadístico Anderson-Darling (AD) ($S_{AD}$) para cuantificar la discrepancia entre la función de distribución acumulada (CDF) empírica de los elementos latentes y la CDF normal estándar teórica.
2. Independencia Dimensional: Los elementos de $Z$ deben ser mutuamente independientes.
   • Estadístico: Se utiliza el Coeficiente de Variación (CV) del espectro de potencia empírico ($S_{CV}$). Para el ruido gaussiano blanco, el espectro de potencia sigue una distribución exponencial, lo que produce un CV teórico de 1. Las correlaciones estructurales (dependencia) se manifiestan como frecuencias dominantes, inflando la varianza espectral e impulsando $S_{CV}$ significativamente por encima de 1.

Puntuación y Calibración

Para producir una única puntuación escalar OOD ($S_{SITN}$), el método emplea una estrategia de cuantil máximo:
$$S_{SITN} = \max(\hat{F}_{AD}(S_{AD}), \hat{F}_{CV}(S_{CV}))$$
donde $\hat{F}$ representa las CDF empíricas estimadas a partir de un conjunto de calibración ID. Este enfoque mapea los estadísticos a un rango uniforme $[0, 1]$, permitiendo una comparación significativa. Al tomar el máximo, el método rechaza $H_0$ si la muestra viola la normalidad marginal o la independencia dimensional.

Propiedades Teóricas

• Control de Falsos Positivos: El método permite un control estricto de la tasa de error de Tipo I (Tasa de Falsos Positivos). Al calibrar las CDF empíricas en un conjunto ID retenido, se puede establecer un umbral para garantizar una tasa de falsos positivos específica sin requerir acceso a datos OOD.
• Eficiencia Computacional: La sobrecarga es insignificante en comparación con el cálculo del flujo inverso. Calcular $S_{AD}$ implica ordenar ($O(D \log D)$), y $S_{CV}$ implica una Transformada Rápida de Fourier ($O(D \log D)$).
• Robustez: El marco sigue siendo aplicable incluso si el CNF es una aproximación de la distribución verdadera, aunque esto puede aumentar los errores de Tipo II (detecciones perdidas) en lugar de los Falsos Positivos.

Contribuciones Clave

1. Nuevo Marco: Un enfoque con base teórica que plantea la detección OOD como pruebas de bondad de ajuste de una sola muestra contra el prior de ruido gaussiano factorizado de los CNF.
2. Método SITN: Una instanciación específica que no requiere datos OOD, tiene una sobrecarga computacional mínima y proporciona un control estricto del error de Tipo I.
3. Validación Empírica: Evaluación exhaustiva que demuestra la eficacia en benchmarks estándar y perturbaciones sintéticas, destacando la ausencia del sesgo de complejidad inherente a los métodos basados en verosimilitud.

Resultados Experimentales

Los autores evaluaron SITN frente a líneas base que incluyen la Log-verosimilitud cruda, la Tipicidad y la Estimación de la Densidad de Estados (DoSE) en tres conjuntos de datos: CIFAR-10, SVHN y CelebA (submuestreado a 32x32).

• Rendimiento entre Conjuntos de Datos: SITN superó consistentemente a todas las líneas base. Por ejemplo, al entrenar en CIFAR-10 y probar en SVHN, SITN logró un AUROC de 0.946, en comparación con 0.105 para la Log-verosimilitud y 0.802 para DoSE. En la configuración inversa (entrenamiento en SVHN, prueba en CIFAR-10), SITN logró 0.986 frente a 0.980 para la Log-verosimilitud.
• Perturbaciones Sintéticas: En CIFAR-10-C (19 tipos de corrupción), SITN logró el AUROC promedio más alto (0.85), superando significativamente a la Log-verosimilitud (0.59), la Tipicidad (0.69) y DoSE (0.78). SITN mantuvo un rendimiento robusto incluso en condiciones donde otros métodos descendieron a niveles de azar.
• Análisis de Sesgo de Complejidad: Las visualizaciones y gráficos de dispersión revelaron que la Verosimilitud, la Tipicidad y DoSE mostraron fuertes correlaciones con la complejidad de la imagen (medida por el tamaño de compresión PNG), a menudo señalando imágenes simples con fondo constante como OOD. SITN no mostró tal sesgo ($R^2 = 0.052$).
• Modos de Fallo: Aunque altamente efectivo, SITN mostró un caso límite específico donde la arquitectura UNet luchó por mapear grandes parches de fondo constante a ruido gaussiano típico, haciendo que el estadístico AD los marcara como atípicos incluso cuando estaban dentro de la distribución.

Significado y Afirmaciones

El artículo afirma que SITN ofrece un avance práctico y estadístico significativo sobre los enfoques centrados en la verosimilitud. Al desplazar el mecanismo de detección del espacio de datos (donde las verosimilitudes son poco fiables) al espacio de ruido (donde las muestras OOD se manifiestan como ruido atípico), el método logra:

• Fiabilidad: Evita los modos de fallo catastróficos asociados con la detección OOD basada en verosimilitud.
• Practicidad: No requiere acceso a datos OOD para el entrenamiento o la calibración e incurre en un costo computacional mínimo.
• Rigor Estadístico: Proporciona un mecanismo formal para controlar la tasa de falsos positivos, una característica a menudo ausente en los detectores OOD heurísticos.

Los autores concluyen que, aunque SITN no es una panacea (notando el caso límite específico con fondos constantes), representa un paso crítico hacia un despliegue más seguro del aprendizaje automático en dominios de alto riesgo al proporcionar salvaguardas robustas y con base teórica contra entradas fuera de distribución.