Local Diagnostics of Continuous Normalizing Flow for Out-of-Distribution Detection

Resumen Técnico: Diagnóstico Local de Flujos Normalizadores Continuos para la Detección de Fuera de Distribución

Planteamiento del Problema
El artículo aborda el desafío de la detección de Fuera de Distribución (OOD, por sus siglas en inglés) en espacios de datos de alta dimensión, específicamente cuando la observación objetivo reside en un subespacio de dichos datos. Un obstáculo principal es la "paradoja de la verosimilitud" (likelihood paradox), donde los modelos generativos profundos (DGM), incluidos los Flujos Normalizadores Continuos (CNF), asignan erróneamente verosimilitudes más altas a muestras OOD que a los datos de la distribución interna (ID). Este fenómeno se atribuye al sesgo inductivo de los DGM, que priorizan detalles estructurales de bajo nivel (por ejemplo, estadísticas de fondo o correlaciones de píxeles) sobre la coherencia semántica de alto nivel. Aunque los métodos existentes intentan mitigar esto mediante razones de verosimilitud o complejidad de la entrada, a menudo tratan a los DGM como estimadores de probabilidad estáticos, ignorando la rica información dinámica embebida en las trayectorias de entrenamiento e inferencia del modelo.

Metodología
Los autores proponen un marco de Flujo Sub-Lagrangiano (LSF) diseñado para aislar y estimar la densidad de los componentes relevantes (el subespacio objetivo) mientras utiliza los componentes restantes como contexto. La metodología se fundamenta en la dinámica de fluidos y consta de tres componentes técnicos principales:

1. Marco de Flujo Sub-Lagrangiano (LSF):

   • Los autores descomponen el espacio de flujo ambiental $\mathbb{R}^D$ en un subespacio objetivo $S$ y un espacio de contexto complementario $C$.
   • Identifican un problema crítico denominado "fuga de densidad interdimensional", donde la evolución del espacio de contexto $C$ provoca que la masa de probabilidad se desplace hacia adentro o hacia afuera del subespacio objetivo $S$, violando la conservación de la masa local y enmascarando las señales cinemáticas intrínsecas locales.
   • Para resolver esto, introducen un mecanismo de sellado cinemático. Esto implica proyectar el campo de velocidad original $v(x, t)$ sobre el subespacio $S$ mediante la anulación de los componentes de velocidad en $C$ (estableciendo $v_C = 0$). Esto crea un "tubo rígido" que restaura la autonomía del sub-flujo, permitiendo una ecuación de continuidad local válida sin redefinir el sistema dinámico global.

2. Estimador de Traza de Hutchinson para Sub-flujos:

   • Para cuantificar la evolución de la densidad a lo largo del camino sellado, los autores derivan una fórmula de cambio de variables instantánea para sub-flujos.
   • Proponen una herramienta estocástica para estimar eficientemente la traza del Jacobiano del sub-flujo. Al aprovechar la proyección cinemática, se demuestra que la traza del Jacobiano del sub-flujo es equivalente a la traza del Jacobiano del flujo completo cuando se proyecta sobre vectores de sondeo específicos. Esto permite una estimación eficiente utilizando un número reducido de productos Jacobiano-vector (JVP), lo que hace que el enfoque sea escalable para campos vectoriales neuronales de alta dimensión.

3. Métricas de Diagnóstico:
   El artículo define varias métricas basadas en la dinámica del sub-flujo para detectar muestras OOD (específicamente errores de pronunciación en el habla):

   • Basadas en verosimilitud: Log-verosimilitud de la sub-representación ($LL$), ajuste de la distribución previa en el espacio latente ($PRIOR$) y corrección de distancia radial ($RAD$).
   • Geométricas/Heurísticas: Métricas que miden la desviación de la trayectoria óptima de transporte óptimo (OT) recta esperada para muestras ID. Estas incluyen DISP (razón entre el desplazamiento y la longitud del camino) y COS (similitud de coseno integrada entre la trayectoria OT y la trayectoria de blanqueo o whitening).

Contribuciones Clave

• Marco LSF: Identificación del problema de acoplamiento global en los CNF basados en Transformers y la propuesta del marco de Flujo Sub-Lagrangiano para inspeccionar propiedades locales preservando el contexto global.
• Herramientas Estocásticas: Desarrollo de herramientas eficientes para separar las señales de diagnóstico local de la evolución global, específicamente el Estimador de Traza de Hutchinson para sub-flujos.
• Aplicación al Habla: Demostración de estas herramientas en el dominio de la detección de errores de pronunciación a nivel de fonema zero-shot utilizando un modelo generativo de habla basado en CNF (F5-TTS).
• Análisis Geométrico: Visualización y discusión de las propiedades geométricas del campo vectorial aprendido, mostrando que el desajuste geométrico es un indicador más sensible para la detección de OOD que las fluctuaciones de densidad.

Resultados
Los autores evaluaron sus métodos en el conjunto de datos CMU Kids para la detección de errores de pronunciación a nivel de fonema zero-shot.

• Verosimilitud vs. Geometría: Las métricas basadas en la verosimilitud (GOP-LL, GOP-PRIOR) tuvieron un desempeño inferior comparado con los métodos geométricos (GOP-DISP, GOP-COS). Los resultados confirman la "paradoja de la verosimilitud", donde las muestras mal pronunciadas a veces arrojaron verosimilitudes más altas que las correctas.
• Relativo vs. Absoluto: Las medidas relativas (comparando contra un modelo de fondo o contexto) generalmente superaron a las medidas absolutas.
• Desempeño: La métrica geométrica GOP-COS (relativa) alcanzó un AUC de 0.738, superando a los métodos tradicionales basados en GMM (0.723), pero quedando por debajo de los métodos discriminativos de vanguardia como GOP-CTC-SF (0.915).
• Validación Sintética: Experimentos con datos sintéticos demostraron que el mecanismo de sellado previene con éxito la contaminación de la densidad proveniente de la dimensión complementaria, resultando en una estimación de densidad suave y completa en el manifold objetivo.

Significancia y Reivindicaciones
El artículo sostiene que el verdadero poder de diagnóstico de los CNF no reside en las puntuaciones de verosimilitud holísticas, sino en las trayectorias localizadas y de grano fino dentro del manifold de alta dimensión. Al descomponer el flujo global en sub-flujos específicos de contexto, el método captura la incoherencia estructural que de otro modo sería enmascarada por el promedio global.

Los autores concluyen que el desajuste geométrico (la desviación de la trayectoria de flujo esperada) sirve como un indicador más sensible para la detección de OOD que las simples fluctuaciones de densidad en los modelos basados en CNF. Si bien el método logra un desempeño comparable a los modelos discriminativos tradicionales en esta tarea específica, no alcanza a los enfoques discriminativos de vanguardia (SOTA). El trabajo representa el primer intento de utilizar CNF para la detección de OOD en subespacios, sugiriendo que trabajos futuros deberían verificar la generalizabilidad a otros dominios como la visión computacional o sistemas de sensores.