Adaptive-Hazard Bayesian Online Change-Point Detection for Text Streams: A Dirichlet-Multinomial Formulation

Resumen Técnico: Detección de Cambios en Línea Bayesiana con Riesgo Adaptativo para Flujos de Texto

Planteamiento del Problema
La Detección de Cambios en Línea Bayesiana (BOCPD, por sus siglas en inglés) ofrece un marco recursivo para el monitoreo secuencial mediante la actualización de la distribución posterior de la "longitud de la corrida" (tiempo transcurrido desde el último punto de cambio). Sin embargo, las implementaciones estándar suelen depender de una función de riesgo constante o dependiente de la duración para determinar la probabilidad a priori de un reinicio de segmento. Esta limitación es particularmente trascendental en flujos de texto dispersos, donde las observaciones son vectores de recuento de palabras de alta dimensionalidad y los cambios en la distribución suelen manifestarse como una deriva léxica gradual en lugar de cambios abruptos en resúmenes de baja dimensionalidad. En la BOCPD estándar, la discrepancia entre un documento entrante y el historial reciente influye en la posterior solo a través de la verosimilitud predictiva, dejando el peso del reinicio a priori estático. Este artículo aborda la brecha metodológica de conectar la actualización predictiva basada en recuentos dispersos con una función de riesgo que responda explícitamente a la evidencia de deriva léxica en línea.

Metodología
Los autores proponen un método de BOCPD de Dirichlet-Multinomial de Riesgo Adaptativo diseñado para flujos de texto dispersos. El enfoque integra tres componentes principales:

1. Modelo de Observación: Los documentos se representan como vectores de recuento de palabras. El modelo emplea una distribución predictiva Dirichlet-Multinomial, que proporciona una actualización conjugada para recuentos dispersos de alta dimensionalidad. Esto permite el cálculo eficiente de la probabilidad predictiva posterior de un paso para cualquier longitud de corrida candidata.
2. Función de Riesgo Adaptativo: La innovación central es reemplazar el riesgo fijo $H_0$ por un riesgo variable en el tiempo $H_t$. Este riesgo se modela como una función logística acotada de una divergencia de Jensen–Shannon (JS) en línea.
   • La divergencia JS ($z_t$) mide la discrepancia distributiva-léxica entre la distribución empírica suavizada del documento actual y un historial de ventana rodante reciente.
   • El riesgo se define como $H_t = h_{min} + (h_{max} - h_{min})\sigma(\alpha + \beta z_t)$, donde $\sigma$ es la sigmoide logística.
   • Esta formulación permite que la probabilidad de reinicio a priori aumente en respuesta a una deriva léxica significativa, manteniéndose al mismo tiempo acotada para evitar la degeneración (0 o 1).
   • Cuando el coeficiente de sensibilidad $\beta = 0$, el modelo se reduce a la BOCPD de riesgo constante estándar, asegurando que este nuevo método sea una extensión anidada del marco existente.
3. Implementación Computacional: Para manejar la complejidad cuadrática de la BOCPD estándar sobre flujos largos, los autores implementan la poda de probabilidad. Los estados con probabilidades posteriores por debajo de un umbral $\epsilon$ se descartan, mientras que el estado de reinicio ($r=0$) y el estado de Máxima A Posteriori (MAP) siempre se retienen. El algoritmo opera en la escala logarítmica para evitar el desbordamiento numérico.

Contribuciones Clave
El artículo realiza tres contribuciones:

1. Formulación: Establece un procedimiento BOCPD de Dirichlet-Multinomial para flujos de texto dispersos con actualización predictiva posterior explícita para observaciones de recuento de palabras de alta dimensionalidad.
2. Mecanismo Adaptativo: Introduce un riesgo adaptativo logístico acotado que vincula la deriva JS en línea con la probabilidad de reinicio a priori. Esto separa la "plausibilidad del límite" (impulsada por el riesgo) de la "compatibilidad predictiva a nivel de segmento" (impulsada por el modelo de observación).
3. Evaluación Empírica: Proporciona una implementación computacional dispersa y evalúa el método contra una línea base de riesgo constante (DM-BOCPD-CH) y varias líneas base no bayesianas (JS-CUSUM, JS-PH, JS-PELT) a través de siete regímenes controlados: estacionariedad, cambios abruptos, deriva gradual, temas recurrentes, documentos dispersos, vocabulario ruidoso y deriva léxica débil.

Resultados Experimentales
El método fue probado en 7,000 flujos de texto sintéticos (700,000 documentos secuenciales) y una aplicación en el mundo real sobre los metadatos semanales de arXiv cs.CL.

• Cambios Abruptos y Recurrentes: Bajo cambios abruptos y temas recurrentes, el filtro de riesgo adaptativo (DM-BOCPD-AH) se comportó de manera casi idéntica a la línea base de riesgo constante (DM-BOCPD-CH). Las tasas de detección válidas fueron cercanas a 1.0 (por ejemplo, 0.998 frente a 1.000) y los retrasos fueron insignificantes. Esto indica que la verosimilitud predictiva de Dirichlet-Multinomial por sí sola proporciona evidencia suficiente para límites nítidos.
• Deriva Gradual y Débil: El riesgo adaptativo mostró sus ganancias más claras en escenarios donde los cambios eran distribuidos en el tiempo o débiles.
  • Deriva Gradual: La detección válida aumentó de 0.929 (constante) a 0.933 (adaptativo), y el retraso medio de detección disminuyó de 6.829 a 6.391.
  • Deriva Débil: La detección válida mejoró de 0.135 a 0.169, con una reducción correspondiente en el retraso medio.
• Documentos Dispersos: En escenarios con documentos cortos, el método adaptativo se volvió más sensible (el retraso disminuyó de 0.614 a 0.551) pero ligeramente menos conservador, con tasas de falsas alarmas que aumentaron de 0.050 a 0.077 debido al incremento en la variación de muestreo en la divergencia JS.
• Estacionariedad: Ambos métodos de BOCPD mantuvieron bajas tasas de falsas alarmas (0.004–0.005) bajo condiciones estacionarias, superando significativamente a las líneas base de monitoreo directo de JS (0.050).
• Aplicación en el Mundo Real: En el flujo de arXiv cs.CL, el riesgo adaptativo aumentó ligeramente la probabilidad media de reinicio (0.0167 a 0.0190) en respuesta a la variación léxica, pero no declaró fronteras espurias. La posterior permaneció concentrada en un único segmento continuo, demostrando que el filtro distinguió correctamente entre la fluctuación léxica natural y los cambios reales de régimen.

Significancia y Reivindicaciones
El artículo sostiene que la formulación de riesgo adaptativo debe interpretarse mejor como una extensión condicional de la BOCPD de riesgo constante, en lugar de un detector uniformemente dominante. Su significancia radica en su capacidad para mejorar la sensibilidad de detección y reducir la latencia específicamente cuando las señales de cambio son débiles o graduales, sin sacrificar el rendimiento en cambios abruptos.

Los autores enfatizan que el método preserva la estructura de filtrado recursivo de la BOCPD permitiendo que el peso de reinicio a priori se adapte a la evidencia en línea. A diferencia de los enfoques de modelado de temas que dependen de estructuras de temas latentes, este método monitorea directamente los vectores de recuento de palabras dispersos. El estudio concluye que el riesgo adaptativo reacciona eficazmente a la evidencia de deriva en línea, pero la decisión final de reiniciar un segmento sigue gobernada por el efecto conjunto del peso del riesgo y el soporte predictivo de Dirichlet-Multinomial, asegurando un comportamiento conservador en ausencia de evidencia predictiva fuerte.