Post-detection inference for sequential changepoint localization

1. El Problema: Inferencia Post-Detección en Cambios Secuenciales

El trabajo aborda un desafío fundamental y poco explorado en el análisis de cambios secuenciales: la construcción de conjuntos de confianza para el instante de cambio desconocido ($T$) después de que un algoritmo de detección ha emitido una alarma.

• Contexto: Se observa una secuencia de datos $X_1, X_2, \dots$ que sigue una distribución pre-cambio $F_0$ hasta un tiempo desconocido $T$, momento en el cual cambia a una distribución post-cambio $F_1$.
• El Reto: Un algoritmo de detección secuencial $\mathcal{A}$ (como CUSUM o métodos modernos basados en ML) se detiene en un tiempo aleatorio $\tau$ cuando detecta un cambio.
  • Si $\tau < T$, la alarma es falsa (no hay información sobre $T$).
  • Si $\tau \ge T$, sabemos que el cambio ocurrió en algún momento $t \le \tau$, pero no sabemos cuándo exactamente.
• Limitación de la Literatura Existente:
  • La mayoría de los métodos asumen que el algoritmo de detección tiene una Probabilidad de Falsa Alarma (PFA) acotada ($<1$).
  • Sin embargo, muchos algoritmos prácticos (especialmente aquellos con Longitud de Ejecución Promedio (ARL) acotada) tienen una PFA igual a 1, lo que significa que eventualmente darán una falsa alarma.
  • Para algoritmos con PFA=1, es imposible garantizar una cobertura incondicional $P(T \in C) \ge 1-\alpha$ si el conjunto $C$ es un subconjunto de $\{1, \dots, \tau\}$. Si ocurre una falsa alarma ($\tau < T$), no se puede cubrir $T$ sin incluir todos los números naturales.
• Objetivo del Artículo: Construir un conjunto de confianza $C \subseteq \{1, \dots, \tau\}$ que garantice una cobertura condicional:
  $$P(T \in C \mid \tau \ge T) \ge 1 - \alpha$$
  Esto significa que el conjunto es válido siempre que el algoritmo haya detectado el cambio después de que este ocurrió realmente.

2. Metodología Propuesta

Los autores desarrollan un marco general no paramétrico que actúa como un "envoltorio" (wrapper) sobre cualquier algoritmo de detección existente, sin requerir conocer su funcionamiento interno.

A. Dualidad Prueba-Intervalo y Procesos E

La metodología se basa en invertir pruebas de hipótesis para cada candidato $t \in \{1, \dots, \tau\}$.

• Hipótesis Nula $H_{0,t}$: El cambio ocurrió en el tiempo $t$.
• Estadístico de Prueba ($M_t$): Se construye utilizando procesos E (e-processes), herramientas de inferencia "válida en cualquier momento" (anytime-valid).
  • Se utilizan dos tipos de procesos E:
    1. Proceso E hacia adelante ($R^{(t)}_n$): Acumula evidencia a favor de que el cambio ocurrió en $t$ (comparando $F_1$ contra $F_0$ en la secuencia $X_t, \dots$).
    2. Proceso E hacia atrás ($S^{(t)}_n$): Acumula evidencia a favor de que el cambio ocurrió en $t$ (comparando $F_0$ contra $F_1$ en la secuencia $X_1, \dots, X_{t-1}$).
  • El estadístico final $M_t$ es el máximo de estos procesos sobre todos los tiempos posibles de detección.
• Umbral Universal: Se demuestra que $M_t \ge 2/\alpha$ implica un nivel de prueba $\alpha$, independientemente de las distribuciones $F_0, F_1$ o del algoritmo $\mathcal{A}$.

B. Dos Enfoques Principales

1. Método Universal (No Paramétrico):

   • Suposición: La distribución pre-cambio $F_0$ es conocida (o se asume una distribución "menos favorable" en clases compuestas).
   • Mecanismo: Utiliza un umbral fijo ajustado por una estimación de la probabilidad de que el algoritmo no se haya detenido antes de $t$ ($P(\tau \ge t)$).
   • Estimación de $P(\tau \ge t)$: Se realiza mediante simulación Monte Carlo (generando datos puramente de $F_0$ y ejecutando $\mathcal{A}$).
   • Ventaja: No requiere suposiciones sobre $F_1$ (no paramétrico) y es computacionalmente eficiente ($O(T^2)$).

2. Método Adaptativo (Basado en Simulación):

   • Suposición: Se asumen modelos paramétricos (o clases compuestas paramétricas) para $F_0$ y/o $F_1$.
   • Mecanismo: En lugar de un umbral fijo, se simulan miles de trayectorias de datos bajo la hipótesis nula $H_{0,t}$ para estimar la distribución exacta del estadístico $M_t$ y calcular cuantiles adaptativos.
   • Manejo de Parámetros Desconocidos: Utiliza secuencias de confianza (confidence sequences) para estimar los parámetros desconocidos dentro de los intervalos de prueba, garantizando la validez finita.
   • Ventaja: Produce conjuntos de confianza más estrechos (más precisos) y puede manejar datos dependientes (ej. cadenas de Markov), algo que el método universal no puede hacer fácilmente debido a la dificultad de construir procesos E hacia atrás en datos dependientes.

C. Inferencia para Parámetros

El marco también permite derivar conjuntos de confianza para los parámetros pre-cambio ($\theta_0$) y post-cambio ($\theta_1$) una vez que se ha localizado $T$, utilizando la unión de intervalos de confianza construidos sobre los candidatos en el conjunto $C$.

3. Contribuciones Clave

1. Primera Metodología General No Paramétrica: Presentan el primer método teórico y práctico para la localización de cambios que es válido para cualquier algoritmo de detección secuencial (desde CUSUM clásico hasta ML heurístico) y cualquier clase post-cambio no paramétrica.
2. Validez No Asintótica: A diferencia de trabajos previos (como Wu, 2007) que solo ofrecen garantías asintóticas (cuando $T \to \infty$), este método garantiza la cobertura en muestras finitas.
3. Manejo de Algoritmos con PFA=1: Resuelven el problema de la cobertura condicional para algoritmos que inevitablemente generan falsas alarmas (ARL acotado), un escenario común en la práctica pero ignorado en la teoría de localización.
4. Extensión a Datos Dependientes: El método adaptativo permite realizar inferencia válida incluso cuando los datos no son i.i.d., una limitación crítica de los métodos existentes.
5. Teoremas de Longitud: Proporcionan cotas teóricas sobre el tamaño esperado del conjunto de confianza, mostrando cómo este crece con la dificultad del problema (distancia entre distribuciones) y el retraso de detección.

4. Resultados Experimentales

Los autores validan su enfoque mediante simulaciones extensas y un caso de estudio con datos reales:

• Escenarios Probados:
  • Cambios de media en Gaussianas (conocidos y desconocidos).
  • Cambios en distribuciones compuestas paramétricas.
  • Cambios no paramétricos (ej. de Normal a Uniforme).
  • Modelos robustos (Huber) con contaminación.
  • Datos Dependientes: Cadenas de Markov.
  • Datos Reales: Localización de cambios de sentimiento en el dataset SST-2 (reseñas de películas), utilizando un modelo BERT pre-entrenado para la detección.
• Comparación con el Estado del Arte:
  • Al compararse con el método de Wu (2007) (el único referente previo), el método propuesto logra la cobertura condicional deseada (ej. 90%), mientras que el método de Wu muestra una subcobertura significativa (ej. 70-80%) debido a sus aproximaciones asintóticas.
  • El tamaño de los intervalos es comparable o ligeramente mayor, pero a cambio de una garantía de validez rigurosa.
• Rendimiento Computacional:
  • El método universal es muy rápido.
  • El método adaptativo es más costoso ($O(T^3)$) pero ofrece intervalos más estrechos y maneja dependencias.

5. Significado e Impacto

Este trabajo cierra una brecha importante en la literatura estadística y de aprendizaje automático:

• Práctico: Permite a los ingenieros y científicos de datos utilizar los algoritmos de detección de cambios más potentes (incluyendo redes neuronales y métodos heurísticos) y obtener inmediatamente una medida de incertidumbre fiable sobre cuándo ocurrió el cambio, sin necesidad de reentrenar o modificar el detector.
• Teórico: Establece un nuevo estándar para la inferencia post-detección, demostrando que es posible obtener garantías de cobertura finitas y condicionales sin asumir distribuciones específicas o asintóticas.
• Aplicabilidad: Es crucial en dominios donde la detección rápida es vital pero las falsas alarmas son comunes, como ciberseguridad, control de calidad industrial, monitoreo de salud y análisis de sentimientos en redes sociales, permitiendo investigar la causa raíz del cambio con rigor estadístico.

En resumen, el artículo ofrece la primera herramienta no paramétrica, teóricamente sólida y ampliamente aplicable para localizar cambios secuenciales con garantías de confianza válidas en muestras finitas, independientemente del detector utilizado.