First versus full or first versus last: U-statistic change-point tests under fixed and local alternatives

Aquí presento un resumen técnico detallado del artículo "First versus Full versus First versus Last: U-Statistic Change-Point Tests under Fixed and Local Alternatives" de Herold Dehling, Daniel Vogel y Martin Wendler.

1. Planteamiento del Problema

El problema central de la investigación es la comparación y evaluación de dos enfoques distintos para construir estadísticos de prueba tipo CUSUM (Suma Acumulada) basados en estadísticos U, destinados a detectar cambios en la estructura de una serie temporal.

En la literatura existente, los autores suelen adoptar uno de los dos enfoques sin justificar la elección ni comparar su rendimiento:

1. Enfoque "First-vs-Full" (Primero vs. Todo): Compara el estimador basado en las primeras $k$ observaciones ($\hat{\theta}_{1:k}$) con el estimador basado en toda la muestra ($\hat{\theta}_{1:n}$).
2. Enfoque "First-vs-Last" (Primero vs. Último): Compara el estimador basado en las primeras $k$ observaciones ($\hat{\theta}_{1:k}$) con el estimador basado en el resto de la muestra ($\hat{\theta}_{(k+1):n}$).

Para estadísticos lineales (como la media muestral), ambos enfoques son idénticos. Sin embargo, para estadísticos U no lineales (como la diferencia media de Gini, la varianza muestral o el tau de Kendall), los estadísticos difieren. La pregunta clave es: ¿Son estos dos tests asintóticamente equivalentes en todas las situaciones y, si no lo son, cuál es más potente en qué contexto de datos?

2. Metodología

Los autores analizan el comportamiento asintótico de ambos estadísticos bajo tres regímenes:

• Hipótesis Nula ($H_0$): No hay cambio en el parámetro.
• Alternativas Locales: El cambio en el parámetro disminuye a una tasa de $1/\sqrt{n}$ a medida que el tamaño de muestra $n$ crece.
• Alternativas Fijas: El cambio en el parámetro es constante y no depende de $n$.

Definiciones Clave:
Sean $X_1, \dots, X_n$ una serie estacionaria y $h$ una función núcleo simétrica. Se definen los procesos de diferencia ponderada:

• $D_n^F(k) = k(U_{1:k} - U_{1:n})$ (First-vs-Full)
• $D_n^L(k) = \frac{k(n-k)}{n}(U_{1:k} - U_{(k+1):n})$ (First-vs-Last)

Los estadísticos de prueba son $T_1(h) = n^{-1/2} \max |D_n^F(k)|$ y $T_2(h) = n^{-1/2} \max |D_n^L(k)|$.

Herramientas Teóricas:

• Descomposición de Hoeffding: Utilizada para separar la parte lineal (dominante) de la parte degenerada del estadístico U.
• Convergencia de Procesos: Se estudia la convergencia en distribución en el espacio de Skorokhod $D[0,1]$ hacia puentes Brownianos bajo $H_0$ y alternativas locales.
• Análisis de Alternativas Fijas: Se derivan funciones límite deterministas ($\Psi_1(t)$ y $\Psi_2(t)$) para los procesos escalados por $1/n$.
• Dependencia Débil: Los resultados se derivan bajo condiciones de dependencia débil (series P-NED - Near Epoch Dependence en probabilidad), generalizando resultados para datos i.i.d.

3. Contribuciones Clave

El artículo aporta las siguientes contribuciones teóricas y prácticas:

1. Equivalencia Asintótica: Se demuestra que bajo la hipótesis nula y bajo secuencias de alternativas locales, ambos estadísticos tienen la misma distribución límite (un puente Browniano escalado). Por lo tanto, en muestras grandes, su poder y tamaño son asintóticamente idénticos.
2. Criterio de Potencia para Alternativas Fijas: Se identifica que, en muestras finitas (especialmente pequeñas), las diferencias de potencia dependen de un parámetro crítico llamado excentricidad ($\rho_{FG}$).
   • Se definen tres parámetros:
     • $\theta_F = E[h(X, X')]$ (antes del cambio)
     • $\theta_G = E[h(Y, Y')]$ (después del cambio)
     • $\theta_{FG} = E[h(X, Y')]$ (mezcla)
   • La excentricidad se define como: $\rho_{FG} = \theta_{FG} - \frac{\theta_F + \theta_G}{2}$.
3. Regla de Decisión: Se establece un criterio simple para determinar qué test es más potente:
   • Si $\rho_{FG}$ tiene el mismo signo que $(\theta_G - \theta_F)$, el test First-vs-Full es más potente.
   • Si $\rho_{FG}$ tiene el signo opuesto a $(\theta_G - \theta_F)$, el test First-vs-Last es más potente.
   • Si $\rho_{FG} = 0$, ambos tests son igualmente potentes (esto ocurre si el estadístico U es estrictamente lineal).
4. Análisis de Casos Específicos: Se aplica el criterio teórico a cuatro estadísticos U populares, revelando comportamientos contraintuitivos o específicos.

4. Resultados Principales

A. Diferencia Media de Gini (GMD)

• Kernel: $h(x, y) = |x - y|$.
• Resultado Teórico: Para distribuciones univariadas con momentos finitos, la excentricidad $\rho_{FG}$ es siempre no negativa ($\rho_{FG} \ge 0$).
• Implicación Práctica:
  • Si la escala (variabilidad) aumenta ($\theta_G > \theta_F$), el test First-vs-Full es más potente.
  • Si la escala disminuye ($\theta_G < \theta_F$), el test First-vs-Last es más potente.
  • Esto es independiente de la ubicación del cambio o de cambios simultáneos en la media.

B. Varianza Muestral

• Kernel: $h(x, y) = (x - y)^2 / 2$.
• Resultado Teórico: $\rho_{FG} = \frac{1}{2}(\mu_F - \mu_G)^2 \ge 0$. La excentricidad es estrictamente positiva si hay un cambio en la media.
• Implicación Práctica:
  • Si solo hay cambio en la varianza (sin cambio en la media), $\rho_{FG} = 0$ y ambos tests son equivalentes.
  • Si hay un cambio simultáneo en la media y la varianza, la excentricidad es positiva. Por tanto, la potencia depende de si la varianza aumenta o disminuye, siguiendo la misma regla que la GMD.

C. Tau de Kendall

• Kernel: Basado en concordancia de pares.
• Resultado Teórico: A diferencia de los casos anteriores, $\rho_{FG}$ puede ser positivo, negativo o cero dependiendo de la simetría de las distribuciones $F$ y $G$.
• Implicación Práctica: No existe un ganador universal. La elección del test depende de la dirección del cambio en la correlación y la estructura de las distribuciones. Por ejemplo, en distribuciones normales bivariadas, si la correlación disminuye, el test First-vs-Full puede ser superior, mientras que en otros escenarios el First-vs-Last puede ganar.

D. Simulaciones y Datos Reales

• Simulaciones: Confirman que para $n$ grande (ej. 4000), las diferencias de potencia son despreciables (< 0.1%). Para $n$ pequeño (ej. 63), las diferencias pueden ser sustanciales (hasta un 10-15% en poder), alineándose con la teoría de alternativas fijas.
• Ejemplo de Datos (Río Colorado):
  • Al analizar el caudal del río Colorado (Lees Ferry vs. Cameo) tras la construcción de la presa Glen Canyon, se observó un cambio en la escala (disminución de la variabilidad).
  • El test First-vs-Last detectó el cambio con significancia estadística ($p=0.019$), mientras que el First-vs-Full apenas alcanzó el umbral ($p=0.076$), validando la predicción teórica de que First-vs-Last es superior cuando la escala disminuye.

5. Significado e Impacto

Este trabajo es fundamental para la práctica de la detección de cambios por varias razones:

1. Desmitificación de la Equivalencia: Corrige la suposición común de que los dos enfoques de CUSUM son siempre intercambiables. Muestra que, aunque asintóticamente equivalentes, en muestras finitas la elección del método es crítica.
2. Guía de Selección Práctica: Proporciona un criterio matemático simple (el signo de la excentricidad relativa al cambio de parámetro) que permite a los investigadores elegir el test óptimo sin necesidad de simulaciones costosas para cada caso.
3. Robustez: Al trabajar bajo condiciones de dependencia débil (P-NED) y sin asumir momentos de orden superior para ciertos estadísticos (como el Tau de Kendall), los resultados son aplicables a una gama más amplia de procesos estocásticos reales que los modelos i.i.d. tradicionales.
4. Aplicabilidad en Ciencias de Datos: La demostración empírica con datos hidrológicos subraya la importancia de seleccionar el estadístico correcto en aplicaciones críticas donde la detección temprana y precisa de cambios estructurales es vital.

En conclusión, el artículo cierra la brecha teórica entre dos enfoques populares, demostrando que la "mejor" opción depende intrínsecamente de la naturaleza del cambio (aumento vs. disminución de la escala) y de la estructura de dependencia de los datos, ofreciendo una herramienta de decisión basada en la excentricidad del núcleo del estadístico U.