First versus full or first versus last: U-statistic change-point tests under fixed and local alternatives

Resumo Técnico: Testes de Ponto de Mudança Baseados em U-Estatísticas

1. O Problema

A detecção de pontos de mudança (change-points) em séries temporais é um problema fundamental na estatística. O método clássico para testar a constância da média de uma série $X_1, \dots, X_n$ é o teste CUSUM (Cumulative Sum). Existem duas formulações naturais para generalizar o teste CUSUM para estimadores de parâmetros mais gerais (como variância, correlação ou outras estatísticas de U):

1. First-vs-Full (Primeiro vs. Total): Compara a estimativa baseada nos primeiros $k$ dados ($\hat{\theta}_{1:k}$) com a estimativa baseada em todo o conjunto de dados ($\hat{\theta}_{1:n}$).
2. First-vs-Last (Primeiro vs. Último): Compara a estimativa baseada nos primeiros $k$ dados ($\hat{\theta}_{1:k}$) com a estimativa baseada apenas nos dados restantes ($\hat{\theta}_{(k+1):n}$).

Embora essas duas abordagens sejam idênticas para a média amostral (uma estatística linear), elas diferem para estatísticas não-lineares, como as U-estatísticas (ex: Diferença Média de Gini, Variância Amostral, Tau de Kendall). A literatura frequentemente adota uma abordagem sem justificar a escolha ou assumindo que são equivalentes. O objetivo deste trabalho é investigar se essas duas abordagens diferem substancialmente, em quais situações uma é superior à outra e sob quais condições.

2. Metodologia

Os autores analisam o comportamento assintótico de dois estatísticos de teste baseados em U-estatísticas sob três regimes:

• Hipótese Nula ($H_0$): Não há mudança no parâmetro.
• Alternativas Locais: A mudança no parâmetro diminui à medida que o tamanho da amostra $n$ aumenta (escala $1/\sqrt{n}$).
• Alternativas Fixas: A mudança no parâmetro é constante, independentemente de $n$.

Definições Chave:
Seja $U_{k:l}$ a U-estatística calculada sobre os dados de $k$ a $l$. Os testes são definidos como:

• $T_1(h) = \max_{1 \le k \le n} \frac{k}{\sqrt{n}} |U_{1:k} - U_{1:n}|$ (First-vs-Full)
• $T_2(h) = \max_{1 \le k \le n} \frac{k(n-k)}{n^{3/2}} |U_{1:k} - U_{(k+1):n}|$ (First-vs-Last)

Onde $h$ é o núcleo (kernel) da U-estatística. O estudo considera dados dependentes (fracamente dependentes) e independentes, utilizando a decomposição de Hoeffding e teoremas de limite central funcional para processos estocásticos.

3. Principais Contribuições e Resultados Teóricos

A. Equivalência Assintótica (Grandes Amostras)

• Hipótese Nula e Alternativas Locais: Os autores provam que, sob a hipótese nula e sob sequências de alternativas locais, os dois estatísticos de teste são assintoticamente equivalentes. Ambos convergem para a mesma distribuição limite (o supremo de uma Ponte de Brownian).
• Implicação: Em grandes amostras, a escolha entre "First-vs-Full" e "First-vs-Last" não afeta o poder do teste nem o nível de significância.

B. Diferenças em Alternativas Fixas (Amostras Pequenas/Médias)

• Sob alternativas fixas (onde o parâmetro muda de um valor $\theta_F$ para $\theta_G$), os dois testes comportam-se de maneira diferente.
• Critério de Poder: A superioridade de um teste sobre o outro é determinada por três quantidades fundamentais:
  1. $\theta_F = E[h(X, X')]$ (Parâmetro antes da mudança).
  2. $\theta_G = E[h(Y, Y')]$ (Parâmetro após a mudança).
  3. $\theta_{FG} = E[h(X, Y')]$ (Parâmetro misto, cruzando as distribuições).
• Eccentricidade ($\rho_{FG}$): Os autores definem a "excentricidade" como $\rho_{FG} = \theta_{FG} - \frac{\theta_F + \theta_G}{2}$.
• Regra de Decisão:
  • Se $\rho_{FG}$ tem o mesmo sinal que $(\theta_G - \theta_F)$, o teste First-vs-Full é mais poderoso.
  • Se $\rho_{FG}$ tem sinal oposto a $(\theta_G - \theta_F)$, o teste First-vs-Last é mais poderoso.
  • Se $\rho_{FG} = 0$, os testes têm poder equivalente.
• Conclusão Importante: Não existe um teste universalmente superior. A hierarquia de poder pode ser invertida simplesmente trocando as distribuições $F$ e $G$ (ou seja, se a mudança for de grande para pequeno, a ordem de poder se inverte em relação a uma mudança de pequeno para grande).

4. Análise de Exemplos Específicos

Os autores aplicam o critério teórico a quatro U-estatísticas populares:

1. Diferença Média de Gini (GMD):

   • Usada para detectar mudanças de escala (variabilidade).
   • Para distribuições normais e muitas outras, $\rho_{FG} \ge 0$.
   • Resultado: Se a variância aumenta ($\theta_G > \theta_F$), o teste First-vs-Full é mais poderoso. Se a variância diminui, o teste First-vs-Last é superior. Isso é válido independentemente da localização do ponto de mudança.

2. Variância Amostral:

   • O núcleo é $h(x,y) = (x-y)^2/2$.
   • A excentricidade é $\rho_{FG} = \frac{1}{2}(\mu_F - \mu_G)^2$, que é sempre não-negativa.
   • Resultado: Se não houver mudança na média, ambos os testes são equivalentes. Se houver mudança na média simultânea à mudança de variância, o comportamento segue a mesma regra da GMD: o teste First-vs-Full é melhor se a variância aumentar, e First-vs-Last se diminuir.

3. Covariância Amostral:

   • Comportamento análogo à variância amostral, dependendo do produto das mudanças nas médias das variáveis.

4. Tau de Kendall:

   • Usado para detectar mudanças na dependência (correlação).
   • Diferente dos casos anteriores, $\rho_{FG}$ pode ser positivo, negativo ou zero, dependendo das distribuições.
   • Exemplo: Para distribuições normais bivariadas, se a correlação diminui, o First-vs-Full pode ser melhor; se a correlação aumenta de um valor negativo para zero, o First-vs-Last pode ser melhor.

5. Validação Empírica e Exemplo de Dados

• Simulações: Os autores realizaram simulações extensas que confirmam as previsões teóricas. Em amostras grandes ($n=4000$), a diferença de poder é insignificante (<0.1%). Em amostras pequenas ($n=63$), as diferenças podem ser de até 10% a 15%, validando a necessidade de escolher o teste correto baseado na direção da mudança.
• Exemplo de Dados Reais (Rio Colorado):
  • Analisaram o fluxo anual do rio Colorado (Lees Ferry e Cameo) antes e depois da construção da Barragem de Glen Canyon.
  • Fluxo a jusante (Lees Ferry): Houve uma redução drástica na variabilidade (escala). Como a escala diminuiu, o teste First-vs-Last foi mais sensível (p-valor = 0.019) do que o First-vs-Full (p-valor = 0.076), detectando corretamente a mudança estrutural.
  • Correlação entre as séries: A correlação entre as séries a montante e a jusante diminuiu. Neste caso, a excentricidade favoreceu o teste First-vs-Full, que apresentou um p-valor mais significativo (0.006) comparado ao First-vs-Last (0.02).

6. Significado e Conclusão

Este trabalho resolve uma ambiguidade na literatura de detecção de pontos de mudança. A conclusão central é que não há um "melhor" teste universal entre First-vs-Full e First-vs-Last para U-estatísticas.

• Para grandes amostras: A escolha é irrelevante.
• Para amostras moderadas/pequenas: A escolha é crítica. O pesquisador deve avaliar a direção da mudança esperada ($\theta_F$ vs $\theta_G$) e a natureza do núcleo $h$ para determinar qual teste terá maior poder.
• Contribuição Prática: O artigo fornece um critério simples e verificável (baseado na excentricidade $\rho_{FG}$) para guiar a seleção do teste, demonstrando que a performance relativa pode ser invertida dependendo se a mudança é de aumento ou diminuição do parâmetro de interesse.

O estudo é robusto, cobrindo séries dependentes (fracamente dependentes) e fornecendo fundamentação teórica rigorosa para aplicações em finanças, hidrologia e outras áreas onde a detecção de mudanças estruturais é vital.