Least Squares-Based Permutation Tests in Time Series

Technische Zusammenfassung: Auf kleinster Quadrate basierende Permutationstests in Zeitreihen

Problemstellung
Die Arbeit adressiert die Herausforderung, valide Hypothesentests für Regressionsparameter und monotone Trends in Zeitreihen-Settings durchzuführen, in denen die Beobachtungen eine schwache Abhängigkeit aufweisen. Klassische Ordinary Least Squares (OLS)-Inferenz stützt sich auf Annahmen von unabhängigen und identisch verteilten (i.i.d.) Fehlern sowie häufig auf Gaußförmigkeit. In Zeitreihen versagen diese Annahmen häufig aufgrund serieller Abhängigkeit, was zu potenziell ungültigen Standard-Parametrischen Tests (z. B. $t$-Tests, $\chi^2$-Tests) mit überhöhten Typ-I-Fehlerraten führt.

Obwohl Permutationstests eine nichtparametrische Alternative bieten, die exakte Finite-Sample-Inferenz unter der „Randomisierungs-Hypothese“ (Austauschbarkeit der Fehler) ermöglicht, sind sie traditionell für Zeitreihen nicht anwendbar. Das Permutieren von Kovariaten in einem zeitabhängigen Setting zerstört die zeitliche Struktur und die Beziehung zwischen Kovariaten und Responsen. Folglich scheitert die grundlegende Annahme der Austauschbarkeit, die für die Exaktheit erforderlich ist, oft, und die Permutationsverteilung kann die wahre Stichprobenverteilung nicht annähernd abbilden, was zu asymptatischer Ungültigkeit führt.

Methodik
Die Autoren schlagen ein Framework vor, um Permutationstests zu konstruieren, die für eine breite Klasse stationärer, schwach abhängiger Prozesse (speziell $\alpha$-mischende Sequenzen) asymptotisch valide sind, während sie gleichzeitig die Exaktheit bewahren, wenn die Randomisierungs-Hypothese gilt (d. h. wenn die Fehler i.i.d. sind).

Die Kernmethodik umfasst zwei unterschiedliche Problemstellungen, die beide studenzierte Teststatistiken nutzen, um asymptotische Pivotaleität zu erreichen:

1. Testen von Regressionskoeffizienten ($H_0: \beta = 0$):

   • Setup: Die Arbeit betrachtet eine stationäre, $\alpha$-mischende Sequenz $\{(Y_i, X_i)\}$, wobei $X_i \in \mathbb{R}^p$. Ziel ist es zu testen, ob der unbedingte Regressionskoeffizient $\beta$ gleich Null ist.
   • Problem: Der unstudenzierte Statist $\sqrt{n}\hat{\beta}_n$ hat eine limitierende Gauß-Verteilung mit Kovarianz $\Sigma_X^{-1}\Gamma\Sigma_X^{-1}$, wohingegen die Permutationsverteilung zu einer Gauß-Verteilung mit Kovarianz $\sigma_Y^2 \Sigma_X^{-1}$ konvergiert. Diese Kovarianzen unterscheiden sich unter Abhängigkeit im Allgemeinen, was dazu führt, dass der unstudenzierte Permutationstest ungültig ist.
   • Lösung: Die Autoren konstruieren einen studenzierten Statist, indem sie den Regressionskoeffizienten durch einen konsistenten Schätzer der Langzeitvarianz teilen. Speziell definieren sie einen Varianzschätzer $\hat{\Gamma}_n$ (analog zu Newey-West-Schätzern), der die serielle Korrelation in den Residuen berücksichtigt. Der Teststatist wird konstruiert als:
     $$Z_n = \left( \hat{\Gamma}_n^{-1/2} \hat{\Sigma}_X \right) \sqrt{n}\hat{\beta}_n$$
   • Ergebnis: Unter der Nullhypothese konvergieren sowohl die wahre Stichprobenverteilung von $Z_n$ als auch seine Permutationsverteilung gegen die Standard-Multivariante Normalverteilung $N(0, I_p)$, unabhängig von der zugrunde liegenden Abhängigkeitsstruktur (vorausgesetzt, Mischungs- und Momentenbedingungen sind erfüllt).

2. Testen auf monotonen Trend ($H_0^{(m)}$: Kein monotoner Trend):

   • Setup: Die Arbeit betrachtet ein Dreiecksschema-Modell $Y_{n,i} = X_{n,i} + \lambda_{n,i}$, wobei $X_{n,i}$ eine zeilenweise stationäre $\alpha$-mischende Anordnung ist und $\lambda_{n,i} = g(i/n)$ einen potenziellen monotonen Trend darstellt.
   • Problem: Die Autoren zeigen, dass ohne Einschränkungen der Trendfunktion $g$ die Permutationsverteilung degenerieren kann (z. B. wenn der Trend zu schnell wächst, dominiert eine einzelne Beobachtung mit hohem Leverage den Teststatist). Zudem weichen die Varianz des unstudenzierten Teststatistischen und der Permutationsverteilung unter Abhängigkeit im Allgemeinen voneinander ab.
   • Lösung: Die Autoren legen eine Einschränkung fest, dass die Trendfunktion $g$ beschränkt und stetig ist, um extreme Leverage-Probleme zu verhindern. Sie konstruieren daraufhin einen studenzierten Statist unter Verwendung eines Varianzschätzers $\hat{\tau}_n^2$, der die Langzeitvarianz des Fehlerprozesses $X_{n,i}$ schätzt. Der Teststatist lautet:
     $$T_n = \frac{n^{3/2} \hat{\beta}_n}{\sqrt{12} \hat{\tau}_n}$$
   • Ergebnis: Ähnlich wie im Regressionsfall konvergieren der studenzierte Statist und sein Permutationsgegenstück gegen die Standardnormalverteilung $N(0, 1)$ unter der Nullhypothese, was die asymptotische Validität sicherstellt.

Wesentliche Beiträge und Ergebnisse

• Asymptotische Validität unter Abhängigkeit: Der primäre theoretische Beitrag besteht im Beweis, dass permutierte Tests, sofern sie angemessen studenziert sind, für stationäre $\alpha$-mischende Prozesse asymptotisch valide sind. Dies erweitert die Anwendbarkeit von Permutationstests über das i.i.d.-Setting hinaus auf allgemeine schwach abhängige Zeitreihen.
• Bewahrung der Exaktheit: Die vorgeschlagenen Tests behalten die Eigenschaft der exakten Finite-Sample-Inferenz bei, wenn die Randomisierungs-Hypothese (Austauschbarkeit) gilt – ein Merkmal, das Standard-parametrischen Tests ohne Gauß-Annahmen fehlt.
• Varianzschätzung: Die Arbeit liefert spezifische Konstruktionen für konsistente Schätzer der Langzeitvarianz ($\hat{\Gamma}_n$ und $\hat{\tau}_n^2$), die gegenüber der Permutationsoperation robust sind, wodurch sichergestellt wird, dass die Permutationsverteilung die wahre limitierende Verteilung trifft.
• Simulationsbelege: Monte-Carlo-Simulationen bestätigen, dass die studenzierten Permutationstests die Typ-I-Fehlerraten auf dem nominalen Niveau (z. B. $\alpha=0,05$) für verschiedene abhängige Prozesse (einschließlich $m$-abhängiger und ARMA-Prozesse) kontrollieren, während klassische Chi-Quadrat-Tests und unstudenzierte Permutationstests oft versagen und je nach Abhängigkeitsstruktur und Tail-Verhalten eine starke Über- oder Unterrejektion aufweisen.
• Software-Implementierung: Die Methoden sind in dem R-Paket permixOLS implementiert, welches Arbeitsbeispiele enthält und numerische Probleme wie die Matrixinversion mittels Singularwertzerlegung mit Trunkierung handhabt.

Bedeutung und Ansprüche
Die Arbeit behauptet, dass ihr Framework eine robuste Lösung für die konfirmatorische Inferenz in Zeitreihen-Regressionen und Trendanalysen bietet, wenn Standardannahmen versagen. Die Bedeutung liegt in der Überbrückung der Lücke zwischen der Exaktheit von Randomisierungstests und der Flexibilität, die für abhängige Daten erforderlich ist.

Die Autoren merken bescheiden an, dass die Konvergenzrate der Tests zum nominalen Niveau zwar von der Tail-Verteilung der Daten abhängt, in Fällen sehr schwergewichtiger (heavy-tailed) Verteilungen jedoch größere Stichprobenmengen erforderlich sein können, damit die Studenzierten Varianzschätzer stabil werden. Selbst in diesen schwierigen Regimen zeigt sich der studenzierte Permutationstest jedoch als überlegen gegenüber klassischen Alternativen, die je nach Abhängigkeitsstruktur und Tail-Verhalten Rejektionswahrscheinlichkeiten aufweisen können, die weit über dem nominalen Niveau liegen.

Letztlich etabliert die Arbeit, dass Permutationstests ein valider Ansatz für die Inferenz in Zeitreihen sein können, sofern die Teststatistiken studenziert werden, um die spezifische Abhängigkeitsstruktur zu berücksichtigen, wodurch die asymptotische Pivotaleität wiederhergestellt wird.