Least Squares-Based Permutation Tests in Time Series

Résumé technique : Tests de permutation basés sur les moindres carrés dans les séries temporelles

Énoncé du problème
L'article traite du défi consistant à mener des tests d'hypothèses valides pour les paramètres de régression et les tendances monotones dans des contextes de séries temporelles où les observations présentent une dépendance faible. L'inférence classique par les moindres carrés ordinaires (MCO) repose sur des hypothèses d'erreurs indépendantes et identiquement distribuées (i.i.d.) et sur la gaussianité. Dans les séries temporelles, ces hypothèses échouent fréquemment en raison de la dépendance sérielle, ce qui rend les tests paramétriques standards (par exemple, les tests $t$, les tests $\chi^2$) potentiellement invalides avec des taux d'erreur de type I gonflés.

Bien que les tests de permutation offrent une alternative non paramétrique qui fournit une inférence exacte en échantillon fini sous l'hypothèse de randomisation (échangeabilité des erreurs), ils sont traditionnellement inaplicables aux séries temporelles. Permuter les covariables dans un contexte temporel détruit la structure temporelle et la relation entre les covariables et les réponses. Par conséquent, l'hypothèse fondamentale d'échangeabilité requise pour l'exactitude échoue souvent, et la distribution de permutation peut ne pas approximer la véritable distribution d'échantillonnage, entraînant une invalidité asymptotique.

Méthodologie
Les auteurs proposent un cadre pour construire des tests de permutation qui sont asymptotiquement valides pour une large classe de processus stationnaires et faiblement dépendants (spécifiquement les séquences $\alpha$-mixing) tout en conservant l'exactitude lorsque l'hypothèse de randomisation est vérifiée (c'est-à-dire lorsque les erreurs sont i.i.d.).

La méthodologie centrale implique deux contextes de problèmes distincts, utilisant tous deux des statistiques de test étudiantisées (studentized) pour obtenir une pivotale asymptotique :

1. Test des coefficients de régression ($H_0: \beta = 0$) :

   • Configuration : L'article considère une séquence stationnaire, $\alpha$-mixing $\{(Y_i, X_i)\}$ où $X_i \in \mathbb{R}^p$. L'objectif est de tester si le coefficient de régression inconditionnel $\beta$ est nul.
   • Problème : La statistique non étudiantisée $\sqrt{n}\hat{\beta}_n$ possède une distribution gaussienne limite avec une covariance $\Sigma_X^{-1}\Gamma\Sigma_X^{-1}$, alors que la distribution de permutation converge vers une gaussienne avec une covariance $\sigma_Y^2 \Sigma_X^{-1}$. Ces covariances diffèrent généralement sous dépendance, ce qui rend le test de permutation non étudiantisé invalide.
   • Solution : Les auteurs construisent une statistique étudiantisée en divisant le coefficient de régression par un estimateur cohérent de la variance de long terme. Plus précisément, ils définissent un estimateur de variance $\hat{\Gamma}_n$ (analogue aux estimateurs de Newey-West) qui rend compte de la corrélation sérielle dans les résidus. La statistique de test est construite comme suit :
     $$Z_n = \left( \hat{\Gamma}_n^{-1/2} \hat{\Sigma}_X \right) \sqrt{n}\hat{\beta}_n$$
   • Résultat : Sous l'hypothèse nulle, la véritable distribution d'échantillonnage de $Z_n$ ainsi que sa distribution de permutation convergent vers la distribution normale multivariée standard $N(0, I_p)$, quelle que soit la structure de dépendance sous-jacente (sous réserve des conditions de mélange et de moments).

2. Test de tendance monotone ($H_0^{(m)}$ : Absence de tendance monotone) :

   • Configuration : L'article considère un modèle de tableau triangulaire $Y_{n,i} = X_{n,i} + \lambda_{n,i}$, où $X_{n,i}$ est un tableau $\alpha$-mixing stationnaire par ligne et $\lambda_{n,i} = g(i/n)$ représente une potentielle tendance monotone.
   • Problème : Les auteurs démontrent que sans restrictions sur la fonction de tendance $g$, la distribution de permutation peut dégénérer (par exemple, si la tendance croît trop rapidement, une seule observation à fort levier domine la statistique de test). De plus, la variance de la statistique de test non étudiantisée et de la distribution de permutation divergent généralement sous dépendance.
   • Solution : Les auteurs imposent une restriction telle que la fonction de tendance $g$ est bornée et continue, empêchant les problèmes de levier extrême. Ils construisent ensuite une statistique étudiantisée utilisant un estimateur de variance $\hat{\tau}_n^2$ qui estime la variance de long terme du processus d'erreur $X_{n,i}$. La statistique de test est :
     $$T_n = \frac{n^{3/2} \hat{\beta}_n}{\sqrt{12} \hat{\tau}_n}$$
   • Résultat : De manière similaire au cas de la régression, la statistique étudiantisée et son homologue de permutation convergent vers la distribution normale standard $N(0, 1)$ sous l'hypothèse nulle, garantissant ainsi la validité asymptotique.

Contributions clés et résultats

• Validité asymptotique sous dépendance : La principale contribution théorique est de prouver que les tests de permutation, lorsqu'ils sont correctement étudiantisés, sont asymptotiquement valides pour les processus $\alpha$-mixing stationnaires. Cela étend l'applicabilité des tests de permutation au-delà du cadre i.i.d. vers les séries temporelles dépendantes générales.
• Préservation de l'exactitude : Les tests proposés conservent la propriété d'inférence exacte en échantillon fini lorsque l'hypothèse de randomisation (échangeabilité) est vérifiée, une caractéristique que les tests paramétriques standards n'ont pas sans hypothèses gaussiennes.
• Estimation de la variance : L'article fournit des constructions spécifiques pour des estimateurs cohérents de la variance de long terme ($\hat{\Gamma}_n$ et $\hat{\tau}_n^2$) qui sont robustes à l'opération de permutation, garantissant que la distribution de permutation correspond à la véritable distribution limite.
• Preuves par simulation : Des simulations de Monte Carlo confirment que les tests de permutation étudiantisés contrôlent les taux d'erreur de type I au niveau nominal (par exemple, $\alpha=0,05$) pour diverses processus dépendants (incluant les processus $m$-dépendants et ARMA), tandis que les tests Chi-deux classiques et les tests de permutation non étudiantisés échouent souvent, présentant des rejets excessifs ou insuffisants selon la structure de dépendance et le comportement des queues de distribution.
• Implémentation logicielle : Les méthodes sont implémentées dans le package R permixOLS, qui inclut des exemples concrets et gère les problèmes numériques tels que l'inversion de matrice via la décomposition en valeurs singulières avec troncature.

Signification et affirmations
L'article affirme que son cadre fournit une solution robuste pour l'inférence confirmatoire dans la régression de séries temporelles et l'analyse de tendances lorsque les hypothèses standards échouent. La signification réside dans le fait de combler le fossé entre l'exactitude des tests de randomisation et la flexibilité requise pour les données dépendantes.

Les auteurs notent modestement que bien que les tests soient asymptotiquement valides, le taux de convergence vers le niveau nominal dépend du comportement des queues de distribution des données. Dans les cas de distributions à queues très lourdes, des tailles d'échantillon plus importantes peuvent être nécessaires pour que les estimateurs de variance étudiantisés se stabilisent. Cependant, même dans ces régimes difficiles, le test de permutation étudiantisé s'avère supérieur aux alternatives classiques, qui peuvent présenter des probabilités de rejet dépassant largement le niveau nominal à mesure que la taille de l'échantillon augmente.

En fin de compte, l'article établit que les tests de permutation peuvent être une approche valide pour l'inférence dans les séries temporelles, à condition que les statistiques de test soient étudiantisées pour tenir compte de la structure de dépendance spécifique, permettant ainsi de récupérer la pivotale asymptotique.