📊 statistics

Prediction Inference of Time Series with Standard ReLU Deep Neural Networks

Cet article propose une méthodologie utilisant des réseaux de neurones profonds ReLU standards pour générer des intervalles de prédiction pour les séries temporelles qui quantifient à la fois la variabilité future et l'incertitude d'estimation, appuyée par des preuves théoriques de cohérence et de propriétés de mélange bêta sous des conditions de données dépendantes.

Auteurs originaux : Kejin Wu

Publié 2026-08-18

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kejin Wu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Prédire l'avenir est l'un des défis les plus anciens et les plus persistants de l'humanité. Qu'il s'agisse d'un agriculteur scrutant le ciel en attendant la pluie, d'un économiste observant les marchés boursiers ou d'un médecin surveillant les signes vitaux d'un patient, l'objectif est toujours le même : regarder ce qui s'est passé pour deviner ce qui vient ensuite. Dans le monde de la science des données, cette tâche est connue sous le nom de prévision de séries temporelles. Pendant des décades, les scientifiques se sont appuyés sur des modèles mathématiques pour trouver des motifs dans ces séquences de nombres. Les outils les plus traditionnels reposent sur l'idée que l'avenir est une simple extension linéaire du passé. Cependant, le monde réel est rarement aussi simple. Les systèmes météorologiques, les krachs financiers et les rythmes biologiques tournent et bifurquent souvent de manière complexe et non linéaire, des formes que les lignes droites ne peuvent capturer. Lorsque ces outils traditionnels échouent, les chercheurs se sont tournés vers une approche plus puissante et plus flexible : les réseaux de neurones profonds. Ce sont des systèmes informatiques inspirés par le cerveau humain, capables d'apprendre des motifs complexes à partir de vastes quantités de données. Pourtant, bien que ces réseaux soient devenus célèbres pour leur capacité de prédiction, une pièce cruciale du puzzle manquait. Savoir qu'une prédiction est une chose ; savoir à quel point on peut lui faire confiance en est une autre. Sans une mesure claire de l'incertitude, une prédiction n'est qu'une supposition, peu importe la sophistication de la machine qui l'a générée.

C'est le problème spécifique abordé par une nouvelle étude du Département de Mathématiques et de Statistique de l'Université Loyola de Chicago. Les chercheurs ont entrepris de construire une méthode qui non seulement utilise les réseaux de neurones profonds pour prévoir des séries temporelles, mais qui quantifie également rigoureusement l'incertitude de ces prévisions. Par le passé, lorsque les scientifiques utilisaient ces réseaux puissants, ils les traitaient souvent comme des « boîtes noires », acceptant le résultat sans comprendre la fiabilité du résultat. L'étude introduit une nouvelle façon de construire ce que l'on appelle des intervalles de prédiction. Pensez à un intervalle de prédiction non pas comme un chiffre unique, mais comme une plage de résultats probables. Si un modèle météorologique prédit une température maximale de 75 degrés, une prédiction simple dira simplement « 75 ». Un intervalle de prédiction dira : « Nous sommes sûrs à 95 % que la température sera comprise entre 70 et 80 ». Le défi que les chercheurs ont relevé était de s'assurer que cette plage soit suffisamment large pour être précise, surtout lorsque la quantité de données disponibles est faible.

L'équipe s'est concentrée sur un type spécifique de réseau de neurones profond qui utilise une fonction d'activation standard connue sous le nom de ReLU. Cette fonction aide le réseau à apprendre en décidant quels signaux transmettre et lesquels ignorer, un peu comme un neurone qui s'active ou reste silencieux. Les chercheurs ont d'abord prouvé que ces réseaux pouvaient apprendre de manière cohérente les motifs sous-jacents de données qui évoluent dans le temps, même lorsque ces données dépendent de leur propre passé. Ils ont ensuite développé une technique de simulation sophistiquée, connue sous le nom de bootstrap progressif (forward bootstrap), pour tester leurs prédictions. Imaginez que vous preniez une seule chronologie de données, comme un relevé de températures quotidiennes, et que vous créiez des milliers de versions légèrement différentes de cette chronologie en mélangeant les erreurs aléatoires qu'elle contient. En faisant tourner leur réseau de neurones sur chacune de ces milliers de variations, les chercheurs ont pu voir à quel point les prédictions oscillaient. Cette oscillation, ou variabilité, révélait deux choses : le caractère aléatoire naturel du futur lui-même, et l'incertitude causée par le fait que le modèle a été entraîné sur un échantillon limité de données.

En combinant ces deux sources d'incertitude, les chercheurs ont créé ce qu'ils appellent un « intervalle de prédiction pertinent ». Cette méthode est conçue pour être plus fiable que les anciennes techniques, particulièrement lorsque l'ensemble de données est restreint. Dans leurs tests, ils ont comparé leur nouvelle approche aux méthodes standards utilisées en statistiques. Ils ont simulé trois types différents de motifs de données non linéaires complexes, allant de courbes simples à des formes de haute dimension très complexes. Dans chaque scénario, l'approche par réseau de neurones s'est avérée plus précise pour trouver les valeurs futures réelles que les méthodes traditionnelles. Plus important encore, lorsqu'il s'agissait des intervalles de prédiction, la nouvelle méthode a systématiquement capturé le résultat réel plus souvent que les anciennes techniques. Par exemple, dans une simulation impliquant des données de haute dimension complexes avec un petit échantillon, la méthode traditionnelle n'a atteint qu'un taux de couverture de 89,8 %, tandis que la nouvelle méthode par réseau de neurones a atteint 95,5 %. L'étude a également appliqué cette méthode à des données réelles en analysant un sous-ensemble de l'ensemble de données de la compétition M4, en sélectionnant spécifiquement sept séries temporelles annuelles ayant des longueurs comprises entre 300 et 350 observations. Les résultats ont tenu bon : les intervalles basés sur les réseaux de neurones étaient plus stables et plus fiables, surtout lorsque les chercheurs devaient deviner la complexité des données sans connaître les règles exactes au préalable.

La portée de ce travail réside dans sa capacité à apporter une rigueur statistique au monde de l'apprentissage automatique. Pendant longtemps, le deep learning a été célébré pour sa puissance prédictive brute mais critiqué pour son manque de transparence concernant l'erreur. Cette étude comble ce fossé. Elle montre qu'en analysant soigneusement la façon dont un réseau de neurones se comporte lorsqu'il est entraîné sur différentes versions des mêmes données, nous pouvons construire un filet de sécurité autour de ses prédictions. Cela est crucial pour les domaines où l'erreur a des conséquences graves, comme la gestion des ressources en eau, la modélisation du changement climatique ou la prise de décisions économiques. Les chercheurs n'ont pas prétendu avoir résolu tous les problèmes de prévision, ni suggéré que leur méthode fonctionne parfaitement dans toutes les situations. Au contraire, ils ont fourni un cadre robuste et mathématiquement fondé qui fonctionne bien en pratique, particulièrement lorsque les données sont rares ou que les motifs sont complexes. Ils ont démontré qu'avec les bons outils, nous pouvons non seulement prédire l'avenir grâce au deep learning, mais aussi comprendre les limites de cette prédiction avec un haut degré de confiance.

Résumé technique : Inférence de prédiction de séries temporelles avec des réseaux de neurones profonds standard à fonctions de l'unité ReLU

Énoncé du problème

L'article traite du défi que représente l'inférence de prédiction statistique pour les séries temporelles non linéaires autorégressives (NLAR) à l'aide de réseaux de neurones profonds (DNN). Bien que les DNN aient démontré une flexibilité et des capacités d'approximation universelle supérieures aux méthodes traditionnelles linéaires (ARMA) ou aux méthodes à noyau non paramétriques, leur application dans la prévision de séries temporelles les traite souvent comme des « boîtes noires ». Il existe un fossé critique concernant la quantification statistique rigoureuse de l'incertitude de prédiction, spécifiquement en ce qui concerne la variabilité d'estimation découlant du processus d'ajustement du modèle.

Les intervalles de prédiction (IP) classiques échouent souvent à capturer cette variabilité d'estimation, conduisant à un sous-couverture dans les cas d'échantillons finis. De plus, les méthodes existantes pour la prévision multi-étapes dans les modèles non linéaires souffrent souvent d'un biais dans les prédictions ponctuelles optimales $L_2$ ou ne parviennent pas à fournir des prédictions optimales $L_1$ lorsque les données manquent de moments de second ordre finis. L'auteur vise à combler ce fossé en développant un cadre qui utilise des DNN ReLU standards pour fournir des prédictions ponctuelles cohérentes et des intervalles de prédiction valides qui tiennent compte à la fois de la variabilité future et de l'incertitude d'estimation.

Méthodologie

1. Cadre du modèle

L'étude se concentre sur un modèle autorégressif général :
$Y_t = f_0(Y_{t-1}) + \epsilon_t$
où $f_0$ est la fonction de moyenne inconnue et $\epsilon_t$ sont des termes d'innovation i.i.d. L'auteur emploie un réseau de neurones profonds (DNN) ReLU entièrement connecté standard, spécifiquement un perceptron multicouche (MLP), comme estimateur $\hat{f}_n$ de $f_0$ . La classe de DNN est définie par une profondeur $L_n$ , une largeur $H_n$ et une borne sur la norme de sortie, permettant à ces paramètres de croître avec la taille de l'échantillon $n$ .

2. Fondements théoriques

L'article établit plusieurs propriétés théoriques sous des hypothèses de stationnarité stricte, de mélange géométrique $\beta$ et de lissité de la fonction cible (espace de Hölder) :

Cohérence : L'estimateur DNN est montré comme étant cohérent avec la fonction réelle $f_0$ dans les normes $L_2$ et $L_\infty$ . L'article dérive des bornes d'erreur non asymptotiques pour l'estimateur DNN, démontrant qu'il peut gérer des domaines et des plages extensibles de la fonction cible.
Validité du bootstrap : L'auteur propose une procédure de bootstrap direct (forward bootstrap). Ils prouvent que la série temporelle bootstrap générée par l'estimateur DNN conserve la propriété de mélange $\beta$ et converge vers la même distribution stationnaire que la série originale. C'est une condition cruciale pour la validité de l'inférence ultérieure.

3. Intervalles de prédiction

Deux types d'intervalles de prédiction sont construits :

Intervalle de prédiction quantile standard (QPI) : Basé sur la distribution empirique des erreurs de prévision du bootstrap. L'article prouve sa validité asymptotique.
Intervalle de prédiction pertinent (PPI) : Il s'agit de la contribution méthodologique centrale. Le PPI est construit sur la base de la distribution des racines prédictives ( $R_{n+j} = Y_{n+j} - \hat{Y}_{n+j}$ $R_{n + j} = Y_{n + j} - \hat{Y}_{n + j}$ ). Contra à le QPI, qui estime directement la distribution conditionnelle de la valeur future, le PPI estime la distribution du terme d'erreur (la racine).
- Le PPI capture à la fois la variance de l'innovation et la variance de l'erreur d'estimation.
- La méthode repose sur la propriété de « pertinence » : la distribution des racines prédictives du bootstrap approxime la distribution des racines prédictives du monde réel.
- La construction implique de ré-estimer le modèle DNN sur des échantillons bootstrap pour capturer la variabilité de l'estimateur lui-même.

4. Algorithmes

Algorithme 1 : Génère des prédictions ponctuelles multi-étapes (optimales $L_1$ et $L_2$ ) et le QPI standard en utilisant le bootstrap direct.
Algorithme 2 : Génère l'Intervalle de Prédiction Pertinent (PPI). Il implique une période de « chauffe » (burn-in) pour assurer la stationnarité dans la série bootstrap, la ré-estimation du DNN sur les données bootstrap, et le calcul des racines prédictives pour déterminer les bornes de l'intervalle.

Résultats clés

Études de simulation

L'auteur a mené des simulations sur trois modèles non linéaires (incluant des scénarios de haute dimension avec $d=10$ ) avec des tailles d'échantillon variables ( $n=50, 200, 500$ ).

Prédiction ponctuelle : Les prédictions ponctuelles basées sur les DNN ont systématiquement surpassé les estimateurs à noyau en termes d'erreur quadratique moyenne (MSE), particulièrement dans les contextes de haute dimension où la « malédiction de la dimensionnalité » affecte plus sévèrement les méthodes à noyau.
Intervalles de prédiction :
- Couverture : Le PPI a atteint de manière constante des taux de couverture plus proches du niveau nominal (par exemple, 95 %) par rapport au QPI, en particulier pour les petits échantillons et les modèles non linéaires complexes.
- Robustesse : Dans les cas de haute dimension (Modèles 2 et 3 avec $d=10$ ), les PI basés sur les noyaux ont rencontré des difficultés significatives (par exemple, la couverture est tombée à environ 15 % pour le QPI à noyau dans le Modèle 3, $n=50$ ), tandis que les PI basés sur les DNN ont maintenu une performance robuste (environ 92 % de couverture).
- Longueur : Bien que les PPI soient généralement plus larges que les QPI (en raison de la capture de l'incertitude d'estimation), ils fournissent une couverture plus fiable.

Analyse de données réelles

En utilisant le jeu de données de la compétition M4 (séries temporelles annuelles), l'auteur a employé une approche de fenêtre glissante pour évaluer la performance à travers différentes tailles de fenêtres ( $w$ ) et dimensions ( $d$ ).

Stabilité : Les PI basés sur les DNN, particulièrement le PPI, ont démontré une plus grande stabilité à travers diverses tailles de fenêtres et ordres de modèles par rapport aux méthodes à noyau.
Performance : Lorsque le rapport entre la taille de la fenêtre et la dimension ( $w/d$ ) était faible, les estimateurs à noyau montraient une performance dégradée (couverture plus faible, variance plus élevée de la longueur de l'intervalle). L'approche DNN est restée stable, suggérant qu'elle est une option supérieure lorsque l'ordre réel du modèle est inconnu ou lorsque les données sont rares par rapport à la dimensionnalité.

Signification et affirmations

L'article affirme fournir un cadre statistique rigoureux pour l'utilisation des DNN ReLU standards dans la prévision de séries temporelles, allant au-delà de leur utilisation comme simples prédicteurs de type « boîte noire ».

Quantification de l'incertitude : La contribution principale est la démonstration que des Intervalles de Prédiction Pertinents (PPI) peuvent être construits avec succès en utilisant des estimateurs DNN. Cela permet de quantifier la variabilité d'estimation, répondant ainsi à une faiblesse connue des méthodes de bootstrap standard dans les contextes non paramétriques.
Robustesse à la dimensionnalité : L'étude fournit des preuves empiriques et théoriques que les DNN sont plus robustes à la malédiction de la dimensionnalité que les méthodes à noyau standard dans les contextes de séries temporelles, ce qui les rend adaptés à la prévision non linéaire de haute dimension.
Hypothèses minimales : La validité du PPI est établie sous des hypothèses minimales, reposant spécifiquement sur la convergence des racines prédictives et la préservation des propriétés de mélange dans le monde du bootstrap.
Utilité pratique : L'auteur suggère que, dans la pratique, là où les tailles d'échantillon peuvent être limitées et les ordres de modèle inconnus, le PPI basé sur les DNN offre une approche plus fiable et plus stable pour construire des intervalles de prédiction par rapport aux méthodes traditionnelles à noyau.

L'article conclut que si la propriété d'approximation universelle des DNN est bien connue, ce travail étend la compréhension à l'inférence statistique, prouvant que les DNN peuvent produire des prédictions ponctuelles cohérentes et des intervalles de prédiction valides et conscients de l'incertitude pour des données dépendantes.