📊 statistics

Interpretable models for forecasting high-dimensional functional time series

Cet article propose un cadre prédictif interprétable pour les séries temporelles fonctionnelles de grande dimension en combinant une décomposition ANOVA fonctionnelle pour capturer les structures déterministes et un modèle à facteurs fonctionnels pour les tendances stochastiques, démontrant ainsi une amélioration de la précision des prévisions sur les taux de mortalité japonais.

Auteurs originaux : Han Lin Shang, Cristian F. Jiménez-Varón

Publié 2026-03-31

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Han Lin Shang, Cristian F. Jiménez-Varón

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🇯🇵 Prédire l'avenir de la santé au Japon : Une recette en trois étapes

Imaginez que vous essayez de prédire le temps qu'il fera dans 47 villes différentes du Japon, pour des hommes et des femmes de tous âges, sur les 10 prochaines années. C'est une tâche énorme ! Il y a trop de données, trop de variations, et c'est très bruyant (comme essayer d'entendre une conversation dans un concert de rock).

Les auteurs de cet article, Han Lin Shang et Cristian Jimenez-Varon, ont développé une méthode nouvelle pour faire ces prévisions de manière intelligible (on comprend pourquoi on prédit cela) et précise.

Voici comment ils s'y prennent, en utilisant une analogie culinaire : La recette du "Grand Bouillon Japonais".

1. Le problème : Trop de bruit, pas assez de structure

Avant, les méthodes statistiques étaient comme des "boîtes noires". Elles donnaient un résultat, mais on ne savait pas si c'était dû à la région, au sexe, ou à une tendance générale. C'est comme si un chef vous donnait un plat délicieux mais refusait de vous dire quels ingrédients il avait utilisés.

Pour les données de mortalité japonaises (qui sont complexes et changeantes), il faut séparer le signal du bruit.

2. La solution : Décomposer le bouillon (L'analyse FANOVA)

Au lieu de regarder tout le bouillon d'un seul coup, les auteurs le décomposent en trois couches distinctes, comme si on séparait les ingrédients d'une soupe :

Couche 1 : Le Fond de Bouillon (La Moyenne Globale)
C'est la base de tout. C'est la tendance générale de la mortalité au Japon. Peu importe où vous êtes ou qui vous êtes, tout le monde suit cette courbe de base.
- Analogie : C'est l'eau de la soupe.
Couche 2 : Les Épices Régionales et Sexuelles (Les Effets Fixes)
Ensuite, on ajoute les spécificités.
- Région (Préfecture) : Okinawa a un climat différent de Hokkaido, donc les gens y vivent différemment.
- Sexe : Les femmes et les hommes ont des profils de santé différents (les femmes vivent généralement plus longtemps).
- Analogie : C'est le sel, le poivre et les herbes spécifiques à chaque région. On sait exactement où et pour qui on les ajoute.
Couche 3 : Le "Reste" Imprévisible (Le Facteur Stochastique)
Même après avoir mis le fond de bouillon et les épices, il reste quelque chose d'inattendu. Peut-être une épidémie locale, un changement de mode de vie soudain, ou une erreur de mesure. C'est le "bruit" résiduel.
- Analogie : C'est le petit courant d'air qui fait bouger la vapeur de la soupe de manière aléatoire. C'est difficile à prévoir, mais on peut le modéliser.

3. La magie : Le Modèle à Facteurs pour le "Reste"

C'est ici que l'article brille. Pour gérer cette troisième couche (le "reste" imprévisible), ils utilisent un modèle à facteurs fonctionnels.
Imaginez que ce "reste" n'est pas du tout du chaos. Il suit des motifs cachés, comme des courants sous-marins. Le modèle détecte ces courants cachés (les "facteurs") pour prédire comment le "reste" va bouger dans le futur.

Pourquoi est-ce mieux ?
Les anciennes méthodes essayaient de tout prédire d'un coup, ce qui rendait le modèle opaque. Ici, on dit : "Nous savons que la tendance générale va baisser, nous savons que les femmes de Tokyo vivent plus longtemps, et nous savons que le courant caché va accélérer légèrement." C'est transparent et facile à expliquer aux décideurs politiques.

4. Le résultat : Des prévisions plus sûres

Les auteurs ont testé leur méthode sur les données réelles du Japon (de 1975 à 2023).

Précision : Leurs prévisions sont plus justes que les méthodes précédentes.
Confiance : Ils ont aussi créé des "intervalles de confiance". Au lieu de dire "Il y aura X décès", ils disent "Il y aura entre X et Y décès, et nous sommes sûrs à 95 % que la vérité est dedans".
L'astuce finale : Pour construire ces intervalles, ils utilisent une technique appelée "Conformal Prediction". Imaginez que vous lancez un filet pour attraper des poissons. Cette technique ajuste la taille du filet en temps réel : si vous voyez que le filet est trop petit (on rate des poissons), on l'agrandit immédiatement pour la prochaine fois, sans avoir besoin de jeter des données précieuses.

En résumé

Ce papier propose une nouvelle façon de regarder les données complexes. Au lieu de les laisser dans une boîte noire, ils les décortiquent comme un chef décompose un plat :

La base (tendance générale).
Les ingrédients (région et sexe).
Les courants cachés (modélisés intelligemment).

Le résultat ? Des prévisions sur la mortalité japonaise qui sont non seulement plus précises, mais aussi plus claires pour aider le gouvernement à planifier les hôpitaux et les retraites de demain. C'est de la science des données rendue humaine et compréhensible.

1. Problématique et Contexte

L'article s'intéresse au problème de la modélisation et de la prévision des séries temporelles fonctionnelles de haute dimension (HDFTS). Ces données se caractérisent par :

Une dépendance temporelle (les observations évoluent dans le temps).
Une dépendance transversale (les variables sont corrélées entre elles).
Une dimensionnalité élevée où le nombre de séries transversales ( $N$ ) peut dépasser le nombre d'observations temporelles ( $T$ ), une situation fréquente dans les données de panel fonctionnel.

Le défi majeur identifié dans la littérature existante (basée sur des modèles à facteurs) est le manque d'interprétabilité. Les facteurs latents et les matrices de chargement obtenus par des techniques de réduction de dimension purement statistiques sont souvent des constructions mathématiques « boîte noire » qui ne correspondent pas directement à des facteurs observables (comme les régions géographiques ou les cohortes démographiques). Cela limite l'utilité de ces modèles pour les décideurs politiques qui doivent comprendre les sources spécifiques de variation (ex. : disparités régionales, tendances liées au sexe).

L'objectif de l'étude est de développer un cadre de modélisation structuré et interprétable capable de décomposer la variation déterministe et stochastique des HDFTS, tout en améliorant la précision des prévisions ponctuelles et des intervalles de confiance.

2. Méthodologie Proposée

Les auteurs proposent une approche en trois étapes combinant l'analyse de variance fonctionnelle (FANOVA) et un modèle à facteurs fonctionnels. Le cadre est appliqué aux taux de mortalité spécifiques à l'âge et au sexe, observés au niveau sous-national au Japon (1975-2023).

A. Décomposition par FANOVA à deux voies (Two-way FANOVA)

La première étape consiste à décomposer les taux de mortalité lissés $Y_{it}^g(u)$ (pour la région $i$ , l'année $t$ , le sexe $g$ et l'âge $u$ ) selon le modèle :
$Y_{it}^g(u) = \mu(u) + \alpha_i(u) + \delta_g(u) + \gamma_{ig}(u) + X_{it}^{g,\dagger}(u)$
Où :

$\mu(u)$ : Effet global fonctionnel (moyenne de grand).
$\alpha_i(u)$ : Effet fonctionnel de ligne (variation par préfecture/région).
$\delta_g(u)$ : Effet fonctionnel de colonne (variation par sexe).
$\gamma_{ig}(u)$ : Terme d'interaction entre la région et le sexe.
$X_{it}^{g,\dagger}(u)$ : Composante résiduelle (incluant l'interaction et le bruit).

Cette étape capture la structure déterministe moyenne attribuable à des facteurs observables.

B. Décomposition par FANOVA à une voie (One-way FANOVA)

Pour mieux capturer l'hétérogénéité croisée, le terme d'interaction et le résidu initial sont décomposés séparément pour chaque sexe via une FANOVA à une voie :
$X_{it}^{g,\dagger}(u) = \theta^g(u) + \eta_i^g(u) + R_{it}^g(u)$
Où $\theta^g(u)$ est un effet global spécifique au sexe, $\eta_i^g(u)$ capture les effets moyens spécifiques aux préfectures pour chaque sexe, et $R_{it}^g(u)$ est le résidu stochastique restant.

C. Modèle à facteurs fonctionnels (Functional Factor Model - FFM)

La composante résiduelle $R_{it}^g(u)$ , qui contient la dynamique stochastique temporelle et les dépendances transversales non expliquées, est modélisée par un modèle à facteurs fonctionnels :
$R_{it}^g(u) = \sum_{k=1}^{k^*} \int B_{ik}^g(u, v) F_{tk}^g(v) dv + \varepsilon_{it}^g(u)$
Ce modèle utilise des chargements fonctionnels et des facteurs fonctionnels pour capturer les tendances stochastiques communes, réduisant ainsi la dimensionnalité tout en préservant la structure fonctionnelle.

D. Construction des Intervalles de Prévision (Conformal Prediction)

Pour quantifier l'incertitude sans hypothèses distributionnelles fortes, les auteurs utilisent deux méthodes de prévision conforme :

Prévision conforme divisée (Split) : Utilise un ensemble de validation pour calibrer un paramètre d'échelle (écart-type ou quantiles) des résidus.
Prévision conforme séquentielle : Met à jour automatiquement les quantiles prédictifs des résidus absolus à mesure que de nouvelles données arrivent, sans nécessiter d'ensemble de validation fixe (méthode autorégressive sur les résidus).

La prévision finale combine la structure déterministe (FANOVA) et la composante stochastique (FFM) :
$\hat{Y}_{i, T+h}^g(u) = \text{Structure Déterministe (TWA + OWA)} + \hat{R}_{i, T+h}^g(u)$

3. Contributions Clés

Interprétabilité Structurelle : Contrairement aux modèles à facteurs « boîte noire », la méthode proposée attribue explicitement la variation à des facteurs observables (région, sexe, interaction), offrant des insights transparents pour l'aide à la décision.
Cadre Hybride Innovant : L'intégration d'une FANOVA à deux voies, suivie d'une FANOVA à une voie pour les interactions, et enfin d'un modèle à facteurs pour les résidus, permet de séparer efficacement la variation systématique de la variation stochastique.
Gestion de l'Incertitude Robuste : L'application de la prévision conforme (split et séquentielle) aux séries fonctionnelles de haute dimension offre des intervalles de prévision fiables sans dépendre de la normalité des erreurs.
Validation Empirique : Application rigoureuse sur des données réelles complexes (mortalité japonaise sous-nationale), démontrant la supériorité de l'approche par rapport aux méthodes existantes (comme celles de Jiménez-Varón et al., 2024).

4. Résultats

L'évaluation a été réalisée sur les taux de mortalité du Japon (1975-2023) avec des horizons de prévision allant de 1 à 10 ans, en utilisant une fenêtre glissante croissante.

Précision des Prévisions Ponctuelles :
- La méthode proposée (TWA + OWA + FFM) surpasse systématiquement les benchmarks (TWA + FFM seul et TWA + MFTS) en termes d'erreur quadratique moyenne (RMSFE) et d'erreur absolue moyenne (MAFE).
- L'inclusion du terme d'interaction via la FANOVA à une voie (OWA) améliore légèrement mais significativement la précision par rapport aux modèles qui l'omettent.
- Les erreurs sont plus faibles pour les femmes que pour les hommes, mais la tendance d'amélioration de la méthode proposée est constante pour les deux sexes.
Précision des Intervalles de Prévision :
- La prévision conforme séquentielle tend à surestimer légèrement la couverture (ECP > nominal), tandis que la méthode divisée (split) sous-estime souvent la couverture aux horizons longs.
- Néanmoins, le cadre global proposé (FANOVA + FFM) génère des scores d'intervalle (Interval Score) inférieurs (meilleurs) que les méthodes de référence, indiquant des intervalles plus étroits pour une même couverture ou une meilleure couverture pour une même largeur.
- L'utilisation de l'écart-type (sd) comme statistique de résumé dans la méthode divisée s'est révélée plus performante que l'utilisation des quantiles directs.

5. Signification et Conclusion

Cet article démontre que l'adoption d'une approche structurée et interprétable ne se fait pas au détriment de la performance prédictive ; au contraire, elle l'améliore. En séparant les effets déterministes (dus à des facteurs démographiques et géographiques connus) des dynamiques stochastiques résiduelles, le modèle offre une meilleure compréhension des drivers sous-jacents des données.

Implications pratiques :

Pour les politiques publiques (santé, retraite), la capacité à isoler les effets régionaux et sexuels permet une allocation plus précise des ressources.
La méthode est particulièrement adaptée aux contextes où la qualité des données sous-nationales est variable, car le lissage et la décomposition aident à gérer le bruit.

Limites et Perspectives :
Les auteurs suggèrent d'explorer d'autres modèles de séries temporelles pour les résidus dans la prévision séquentielle, d'appliquer le cadre aux comptes de décès (densités de probabilité) et de développer des tests d'hypothèse formels pour la significativité des termes d'interaction dans les HDFTS.

En résumé, ce travail fournit un cadre robuste pour transformer des données fonctionnelles complexes en informations actionnables, combinant rigueur statistique et interprétabilité sémantique.