Disaggregating Time-Series with Many Indicators: An Overview of the DisaggregateTS Package

1. Problématique

Le papier aborde le défi de la désagrégation temporelle (ou interpolation temporelle) de séries chronologiques de basse fréquence (ex. : données trimestrielles ou annuelles) vers des fréquences plus élevées (ex. : données mensuelles).

• Contexte : Les données administratives et économiques officielles (comme le PIB ou les émissions de CO2) sont souvent publiées à basse fréquence avec une grande précision, mais manquent de réactivité. À l'inverse, les indicateurs de haute fréquence (données mensuelles, administratives) sont plus réactifs mais souvent moins précis ou non disponibles pour les agrégats macroéconomiques.
• Défi classique : Les méthodes traditionnelles (comme Chow-Lin) utilisent des indicateurs de haute fréquence pour estimer la série cible de haute fréquence. Cependant, ces méthodes supposent que le nombre d'indicateurs ($d$) est inférieur au nombre d'observations de basse fréquence ($n$).
• Problème actuel (Big Data) : Avec l'explosion des sources de données administratives, nous nous trouvons souvent dans des environnements de haute dimension où le nombre d'indicateurs dépasse le nombre d'observations ($d \gg n$). Dans ce cas, les estimateurs classiques de moindres carrés généralisés (GLS) deviennent non définis (matrice singulière) ou instables (variance élevée), rendant l'estimation impossible sans structure supplémentaire.

2. Méthodologie

L'article propose une extension des méthodes de régression basées sur la désagrégation temporelle pour gérer les cas de haute dimension, implémentée dans le package R DisaggregateTS.

A. Approche Classique (Basse Dimension)

Le modèle de base, inspiré de Chow et Lin (1971), suppose que la série de haute fréquence non observée $y_m$ suit une régression linéaire :
$$y_m = X_m \beta + u_m$$
où $u_m$ suit un processus autorégressif AR(1). La contrainte d'agrégation (somme ou moyenne des mois = trimestre) est appliquée via une matrice d'agrégation $C$. L'estimateur GLS standard nécessite l'inversion d'une matrice de dimension $d \times d$, ce qui échoue si $d > n$.

B. Extension aux Hautes Dimensions (Sparse Temporal Disaggregation)

Pour résoudre le problème de la dimensionnalité ($d \gg n$), les auteurs adaptent les travaux de Mosley et al. (2022) en intégrant des techniques de régularisation :

1. Régularisation LASSO ($\ell_1$) :
   Au lieu de minimiser uniquement l'erreur quadratique, on ajoute une pénalité sur la norme $\ell_1$ des coefficients $\beta$. Cela force certains coefficients à devenir exactement zéro, effectuant ainsi une sélection de variables et rendant le problème identifiable même si $d > n$.
   $$\hat{\beta}(\lambda_n | \rho) = \arg \min_{\beta} \left\{ \| V_q^{-1/2}(y_q - X_q\beta) \|_2^2 + \lambda_n \|\beta\|_1 \right\}$$

2. LASSO Adaptatif :
   Pour améliorer la sélection de variables lorsque les conditions d'irreprésentabilité sont violées (multicolinéarité forte), le package propose une version adaptative qui pondère la pénalité par un estimateur initial :
   $$\text{Pénalité} = \lambda_n \sum_{j=1}^d \frac{|\beta_j|}{|\hat{\beta}_{init, j}|}$$

3. Sélection des Hyperparamètres :

   • Le paramètre de régularisation $\lambda_n$ et le paramètre d'autocorrélation $\rho$ sont sélectionnés via le Critère d'Information Bayésien (BIC) plutôt que par validation croisée, en raison de la petite taille de l'échantillon de basse fréquence ($n$).
   • Une procédure de re-ajustement (refitting) par moindres carrés ordinaires (OLS) est appliquée sur les variables sélectionnées pour réduire le biais inhérent au LASSO.

C. Le Package DisaggregateTS

Le papier présente ce package R qui intègre :

• La fonction disaggregate(): Implémente les méthodes classiques (Chow-Lin, Denton, Fernandez, Litterman) et les nouvelles méthodes haute dimension (spTD, adaptive-spTD).
• La fonction TempDisaggDGP(): Génère des données synthétiques pour la simulation, permettant de tester les algorithmes avec des paramètres contrôlés (sparsité, autocorrélation, ratio d'agrégation).

3. Contributions Clés

1. Extension théorique et pratique : Adaptation des méthodes de désagrégation temporelle aux régimes de haute dimension ($d \ge n$) en utilisant la régularisation LASSO, comblant ainsi le fossé entre les statistiques traditionnelles et l'ère du Big Data.
2. Outil logiciel accessible : Développement du package DisaggregateTS qui rend ces méthodes complexes accessibles aux praticiens, incluant des options pour la sélection adaptative et la gestion de différents types d'agrégation (flux vs stock).
3. Validation par simulation et application réelle : Démonstration de la supériorité des méthodes régularisées par rapport aux interpolations linéaires simples, tant sur des données simulées que sur un cas d'usage réel.

4. Résultats

Les auteurs ont évalué les méthodes via deux approches :

• Simulations :

  • En basse dimension, les méthodes classiques (Chow-Lin) fonctionnent bien.
  • En haute dimension ($d=100, n=17$), les méthodes classiques échouent. Les méthodes spTD et adaptive-spTD réussissent à reconstruire la série de haute fréquence avec précision, en identifiant correctement les indicateurs pertinents et en éliminant le bruit.
  • Comparé à une interpolation linéaire simple, la désagrégation temporelle capture les fluctuations à court terme réelles de la série, évitant le lissage excessif.

• Application Empirique (Intensité Carbone) :

  • Objectif : Désagréger les émissions annuelles de gaz à effet de serre (GES) d'IBM (2005-2021) en données trimestrielles.
  • Données : 17 observations annuelles (cible) et 112 indicateurs financiers trimestriels (prédicteurs).
  • Résultat : La méthode adaptive-spTD a sélectionné uniquement deux prédicteurs pertinents (les ventes sur 12 mois glissants et le capital total de l'entreprise).
  • Performance : La série désagrégée montre une dynamique réaliste et fluctuante, contrairement à l'interpolation linéaire qui produit une courbe trop lisse et non conditionnée aux variations des indicateurs économiques. Cela permet un calcul plus précis de l'intensité carbone trimestrielle.

5. Signification

Ce travail est significatif pour plusieurs raisons :

• Finance Climatique et Économie : Il permet de combler le décalage temporel entre les rapports de durabilité (souvent annuels) et les indicateurs économiques (trimestriels), facilitant une surveillance plus réactive des risques climatiques et de la performance ESG.
• Statistique Appliquée : Il offre une solution robuste au problème de la « malédiction de la dimensionnalité » dans le contexte spécifique des séries temporelles agrégées, où les échantillons de basse fréquence sont intrinsèquement petits.
• Praticabilité : En fournissant un package R open-source, les auteurs démocratisent l'accès à des techniques de pointe de désagrégation, permettant aux agences statistiques et aux analystes d'exploiter pleinement les vastes bases de données administratives modernes.