Benign Overfitting in Economic Forecasting via Noise Regularization

1. Problématique et Contexte

L'article s'attaque à un paradoxe central en économétrie de la prévision : comment gérer des modèles linéaires surparamétrés (où le nombre de prédicteurs $p$ est comparable ou supérieur à la taille de l'échantillon $n$) dans un contexte économique où les données sont générées par un petit nombre de facteurs latents.

• La réalité empirique : Les résultats économiques (inflation, croissance du PIB, rendements boursiers) sont souvent pilotés par des facteurs macroéconomiques non observés. Les économistes utilisent de grands panels de variables observables comme proxies. Cependant, contrairement aux hypothèses de parcimonie (sparse) souvent utilisées en apprentissage automatique (ex: Lasso), l'information prédictive dans les données économiques est diffuse : chaque variable contient une petite partie du signal, et aucune sous-ensemble restreint ne capture l'information complète.
• Le problème de la sélection de variables : La méthode traditionnelle consiste à sélectionner les variables pertinentes ou à réduire la dimension (PCA). Les auteurs montrent que lorsque le nombre de variables pertinentes $p_0$ est proportionnel à $n$ (c'est-à-dire $p_0/n \to \gamma_0 \in (0, \infty)$), la sélection parfaite (même par un oracle) échoue à atteindre l'optimalité de premier ordre. Le modèle manque de la dimensionnalité nécessaire pour régulariser le spectre des valeurs propres de la matrice de conception, ce qui entraîne une variance hors échantillon élevée.
• L'échec de l'expansion par retards (AR) : Dans les séries temporelles, augmenter l'ordre d'un modèle autorégressif $AR(p)$ ne fonctionne pas non plus pour induire un surapprentissage bénin, car cela réduit la taille effective de l'échantillon ($n = T-p$), empêchant l'inflation des valeurs propres.

2. Méthodologie : La Régularisation par le Bruit (Noise Regularization)

Les auteurs proposent une approche contre-intuitive : au lieu d'éliminer le bruit, il faut l'ajouter ou le conserver pour régulariser le modèle.

• Estimateur Ridgeless avec bruit : L'approche consiste à utiliser une régression Ridgeless (moindres carrés de norme minimale, calculée via la pseudo-inverse de Moore-Penrose) sur un ensemble de prédicteurs augmenté de variables de bruit purement aléatoires (indépendantes de la donnée).
  • Soit $X = [X_I, X_N]$ où $X_I$ sont les variables informatives et $X_N$ les variables de bruit.
  • L'estimateur est $\hat{\beta} = (X'X)^+ X'y$.
• Mécanisme de régularisation implicite : L'ajout de nombreuses variables de bruit ($p \gg n$) gonfle les valeurs propres non factorielles de la matrice de conception $X'X$. Cela agit comme une régularisation implicite (similaire à une régression Ridge avec un paramètre de pénalité élevé), réduisant la variance hors échantillon.
• Rao-Blackwellisation : Pour atténuer la variance introduite par le tirage aléatoire du bruit, les auteurs proposent de répéter le processus d'ajout de bruit $B$ fois et de moyenner les prédictions. Cela équivaut à un moyennage de modèles bayésien et réduit l'erreur quadratique moyenne (MSE) par rapport à une seule réalisation.
• Théorie des facteurs : Le cadre théorique suppose que les données sont générées par un modèle à facteurs linéaires. Les auteurs démontrent que dans ce cadre, le vecteur de coefficients de la population $\beta$ est dense (sa norme $L_2$ tend vers zéro à mesure que la dimension croît), ce qui est une condition nécessaire pour la consistance du surapprentissage bénin.

3. Contributions Théoriques Clés

L'article établit quatre résultats théoriques majeurs :

1. Représentation Dense (Théorème 1) : Dans un modèle à facteurs, les coefficients de la régression linéaire réduite sont nécessairement denses. À mesure que la dimension croît, la variance résiduelle du modèle de travail converge vers celle de l'oracle (qui connaît les vrais facteurs), sans besoin d'estimer les facteurs eux-mêmes.
2. Échec de la Sélection Parfaite (Proposition 1) : Même si un oracle sélectionne parfaitement les $p_0$ variables informatives, l'utilisation d'une régression Ridgeless sur ce sous-ensemble échoue à atteindre l'optimalité asymptotique si $p_0/n$ reste constant. Le manque de dimensionnalité empêche la réduction de la variance.
3. Surapprentissage Bénin par le Bruit (Théorèmes 2 et 3) : L'ajout de variables de bruit permet d'atteindre l'erreur quadratique moyenne (MSE) de l'oracle asymptotiquement.
   • Le bruit régularise le spectre des valeurs propres.
   • La méthode est robuste aux facteurs faibles et à la dépendance temporelle.
   • La version "dénoisée" (Rao-Blackwell) offre un taux de convergence de variance strictement supérieur.
4. Symétrie des Modèles AR(p) (Proposition 2) : Pour un modèle $AR(p)$ estimé par Ridgeless sur une série de longueur $T$, la prévision est numériquement identique à celle d'un modèle $AR(T-p)$. Augmenter l'ordre du lag au-delà de $T/2$ ne crée pas de surparamétrisation bénéfique car la taille d'échantillon effective diminue.

4. Résultats Empiriques

Les auteurs appliquent leur méthode à trois jeux de données économiques majeurs et la comparent au Lasso, à la Ridge et à l'ACP (PCA) :

• Inflation US (FRED-MD) : Avec $p_0=102$ prédicteurs macroéconomiques. La régularisation par le bruit atteint une MSE de 0.982, surpassant le Lasso (1.103) et la Ridge (1.102). La performance s'améliore à mesure que le nombre de variables de bruit augmente jusqu'à un optimum, puis se stabilise.
• Croissance du PIB International (Barro & Lee) : Sur un panel de 90 pays avec 60 variables. La méthode réduit la MSE de 14.0 (avec seulement les 60 variables) à 0.940 avec la régularisation par le bruit, soit une amélioration de 25% par rapport au Lasso.
• Prime de Risque Équitable US (Welch & Goyal) : Un défi classique où la plupart des modèles échouent (R² négatif). La régularisation par le bruit génère un R² hors échantillon positif (+1.81% pour l'horizon annuel, +0.37% pour le mensuel), tandis que les méthodes de sélection (Lasso, Ridge, PCA) restent négatives.

5. Signification et Implications

• Changement de paradigme : L'article remet en cause le dogme selon lequel la sélection de variables ou la réduction de dimension est toujours bénéfique pour la prévision. Dans les environnements économiques denses et à facteurs, l'expansion de l'espace des caractéristiques (feature space) est supérieure à la contraction.
• Justification économique du surapprentissage : Contrairement à la littérature statistique qui impose souvent des conditions techniques pour le surapprentissage bénin, cet article montre que la densité des coefficients est une conséquence naturelle de la structure à facteurs sous-jacente de l'économie.
• Robustesse : La méthode est peu sensible au paramètre de régularisation (le nombre exact de variables de bruit), ce qui la rend pratique pour les économistes qui n'ont pas besoin de connaître l'identité exacte des variables informatives.
• Limites de l'ACP : L'ACP échoue souvent car elle suppose des facteurs forts et une séparation nette des valeurs propres, ce qui n'est pas le cas lorsque le bruit dilue la force des facteurs dans un grand panel.

En conclusion, l'article démontre que dans la prévision économique, ajouter du bruit (des variables non informatives) agit comme un mécanisme de régularisation puissant, permettant d'atteindre la précision d'un oracle sans avoir besoin d'estimer les facteurs latents, transformant ainsi le "surapprentissage" en un outil de performance prédictive.