Benign Overfitting in Economic Forecasting via Noise Regularization

1. Il Problema: La Densità dei Modelli Economici e il Fallimento della Selezione delle Variabili

La ricerca affronta una sfida fondamentale nella previsione economica: la natura dei dati economici è spesso ad alta dimensionalità e guidata da un numero ridotto di fattori latenti (es. condizioni macroeconomiche, finanziarie o di politica).

• Rappresentazione Densa: A differenza dei modelli sparsi (dove solo poche variabili hanno potere predittivo), nei modelli economici guidati da fattori, l'informazione predittiva è diffusa su molte variabili osservabili. Di conseguenza, i coefficienti di regressione della popolazione sono densi (molti piccoli coefficienti non nulli) piuttosto che sparsi.
• Il Dilemma della Dimensionalità: Quando il numero di predittori ($p$) è comparabile alla dimensione del campione ($n$), le tecniche standard falliscono.
  • La Selezione delle Variabili (es. Lasso) o la Riduzione della Dimensionalità (es. PCA) si basano sull'idea che eliminare il "rumore" migliori l'accuratezza. Tuttavia, questo approccio distrugge il meccanismo di regolarizzazione implicita necessario quando $p \approx n$.
  • La PCA richiede la stima precisa dei fattori, che diventa difficile se i fattori sono deboli o se il rumore diluisce la loro forza attraverso l'intero pannello.
  • La Selezione Perfetta (anche se un oracolo scegliesse solo le variabili informative) fallisce nel raggiungere l'ottimalità asintotica se il rapporto $p_0/n$ converge a una costante positiva, perché la matrice del design non ha abbastanza dimensioni per regolarizzare gli autovalori.

2. Metodologia: Regolarizzazione tramite Rumore (Noise Regularization)

Gli autori propongono un approccio controintuitivo: invece di ridurre il numero di predittori, si deve espandere lo spazio delle caratteristiche aggiungendo variabili di rumore puramente casuali.

• Stimatore Ridgeless: Si utilizza la regressione Ridgeless (la soluzione a norma minima dei minimi quadrati, calcolata tramite la pseudoinversa di Moore-Penrose) su un set di predittori che include sia le variabili informative ($X_I$) sia variabili di rumore ($X_N$).
• Meccanismo di Regolarizzazione: L'aggiunta di rumore non fornisce informazione sul target, ma agisce come un dispositivo di regolarizzazione implicita.
  • Le variabili di rumore gonfiano gli autovalori della matrice del design ($X'X$) nelle direzioni non-fattoriali.
  • Questo "gonfiaggio" degli autovalori riduce la varianza fuori campione.
  • Grazie alla disuguaglianza di Jensen e alla concavità della funzione di shrinkage, la regolarizzazione casuale introdotta dal rumore genera un bias di shrinkage inferiore rispetto alla regressione Ridge deterministica con lo stesso parametro di regolarizzazione medio.
• Scenario II (Rao-Blackwellization): Quando le variabili informative sono note, si aggiungono artificialmente colonne di rumore (es. $N(0,1)$). Per ridurre la varianza introdotta dalla casualità del rumore stesso, si esegue la previsione su più estrazioni di rumore indipendenti e si calcola la media (processo di denoising di Rao-Blackwell).

3. Risultati Teorici Chiave

Il paper stabilisce quattro risultati teorici fondamentali:

1. Teorema 1 (Rappresentazione Densa): Sotto un modello a fattori, i coefficienti di regressione della popolazione sono densi. La norma $L_2$ di $\beta$ decade a zero all'aumentare della dimensione. Il modello di lavoro lineare converge all'errore quadratico medio (MSE) dell'oracolo che conosce i veri fattori, senza bisogno di stimarli.
2. Proposizione 1 (Fallimento della Selezione Perfetta): Anche se si selezionano perfettamente solo le $p_0$ variabili informative, l'uso della regressione Ridgeless su questo sottoinsieme non raggiunge l'ottimalità del primo ordine quando $p_0/n \to \gamma_0 \in (0, \infty)$. La mancanza di dimensionalità sufficiente impedisce la regolarizzazione degli autovalori.
3. Teoremi 2 e 3 (Benign Overfitting e Ottimalità):
   • Mantenendo o aggiungendo variabili di rumore, lo stimatore Ridgeless raggiunge asintoticamente lo stesso MSE dell'oracolo (che usa i fattori veri).
   • Questo avviene anche con fattori deboli e dipendenza temporale.
   • La varianza fuori campione decade a zero man mano che $p \gg n$, realizzando il fenomeno del "benign overfitting".
   • L'aggiunta di rumore e la media su più estrazioni (Rao-Blackwell) migliorano il tasso di convergenza della varianza rispetto al caso in cui le identità del rumore sono sconosciute.
4. Proposizione 2 (Simmetria AR(p)): Aumentare l'ordine di un modello autoregressivo (AR) non produce lo stesso beneficio. Esiste una simmetria: un modello AR($p$) con $p > T/2$ è numericamente identico a un modello AR($T-p$). L'aumento dei lag riduce la dimensione effettiva del campione, impedendo il gonfiaggio degli autovalori necessario per il benign overfitting.

4. Risultati Empirici

Gli autori applicano il metodo a tre scenari reali, confrontandolo con Lasso, Ridge e PCA:

• Previsione dell'Inflazione USA (FRED-MD): Utilizzando 102 predittori macroeconomici, l'aggiunta di rumore porta a un MSE predittivo di 0.982, superando significativamente Lasso (1.103), Ridge (1.102) e PCA (1.122). La curva MSE mostra un secondo discesa dopo la soglia di interpolazione.
• Previsione della Crescita del PIL (Cross-country): Su 60 variabili socio-economiche per 90 paesi, il metodo riduce l'MSE da ~14 (con solo le 60 variabili) a 0.940, stabilizzandosi ben al di sotto di 1.0. Le altre metodi rimangono superiori a 1.0.
• Premio per il Rischio Azionario USA (Equity Risk Premium): In un contesto notoriamente difficile dove la maggior parte dei modelli fallisce (R2 fuori campione negativa), la regolarizzazione tramite rumore ottiene un R2 positivo (es. +1.81% su base annuale, +1.08% su base trimestrale), mentre Lasso e Ridge rimangono negativi. PCA fallisce completamente in questo scenario.

5. Significato e Contributo

• Cambiamento di Paradigma: Il paper ribalta la saggezza convenzionale secondo cui il rumore deve essere eliminato. Dimostra che in ambienti economici densi e guidati da fattori, l'espansione dello spazio delle caratteristiche con rumore è necessaria per la regolarizzazione.
• Giustificazione Economica del "Benign Overfitting": Fornisce una giustificazione strutturale ed economica per il fenomeno del benign overfitting (solitamente studiato in ML), mostrando che emerge naturalmente dalla struttura a fattori dei dati economici, non come un artefatto tecnico.
• Robustezza: Il metodo è robusto alla scelta del numero di variabili di rumore aggiunte e non richiede la stima complessa dei fattori latenti o la conoscenza esatta di quali variabili siano informative.
• Implicazioni Pratiche: Suggerisce che per le previsioni economiche, l'approccio migliore non è la selezione parsimoniosa delle variabili, ma l'uso di modelli sovrapparametrizzati con regolarizzazione implicita tramite rumore, specialmente quando il rapporto predittori/campioni è vicino a 1.

In sintesi, il paper dimostra che la densità dei coefficienti è una caratteristica intrinseca dei modelli economici, e che la strategia ottimale per la previsione è sfruttare l'overfitting benigno attraverso l'aggiunta di rumore, piuttosto che tentare di selezionare le variabili "giuste".