Robust high-dimensional Bayesian regression with non-Gaussian errors under global--local shrinkage priors

Sintesi Tecnica: Regressione Bayesiana ad Alta Dimensionalità Robusta con Errori Non Gaussiani sotto Prior di Shrinkage Global-Local

1. Definizione del Problema

Il documento affronta le sfide della regressione lineare multivariata in contesti ad alta dimensionalità, dove il numero di predittori ($p$) e di variabili risposta ($q$) è elevato rispetto alla dimensione del campione ($n$). L'approccio classico si basa su due ipotesi restrittive che vengono frequentemente violate nelle scienze empiriche (ad es., macroeconomia, finanza, genomica):

1. Legge dell'Errore Gaussiano: Gli stimatori standard assumono che gli errori seguano una distribuzione normale multivariata. Tuttavia, i dati del mondo reale presentano spesso code pesanti (leptocurtosi), outlier improvvisi e asimmetria (skewness). Sotto le assunzioni gaussiane, pochi outlier macroscopici possono distorcere le stime dei coefficienti e, criticamente, corrompere la stima del grafo di dipendenza condizionale (la matrice di precisione $\Omega$).
2. Gestione Separata della Sparsità: I metodi esistenti affrontano tipicamente la sparsità nei coefficienti di regressione ($B$) e la sparsità nella covarianza inversa degli errori ($\Omega$) in modo isolato. Manca un quadro integrato che esegua simultaneamente la selezione delle variabili e il recupero del grafo di dipendenza condizionale mantenendo la robustezza rispetto a errori non gaussiani.

2. Metodologia

Gli autori propongono un quadro bayesiano unificato, denominato RHS-MR (Robust Horseshoe+ Multivariate Regression), che integra la modellazione degli errori robusti con prior di shrinkage congiunti.

A. Verosimiglianza Robusta tramite Miscele Scala-Località
Invece di un errore gaussiano, il modello impiega una miscela di normali scala-località flessibile. Condizionatamente alle variabili latenti, la struttura dell'errore permette per:

• Distribuzione $t$ Multivariata: Ottenuta miscelando una Gaussiana con un peso inverse-gamma ($w_i$), per accomodare code pesanti.
• Skew-Normal e Skew-$t$ Multivariata: Ottenuta introducendo un vettore latente half-normal ($t_i$) per traslare la media, per accomodare sia code pesanti che asimmetria.
  Questa formulazione rende i posteri condizionali coniugati, facilitando una computazione trattabile.

B. Shrinkage Congiunto Horseshoe+
Il modello applica un prior horseshoe+ simultaneamente su due oggetti sparsi distinti:

1. Coefficienti di Regressione ($B$): Ogni voce $\beta_{jk}$ riceve un parametro di scala locale, aumentato da un secondo fattore half-Cauchy ($\eta_{jk}$) rispetto allo standard horseshoe. Ciò crea un prior marginale con uno spike più alto sullo zero (shrinkage aggressivo del rumore) e code più pesanti (trattamento quasi non distorto dei segnali ampi).
2. Matrice di Precisione ($\Omega$): Le voci fuori diagonale (che rappresentano le dipendenze condizionali) ricevono un prior horseshoe+, mentre le voci diagonali ricevono un prior esponenziale diffuso. Questo accoppia la sparsità della mappa di regressione con la sparsità del grafo di dipendenza condizionale.

C. Computazione del Posteriore
Sono sviluppati due algoritmi per l'inferenza del posteriore:

1. Gibbs Sampler: Un campionatore completamente trattabile derivato dalle rappresentazioni di miscela di scala e di espansione dei parametri. Utilizza un aggiornamento a blocchi per colonna per la matrice di precisione (ispirato allo horseshoe grafico) e aggiornamenti in forma chiusa per tutte le condizionali complete.
2. Inferenza Variazionale Mean-Field: Un algoritmo di approssimazione più veloce che fattorizza per blocchi, offrendo un'accelerazione di uno o due ordini di grandezza con un'accuratezza comparabile in regimi ben identificati.

3. Contributi Chiave

Il documento presenta quattro contributi primari:

1. Formulazione del Modello: Formula un modello di regressione multivariata robusta dove l'errore gaussiano è sostituito da una miscela scala-località (che copre le leggi $t$, skew-normal e skew-$t$), tutte condividendo una matrice di precisione $\Omega$ comune.
2. Shrinkage Congiunto: Introduce l'applicazione simultanea del prior horseshoe+ sia a $B$ che alle voci fuori diagonale di $\Omega$, accoppiando efficacementamente la selezione delle variabili con il recupero della struttura del grafo.
3. Algoritmi Computazionali: Deriva un Gibbs sampler in forma chiusa e un algoritmo di inferenza variazionale scalabile per questi modelli complessi.
4. Garanzie Teoriche:
   • Contrazione del Posteriore Congiunto: Stabilisce che le distribuzioni posteriori di $B$ e $\Omega$ si contraggono verso la verità a tassi quasi minimax, anche sotto errori non gaussiani.
   • Consistenza della Selezione: Dimostra la consistenza sia per la selezione delle variabili (in $B$) che per la selezione degli archi (in $\Omega$).
   • Dominanza del Rischio: Dimostra tramite un limite del rischio di Kullback–Leibler che il prior horseshoe+ domina lo standard horseshoe nel regime di segnale sparso, grazie alle sue code più pesanti che riducono il bias sui segnali grandi.
   • Sensibilità Limitata: Dimostra che, sotto l'errore $t$, la media del posteriore di $B$ rimane limitata anche quando un singolo outlier tende all'infinito, mentre gli stimatori gaussiani divergono linearmente.

4. Risultati Empirici

La metodologia è valutata attraverso estesi studi di simulazione e due applicazioni nel mondo reale.

Studio di Simulazione:

• Regimi di Errore: Il modello è stato testato sotto distribuzioni di errore Gaussian, $t_3$, skew-normal e skew-$t_4$.
• Performance: Sotto errori gaussiani, il modello robusto si comporta in modo indistinguibile dal suo equivalente gaussiano. Sotto errori a code pesanti e asimmetrici, il modello robusto supera significativamente i benchmark basati su gaussiane (inclusi i metodi di penalizzazione della verosimiglianza come MRCE e OLS). Specificamente, sotto errori skew-$t_4$, il modello robusto ha ridotto l'errore di stima dei coefficienti del 43% rispetto all'ablazione gaussiana.
• Contrazione: All'aumentare della dimensione del campione ($n$), l'errore dello stimatore robusto si è contratto al tasso previsto ($\sim n^{-1/2}$), mentre l'errore della matrice di precisione del modello gaussiano non è riuscito a contrarsi sotto code pesanti.
• Sensibilità agli Outlier: Quando un'osservazione è stata contaminata con magnitudo crescente, l'errore dello stimatore gaussiano è cresciuto linearmente, mentre l'errore dello stimatore robusto è rimasto piatto, confermando il teorema della sensibilità limitata.
• Computazione: L'algoritmo variazionale ha ottenuto accelerazioni da 10 a 70 volte rispetto al Gibbs sampler con una perdita minima di accuratezza.

Applicazioni:

1. FRED-MD (Dati Macroeconomici): Applicato a 8 indicatori macroeconomici e 30 predittori. Il modello ha declassato automaticamente le osservazioni durante la crisi finanziaria del 2008 e la pandemia 2020–2021, recuperando un grafo di dipendenza residua sparso e ottenendo un errore predittivo inferiore rispetto al fit gaussiano.
2. S&P 500 (Rendimenti Azionari): Applicato ai rendimenti logaritmici giornalieri di 12 titoli e 31 fattori. Il fit robusto ha identificato un grafo residuo sparso dove 4 su 5 archi selezionati collegavano titoli del settore energetico, riflettendo l'esposizione comune ai prezzi delle materie prime. Ha inoltre declassato i giorni di trading volatili, incluso l'inizio del tumulto 2007–2008.

5. Significato e Rivendicazioni

Il documento sostiene di fornire il primo quadro bayesiano integrato che affronta simultaneamente l'alta dimensionalità della sparsità sia nei coefficienti di regressione che nelle strutture di dipendenza condizionale, mantenendo la robustezza rispetto a errori asimmetrici e a code pesanti.

Gli autori sottolineano che il loro approccio:

• Preserva l'Efficienza: Non sacrifica le prestazioni quando gli errori sono gaussiani (la robustezza non costa "essenzialmente nulla").
• Corregge il Bias Strutturale: Impedisce la corruzione del grafo di dipendenza condizionale ($\Omega$) da parte degli outlier, un modo di fallimento comune nelle procedure gaussiane.
• Solidità Teorica: Offre garanzie rigorose sulla contrazione del posteriore, sulla consistenza della selezione e sulla sensibilità limitata, colmando il divario tra statistica robusta e shrinkage bayesiana ad alta dimensionalità.
• Utilità Pratica: Il declassamento automatico degli outlier tramite i pesi posteriori fornisce una diagnostica interpretabile della qualità dei dati senza richiedere indicatori di crisi pre-specificati.

Il documento conclude che l'integrazione dello shrinkage global-local con i modelli di errore a miscela di scala offre un'alternativa superiore per le scienze empiriche dove coesistono non-normalità dei dati e alta dimensionalità.