Robust high-dimensional Bayesian regression with non-Gaussian errors under global--local shrinkage priors

Technische Samenvatting: Robuuste Hoogdimensionele Bayesiaanse Regressie met Niet-Gaussische Fouten onder Global–Local Shrinkage Priors

1. Probleemstelling

Het artikel behandelt de uitdagingen van multivariate lineaire regressie in hoogdimensionele settings waar het aantal predictoren ($p$) en responsvariabelen ($q$) groot is ten opzichte van de steekproefomvang ($n$). De klassieke benadering leunt op twee restrictieve aannames die in de empirische wetenschappen (bijv. macroeconomie, financiën, genomica) vaak worden geschonden:

1. Gaussische Foutwet: Standaard estimators gaan ervan uit dat fouten een multivariate normale verdeling volgen. Echter, echte wereldgegevens vertonen vaak zware staarten (leptokurtosis), abrupte uitschieters en asymmetrie (scheefheid). Onder Gaussische aannames kunnen enkele grove uitschieters de coëfficiënt-schattingen verstoren en, cruciaal, de schatting van de conditionele afhankelijkheidsgraaf (de precisie-matrix $\Omega$) corrumperen.
2. Gescheiden Aanpak van Sparsity: Bestaande methoden behandelen sparsity in de regressiecoëfficiënten ($B$) en sparsity in de inverse fout-covariantie ($\Omega$) doorgaans geïsoleerd. Er is een gebrek aan geïntegreerde kaders die simultaan variabele selectie en het herstel van de conditionele afhankelijkheidsgraaf uitvoeren terwijl de robuustheid tegen niet-Gaussische fouten behouden blijft.

2. Methodologie

De auteurs stellen een verenigd Bayesiaans kader voor, getiteld RHS-MR (Robust Horseshoe+ Multivariate Regression), dat robuuste foutmodellering integreert met gezamenlijke shrinkage priors.

A. Robuuste Likelihood via Scale–Location Mixtures
In plaats van een Gaussische fout, gebruikt het model een flexibele scale–location mixture van normalen. Voorwaardelijk op latente variabelen staat de foutstructuur toe:

• Multivariate $t$-verdeling: Bereikt door een Gaussische verdeling te mengen met een inverse-gamma gewicht ($w_i$), wat zware staarten accommodeert.
• Multivariate Skew-Normal en Skew-$t$: Bereikt door een latente half-normale vector ($t_i$) te introduceren om het gemiddelde te verschuiven, wat zowel zware staarten als asymmetrie accommodeert.
  Deze formulering maakt de conditionele posteriors conjunct, wat computationele handelbaarheid faciliteert.

B. Gezamenlijke Horseshoe+ Shrinkage
Het model plaatst een horseshoe+ prior gelijktijdig op twee verschillende sparse objecten:

1. Regressiecoëfficiënten ($B$): Elke invoer $\beta_{jk}$ krijgt een lokale schaalparameter, aangevuld met een tweede half-Cauchy factor ($\eta_{jk}$) vergeleken met de standaard horseshoe. Dit creëert een marginale prior met een hogere piek bij nul (agressieve ruis-shrinkage) en zwaardere staarten (nabij onvertekende behandeling van grote signalen).
2. Precisie-matrix ($\Omega$): De off-diagonal entries (die de conditionele afhankelijkheden vertegenwoordigen) ontvangen een horseshoe+ prior, terwijl de diagonal entries een diffuse exponentiële prior ontvangen. Dit koppelt de sparsity van de regressiekaart aan de sparsity van de conditionele afhankelijkheidsgraaf.

C. Posteriore Computatie
Er zijn twee algoritmen ontwikkeld voor posteriore inferentie:

1. Gibbs Sampler: Een volledig handelbare sampler afgeleid van de scale-mixture en parameter-expanded representaties. Het maakt gebruik van een kolomgewijze block-update voor de precisie-matrix (geïnspireerd door de graphical horseshoe) en closed-form updates voor alle volledige conditionalen.
2. Mean-Field Variational Inference: Een sneller benaderingsalgoritme dat over blokken factoriseert, wat een versnelling van één tot twee ordes van grootte biedt met vergelijkbare nauwkeurigheid in goed geïdentificeerde regimes.

3. Belangrijkste Bijdragen

Het artikel levert vier primaire bijdragen:

1. Modelformulering: Het formuleert een robuust multivariat regressiemodel waarbij de Gaussische fout wordt vervangen door een scale–location mixture (die $t$, skew-normal en skew-$t$ wetten dekt), die allemaal een gemeenschappelijke precisie-matrix $\Omega$ delen.
2. Gezamenlijke Shrinkage: Het introduceert de gelijktijdige toepassing van de horseshoe+ prior op zowel $B$ als de off-diagonal entries van $\Omega$, wat de variabele selectie effectief koppelt aan het herstel van de graafstructuur.
3. Computationele Algoritmen: Het leidt een closed-form Gibbs sampler en een schaalbaar variational inference algoritme af voor deze complexe modellen.
4. Theoretische Garanties:
   • Joint Posterior Contraction: Stelt vast dat de posteriore distributies van $B$ en $\Omega$ contrageren naar de waarheid met bijna minimax-snelheden, zelfs onder niet-Gaussische fouten.
   • Selectieconsistentie: Bewijst consistentie voor zowel variabele selectie (in $B$) als edge-selectie (in $\Omega$).
   • Risicodominantie: Demonstreert via een Kullback–Leibler risicoband dat de horseshoe+ prior de standaard horseshoe domineert in het sparse-signal regime vanwege de zwaardere staarten die de bias op grote signalen verminderen.
   • Begrensde Sensitiviteit: Bewijst dat onder de $t$-fout de posteriore gemiddelde van $B$ begrensd blijft zelfs wanneer een enkele uitschieter naar oneindig neigt, terwijl Gaussische estimators lineair divergeren.

4. Empirische Resultaten

De methodologie wordt geëvalueerd via uitgebreide simulaties en twee real-world toepassingen.

Simulatiestudie:

• Foutregimes: Het model werd getest onder Gaussische, $t_3$, skew-normal en skew-$t_4$ foutverdelingen.
• Prestaties: Onder Gaussische fouten presteert het robuuste model nagenoeg identiek aan zijn Gaussische tegenhanger. Onder heavy-tailed en scheve fouten presteert het robuuste model significant beter dan Gaussian-gebaseerde benchmarks (inclus including penalized likelihood methoden zoals MRCE en OLS). Specifiek onder skew-$t_4$ fouten reduceerde het robuuste model de fout in coëfficiëntschatting met 43% vergeleken met de Gaussische ablatiestudie.
• Contraction: Naarmate de steekproefomvang ($n$) toenam, de error van de robuuste estimator contracteerde volgens de voorspelde snelheid ($\sim n^{-1/2}$), terwijl de precisie-matrix error van de Gaussische estimator faalde te contrageren onder heavy tails.
• Uitschietersensitiviteit: Wanneer een enkele observatie werd gecontamineerd met een toenemende magnitude, groeide de fout van de Gaussische estimator lineair, terwijl de fout van de robuuste estimator vlak bleef, wat de bounded sensitivity theorem bevestigt.
• Computatie: Het variational algoritme bereikte versnellingen van 10x tot 70x ten opzichte van de Gibbs sampler met minimaal verlies in nauwkeurigheid.

Toepassingen:

1. FRED-MD (Macroeconomische Data): Toegepast op 8 macroeconomische indicatoren en 30 predictoren. Het model devalueerde automatisch observaties tijdens de financiële crisis van 2008 en de pandemie van 2020–2021, herstelde een sparse residuele afhankelijkheidsgraaf en behaalde een lagere voorspellende fout dan de Gaussische fit.
2. S&P 500 (Aandelenrendementen): Toegepast op dagelijkse log-returns van 12 aandelen en 31 factoren. De robuuste fit identificeerde een sparse residuele graaf waarbij 4 van de 5 geselecteerde edges verbindingen legden tussen Energy sector aandelen, wat de gemeenschappelijke blootstelling aan grondstofprijzen reflecteert. Het devalueerde ook volatiele handelsdagen, inclusief het begin van de 2007–2008 onrust.

5. Betekenis en Claims

Het artikel claimt het eerste geïntegreerde Bayesiaanse kader te bieden dat simultaan hoogdimensionele sparsity in zowel regressiecoëfficiënten als conditionele afhankelijkheidsstructuren aanpakt, terwijl de robuustheid tegen heavy-tailed en asymmetrische fouten behouden blijft.

De auteurs benadrukken dat hun aanpak:

• Efficiëntie Behoudt: Het offert geen prestaties op wanneer de fouten Gaussisch zijn (robuustheid kost "vrijwel niets").
• Structurele Bias Corrigeert: Het voorkomt de corruptie van de conditionele afhankelijkheidsgraaf ($\Omega$) door uitschieters, een faalmodus die gebruikelijk is bij Gaussische procedures.
• Theoretische Grondslag Biedt: Het biedt rigoureuze garanties op posterior contraction, selectieconsistentie en begrensde sensitiviteit, waarmee de kloof tussen robuuste statistiek en hoogdimensionele Bayesiaanse shrinkage wordt overbrugd.
• Praktisch Nut Heeft: De automatische devaluatie van uitschieters via posteriore gewichten biedt een interpreteerbare diagnostiek voor datakwaliteit zonder dat vooraf gespecificeerde crisisindicatoren nodig zijn.

Het artikel concludeert dat de integratie van global–local shrinkage met scale-mixture foutmodellen een superieur alternatief biedt voor de empirische wetenschappen waar data-niet-normaliteit en hoogdimensionaliteit samen voorkomen.