Robust Regression with Student's T: The Role of Degrees of Freedom

Titel: Robuste Regressie met Student's t: De Rol van Vrijheidsgraden

1. Het Probleem

Lineaire regressie-schatters, zoals de gewone kleinste-kwadratenmethode (OLS), zijn zeer gevoelig voor uitschieters (outliers). Wanneer de foutenverdeling zware staarten heeft (heavy tails), kunnen deze uitschieters de schattingen van de regressiecoëfficiënten ($\beta$) sterk vertekenen en de betrouwbaarheid van inferentie ondermijnen.

Een veelgebruikte aanpak om hieraan te verhelpen, is het modelleren van de fouten met een Student's t-verdeling in plaats van een normale verdeling. De Student's t-verdeling heeft zwaardere staarten, wat robuustheid biedt. De mate van deze zwaarte wordt bepaald door de parameter vrijheidsgraden ($\nu$).

• Bij kleine $\nu$ zijn de staarten zeer zwaar (zeer robuust).
• Bij grote $\nu$ nadert de verdeling de normale verdeling (minder robuust, maar efficiënter bij normale data).

De kernvraag die dit artikel adresseert, is: Hoe schatten we $\nu$ op de beste manier?
Bestaande literatuur suggereert vaak om $\nu$ vast te zetten op een specifieke waarde (bijv. 3 of 4) of te schatten via complexe methoden. Er is echter weinig consensus over welke schattingsmethode voor $\nu$ leidt tot de meest accurate schattingen van de regressiecoëfficiënten $\beta$, vooral in situaties met hoge dimensionaliteit (veel voorspellers $p$ ten opzichte van steekproefgrootte $n$).

2. Methodologie

De auteurs vergelijken verschillende frequentistische en Bayesiaanse methoden voor het schatten van $\nu$ en analyseren hoe deze keuze de schatting van $\beta$ beïnvloedt.

A. Schattingsmethoden voor $\nu$:

1. Maximum Profile Likelihood ($\hat{\nu}$): Maximalisatie van de profiel-log-likelihood functie waarbij $\beta$ en $\sigma$ geconditioneerd zijn op $\nu$.
2. Aangepaste Profiel Log-Likelihood ($\hat{\nu}_{adj}$): Een verbetering op de profiel-likelihood (gebaseerd op Cox en Reid, 1987) die correcties toepast voor de schattingsfouten van de "nuisance parameters" ($\beta, \sigma$). De formule is:
   $$\ell_{adj}(\nu; y) = \ell_p(\nu; y) - \frac{1}{2} \log |j_{\lambda\lambda}(\nu, \hat{\lambda}_\nu)|$$
   waarbij $j_{\lambda\lambda}$ de submatrix is van de waargenomen Fisher-informatiematrix voor de nuisance parameters.
3. Bayesiaanse Methoden:
   • Jeffreys' Onafhankelijkheid Prior: Gebruik van een niet-informatieve prior gebaseerd op de determinant van de Fisher-informatiematrix, waarbij $\beta$ onafhankelijk wordt behandeld van $(\sigma, \nu)$.
   • Pseudo-Posterior: Behandeling van de profiel-likelihood als een ware likelihood, gecombineerd met een prior $\pi(\nu) \propto I_{\nu\nu}^{1/2}(\nu)$.

B. Simulatie-ontwerp:
De auteurs voeren uitgebreide simulaties uit met synthetische en reële data (o.a. de "stack loss" dataset) onder verschillende omstandigheden:

• Foutenverdeling: Student's t (met verschillende $\nu$), Normaal, en verontreinigde verdelingen (uithoeken, $\chi^2$, twee-punts contaminatie).
• Dimensionaliteit: Variatie in $p$ (aantal voorspellers) van 1 tot 80, en $n$ (steekproefgrootte) van 21 tot 2500.
• Vergelijking: De prestaties van de geschatte $\nu$-methoden worden vergeleken met:
  • Vaste $\nu$ waarden (bijv. $\nu=3, 4, \dots$).
  • OLS (Ordinary Least Squares).
  • Huber-regressie (een klassieke robuuste methode).

3. Belangrijkste Resultaten

A. Schatting van $\nu$:

• In laag-dimensionale settings (kleine $p$ ten opzichte van $n$) presteren de profiel-likelihood en de aangepaste profiel-likelihood vergelijkbaar goed.
• In hoog-dimensionale settings (grote $p$) presteert de aangepaste profiel-likelihood ($\hat{\nu}_{adj}$) significant beter dan de standaard profiel-likelihood en de Bayesiaanse methoden. De standaard profiel-likelihood neigt tot grote fouten (hoge RMSE) wanneer $p$ groot wordt.

B. Schatting van Regressiecoëfficiënten ($\beta$):

• Algemene Prestatie: Het schatten van $\nu$ via de aangepaste profiel-likelihood levert regressiecoëfficiënten op met een zeer hoge nauwkeurigheid. De Mean Squared Error (MSE) is vergelijkbaar met het geval waarin $\nu$ op de ware waarde is gefixeerd.
• Vergelijking met Huber:
  • Bij lichte staarten (normale fouten) presteert de methode vergelijkbaar met OLS en beter dan Huber-regressie.
  • Bij zware staarten (Student's t fouten) en verontreinigde data (outliers) presteert de $\hat{\nu}_{adj}$-methode beter dan Huber-regressie, mits de verhouding $p/n < 0.5$.
• Het Effect van Hoge Dimensionaliteit ($p/n$):
  • Wanneer $p/n$ zeer groot is (bijv. > 0.5), kan het schatten van $\nu$ leiden tot een overschatting van $\nu$ (waardoor de methode minder robuust wordt). In deze extreme gevallen kan het vastzetten van $\nu$ op een grote waarde soms efficiënter zijn.
  • De auteurs concluderen dat voor de meeste praktische toepassingen (waar $p/n$ niet extreem groot is), het schatten van $\nu$ de voorkeur heeft boven het vastzetten op een willekeurige waarde.

C. Robuustheid:
De methode is zeer robuust tegenover verschillende soorten verontreiniging (Gaussische outliers, $\chi^2$, t-verdeling). Zelfs bij hoge contaminatiepercentages (tot 30%) behoudt de $\hat{\nu}_{adj}$-methode vaak een lagere RMSE dan OLS en vaak ook dan Huber-regressie, tenzij de verontreiniging zo extreem is dat het niet meer overeenkomt met een zwaarstaartmodel.

4. Bijdragen en Significantie

1. Kritieke Inzicht: De belangrijkste bevinding is dat de kalibratie van de vrijheidsgraden ($\nu$) even cruciaal is als de keuze van de robuuste verdeling zelf. Een verkeerde schatting van $\nu$ kan de voordelen van de Student's t-regressie tenietdoen.
2. Methode-voorkeur: Het artikel biedt een sterk empirisch bewijs dat de aangepaste profiel-likelihood de superieure methode is voor het schatten van $\nu$, vooral in moderne datasets met veel variabelen. Deze methode compenseert voor de bias die optreedt door het schatten van de nuisance parameters.
3. Praktische Toepasbaarheid: De auteurs hebben een R-pakket (RobustTRegression) ontwikkeld dat deze methoden implementeert, waardoor onderzoekers en practitioners de methode direct kunnen toepassen.
4. Synthese: Het artikel biedt een uitgebreide synthese van bestaande literatuur en vult de gaten in de kennis over hoe $\nu$ het beste geschat moet worden in zowel lage als hoge dimensionale settings.

Conclusie:
Voor robuuste lineaire regressie met Student's t-fouten is het schatten van de vrijheidsgraden via de aangepaste profiel-likelihood de aanbevolen aanpak. Deze methode biedt een uitstekende balans tussen efficiëntie (bij normale data) en robuustheid (bij outliers), en overtreft vaak traditionele methoden zoals Huber-regressie, zolang de dimensionaliteit van de data niet extreem hoog is ten opzichte van de steekproefgrootte.