Robust Regression with Student's T: The Role of Degrees of Freedom

1. Problemstellung

Lineare Regressionsmodelle basieren häufig auf der Annahme normalverteilter Fehlerterme. Diese Schätzer (insbesondere die Methode der kleinsten Quadrate, OLS) sind jedoch extrem anfällig für Ausreißer, was zu verzerrten Parameterschätzungen und einer verschlechterten Zuverlässigkeit der Inferenz führt.

Eine gängige Alternative ist die Modellierung der Fehlerterme $\epsilon$ mittels einer Student-t-Verteilung mit $\nu$ Freiheitsgraden. Die t-Verteilung besitzt schwerere Schwänze als die Normalverteilung, was Ausreißer besser handhabt. Der Grad der Robustheit hängt jedoch stark vom Parameter $\nu$ ab:

• Kleine Werte von $\nu$ (z. B. $\nu < 5$) führen zu sehr schweren Schwänzen und hoher Robustheit, können aber ineffizient sein, wenn die Daten tatsächlich normalverteilt sind.
• Große Werte von $\nu$ nähern sich der Normalverteilung an.

Die zentrale Frage der Studie ist: Wie sollte der Freiheitsgrad-Parameter $\nu$ in der Praxis geschätzt werden? Bisherige Ansätze variieren stark:

• Festlegung eines festen Wertes (z. B. $\nu=3$ oder $\nu=5$).
• Schätzung mittels Maximum-Likelihood (ML).
• Bayessche Ansätze mit verschiedenen Priori-Verteilungen.
• Verwendung von Robustheitsfunktionen wie der Huber-Loss-Funktion.

Die Autoren untersuchen, welche Methode zur Schätzung von $\nu$ die genauesten Schätzungen für die Regressionskoeffizienten $\beta$ liefert, insbesondere in Szenarien mit und ohne Ausreißer sowie in hochdimensionalen Settings (großes $p$ im Verhältnis zu $n$).

2. Methodik

Die Studie vergleicht vier Hauptansätze zur Schätzung von $\nu$ und analysiert deren Auswirkungen auf die Schätzung von $\beta$.

A. Likelihood-basierte Ansätze (Frequentistisch)

1. Profil-Likelihood-Schätzer ($\hat{\nu}$): Maximierung der profilierten Log-Likelihood-Funktion $\ell_p(\nu)$, wobei $\beta$ und $\sigma$ als Störparameter konditioniert werden.
2. Adjustierte Profil-Likelihood-Schätzer ($\hat{\nu}_{adj}$): Basierend auf der Arbeit von Cox und Reid (1987). Diese Methode korrigiert die Profil-Likelihood um einen Term, der durch die Schätzung der Störparameter ($\beta, \sigma$) verursachte Verzerrungen reduziert:
   $$\ell_{adj}(\nu; y) = \ell_p(\nu; y) - \frac{1}{2} \log |j_{\lambda\lambda}(\nu, \hat{\lambda}_\nu)|$$
   wobei $j_{\lambda\lambda}$ die Untermatrix der beobachteten Fisher-Information für die Störparameter ist.

B. Bayessche Ansätze

1. Jeffreys' Unabhängigkeits-Prior ($\hat{\nu}_{Bayes}$): Verwendung eines Priors, bei dem $\beta$ unabhängig von $(\sigma, \nu)$ behandelt wird. Der Prior für $(\sigma, \nu)$ basiert auf der Determinante der entsprechenden Untermatrix der Fisher-Information (Jeffreys' Regel). Die Schätzung erfolgt über den Maximum-a-Posteriori (MAP)-Schätzer.
2. Pseudo-Posterior ($\hat{\nu}_{Pseudo}$): Behandlung der Profil-Likelihood für $\nu$ als echte Likelihood und Anwendung eines Priors proportional zur Wurzel der Fisher-Information für $\nu$ allein ($I_{\nu\nu}^{1/2}$).

C. Simulationsdesign

Die Autoren führten umfangreiche Simulationen durch, um die Leistung dieser Schätzer zu bewerten:

• Daten: Synthetische Daten und reale Daten (Stack-Loss-Datensatz).
• Parameter: Variation von $n$ (Stichprobengröße), $p$ (Anzahl der Prädiktoren), $\nu$ (wahre Freiheitsgrade: 2, 5, 10) und Kontaminationsraten (Ausreißer).
• Vergleichsgruppen: Die geschätzten $\nu$-Werte wurden mit fest vorgegebenen $\nu$-Werten, OLS und Huber-Regression verglichen.
• Metrik: Der Hauptfokus lag auf dem Mittleren Quadratischen Fehler (RMSE) der Regressionskoeffizienten $\hat{\beta}$.

3. Wichtige Beiträge und Ergebnisse

A. Leistung der $\nu$-Schätzer

• Niedrige Dimension ($p \ll n$): Der klassische Profil-Likelihood-Schätzer ($\hat{\nu}$) performt oft gut, aber die Unterschiede zwischen den Methoden sind gering.
• Hohe Dimension ($p$ nahe $n$): Hier zeigt sich ein deutlicher Vorteil des adjustierten Profil-Likelihood-Schätzers ($\hat{\nu}_{adj}$). Während der einfache Profil-Schätzer und Bayessche Methoden bei hohem $p$ tendenziell zu große Werte für $\nu$ schätzen (was zu einer Unterschätzung der Schwere der Schwänze führt), bleibt $\hat{\nu}_{adj}$ stabiler und liefert den geringsten RMSE für $\beta$.
• Bayessche vs. Frequentistische Methoden: Die Bayesschen Schätzer (Jeffreys und Pseudo) liefern ähnliche Ergebnisse untereinander, sind aber in hochdimensionalen Settings oft weniger präzise als $\hat{\nu}_{adj}$.

B. Einfluss auf die Regressionskoeffizienten ($\beta$)

• Robustheit: Die Schätzung von $\nu$ mittels $\hat{\nu}_{adj}$ führt zu Regressionskoeffizienten, deren Genauigkeit (RMSE) mit der von Modellen vergleichbar ist, bei denen der wahre $\nu$-Wert bekannt und festgelegt ist.
• Vergleich mit Huber-Regression:
  • Bei schweren Schwänzen (kleines wahres $\nu$) und moderatem $p/n$-Verhältnis ($< 0.5$) übertrifft der $\hat{\nu}_{adj}$-Ansatz die Huber-Regression.
  • Bei sehr hohen Dimensionen ($p/n \approx 0.5$ oder höher) kann die Schätzung von $\nu$ schwierig werden, da das Modell extreme Werte in die Koeffizienten „absorbiert", was zu einer Überschätzung von $\nu$ führt. In diesen Fällen performt die Huber-Regression manchmal besser, aber $\hat{\nu}_{adj}$ bleibt robuster als OLS.
• Normalverteilte Fehler: Selbst wenn die Fehler normalverteilt sind (was eine große $\nu$ impliziert), liefert $\hat{\nu}_{adj}$ Ergebnisse, die denen von OLS sehr nahe kommen, ohne die Effizienz bei Vorhandensein von Ausreißern zu verlieren.

C. Robustheit gegenüber Ausreißern

In Szenarien mit kontaminierten Daten (z. B. Mischung aus Normalverteilung und schweren Schwänzen oder zwei-Punkt-Kontamination):

• Die $\nu$-Schätzer (insbesondere $\hat{\nu}_{adj}$) liefern konsistent niedrigere RMSE-Werte als OLS und oft auch als Huber-Regression.
• Die Methode ist besonders effektiv, wenn die Kontaminationsrate moderat ist (10–20 %). Bei sehr hohen Kontaminationsraten (30 %) mit nicht-typischen Ausreißern (z. B. zwei-Punkt-Kontamination) können alle Methoden an Leistung verlieren, da die t-Verteilung diese spezifischen Muster nicht perfekt abbildet.

4. Signifikanz und Schlussfolgerungen

Der Artikel liefert einen wichtigen Erkenntnisgewinn für die robuste Statistik:

1. Kalibrierung ist entscheidend: Die Wahl der robusten Verteilung (Student-t) allein reicht nicht aus; die korrekte Kalibrierung des Freiheitsgrads $\nu$ ist ebenso wichtig für die optimale Leistung.
2. Empfehlung für die Praxis: Die Autoren empfehlen die Verwendung des adjustierten Profil-Likelihood-Ansatzes ($\hat{\nu}_{adj}$) zur Schätzung von $\nu$. Diese Methode bietet den besten Kompromiss zwischen Robustheit gegenüber Ausreißern und Effizienz bei normalverteilten Fehlern, insbesondere wenn $p$ nicht extrem groß im Verhältnis zu $n$ ist.
3. Grenzen der Hochdimensionalität: Bei sehr hohen Dimensionen ($p/n$ groß) neigt die Schätzung von $\nu$ dazu, zu groß zu werden (was die Verteilung zu normal macht). In solchen Fällen könnte es effizienter sein, $\nu$ auf einen großen Wert zu fixieren, anstatt ihn zu schätzen.
4. Verfügbarkeit: Die Autoren haben ein R-Paket namens RobustTRegression bereitgestellt, das ihre Methode und konkurrierende Ansätze implementiert, um die Reproduzierbarkeit zu gewährleisten.

Zusammenfassend demonstriert die Studie, dass die automatische Schätzung von $\nu$ durch den adjustierten Profil-Likelihood-Ansatz eine überlegene Alternative zu festen Werten oder anderen Schätzmethoden darstellt und die Lücke zwischen theoretischer Robustheit und praktischer Anwendbarkeit in der linearen Regression schließt.