Robust Regression with Student's T: The Role of Degrees of Freedom

Titolo: Regressione Robusta con la Distribuzione di Student's T: Il Ruolo dei Gradi di Libertà

1. Il Problema

La regressione lineare classica (Minimi Quadrati Ordinari - OLS) è nota per la sua elevata sensibilità agli outlier, che possono distorcere le stime dei parametri e degradare l'affidabilità dell'inferenza statistica. Una soluzione comune per ottenere stime robuste è modellare gli errori della regressione utilizzando la distribuzione di Student's $t$, che possiede code più pesanti rispetto alla distribuzione normale, specialmente per bassi valori del parametro dei gradi di libertà ($\nu$).

Tuttavia, un problema fondamentale nella pratica è la scelta di $\nu$:

• Se $\nu$ è fissato a un valore troppo basso, il modello può diventare inefficiente se i dati reali sono vicini alla normalità.
• Se $\nu$ è fissato a un valore troppo alto (o infinito), il modello perde la robustezza necessaria contro gli outlier.
• La letteratura precedente (es. Lange et al., 1989) suggeriva di fissare $\nu$ per campioni piccoli e stimarlo per campioni grandi, ma non esisteva una sintesi completa su quale metodo di stima fosse ottimale in diverse configurazioni dimensionali ($p$ variabili, $n$ osservazioni).

2. Metodologia

Gli autori confrontano diversi approcci per stimare il parametro dei gradi di libertà $\nu$ e analizzano come queste scelte influenzano la stima dei coefficienti di regressione $\beta$.

Approcci di Stima per $\nu$ Considerati:

1. Massima Verosimiglianza (Profile Likelihood - $\hat{\nu}$): Massimizza la funzione di verosimiglianza profilata rispetto a $\nu$, trattando $\beta$ e $\sigma$ come parametri di disturbo stimati condizionatamente.
2. Verosimiglianza Profilata Aggiustata ($\hat{\nu}_{adj}$): Utilizza la funzione di verosimiglianza profilata corretta (Cox & Reid, 1987) per ridurre il bias introdotto dalla stima dei parametri di disturbo ($\beta, \sigma$). La funzione è definita come:
   $$\ell_{adj}(\nu; y) = \ell_p(\nu; y) - \frac{1}{2} \log |j_{\lambda\lambda}(\nu, \hat{\lambda}_\nu)|$$
   dove $j_{\lambda\lambda}$ è la sottomatrice dell'informazione di Fisher osservata relativa ai parametri di disturbo.
3. Approccio Bayesiano (Jeffreys - $\hat{\nu}_{Bayes}$): Utilizza un prior di Jeffreys (prior di indipendenza) basato sulla matrice dell'informazione di Fisher attesa e stima il valore MAP (Maximum A Posteriori).
4. Approccio Bayesiano Parziale (Pseudo-Posteriore - $\hat{\nu}_{Pseudo}$): Tratta la funzione di verosimiglianza profilata come una verosimiglianza vera e propria, applicando un prior $\pi(\nu) \propto I_{\nu\nu}^{1/2}(\nu)$.

Procedura di Inferenza:
Il metodo proposto segue una procedura in due fasi:

1. Stima di $\nu$ utilizzando uno dei metodi sopra citati.
2. Fissato $\nu$ al valore stimato, si massimizza la verosimiglianza per ottenere le stime di $\beta$ e $\sigma$.

I risultati sono confrontati con:

• Regressione OLS.
• Regressione Robusta con funzione di perdita di Huber.
• Modelli con $\nu$ fissato a valori costanti (es. 1, 3, 10, ecc.).

3. Contributi Chiave

• Analisi Comparativa Estensiva: Il lavoro fornisce una sintesi dettagliata delle prestazioni di metodi frequentisti e bayesiani per la stima di $\nu$ in contesti di regressione lineare.
• Ruolo della Dimensionalità ($p/n$): Gli autori identificano che la scelta del metodo di stima dipende criticamente dal rapporto tra il numero di predittori ($p$) e il numero di osservazioni ($n$).
• Validazione del Metodo Aggiustato: Dimostrano che l'uso della verosimiglianza profilata aggiustata ($\hat{\nu}_{adj}$) produce stime di $\beta$ con errore quadratico medio (RMSE) paragonabile a quello ottenuto conoscendo il vero valore di $\nu$, superando spesso gli altri metodi stimati.
• Software Open Source: Viene rilasciato il pacchetto R RobustTRegression che implementa i metodi proposti e quelli di confronto.

4. Risultati delle Simulazioni

Le simulazioni sono state condotte su dati sintetici e reali (dataset "stack loss" di Brownlee) con diverse configurazioni di $n$, $p$, e distribuzioni degli errori (inclusi outlier e distribuzioni a code pesanti).

• Stima di $\nu$:
  • Per $p$ piccolo rispetto a $n$, il massimo della verosimiglianza profilata ($\hat{\nu}$) ha le prestazioni migliori.
  • Per $p$ elevato (alta dimensionalità), l'estimatore $\hat{\nu}_{adj}$ mostra il RMSE più basso e si adatta meglio, mentre gli altri metodi tendono a sovrastimare o sottostimare $\nu$.
• Stima dei Coefficienti $\beta$:
  • Bassa Dimensionalità ($p/n < 0.5$): L'approccio $\hat{\nu}_{adj}$ offre prestazioni eccellenti, superando la regressione di Huber e avvicinandosi all'OLS quando gli errori sono normali, e superando l'OLS quando gli errori hanno code pesanti.
  • Alta Dimensionalità ($p/n \ge 0.5$): In scenari ad alta dimensionalità (es. $p=120, n=210$), la stima libera di $\nu$ diventa più difficile. Il modello tende a "assorbire" gli outlier nei coefficienti stimati, portando a una sovrastima di $\nu$ (comportamento simile alla normalità). In questi casi, fissare $\nu$ a un valore alto può essere più efficiente, ma $\hat{\nu}_{adj}$ rimane generalmente più robusto degli altri metodi stimati, sebbene con un RMSE leggermente superiore rispetto alla scelta ottimale di $\nu$ fissato.
  • Robustezza agli Outlier: In presenza di contaminazione (es. errori $N(0,9)$ o $\chi^2$), i metodi che stimano $\nu$ (specialmente $\hat{\nu}_{adj}$) mantengono prestazioni superiori rispetto all'OLS e spesso superano la regressione di Huber, a meno che il tasso di contaminazione non sia estremamente alto (30%) in contesti ad alta dimensionalità.

5. Significato e Conclusioni

Il documento conclude che la calibrazione corretta dei gradi di libertà $\nu$ è tanto cruciale quanto la scelta della distribuzione robusta stessa.

• Raccomandazione Pratica: Si consiglia di stimare $\nu$ utilizzando l'approccio della verosimiglianza profilata aggiustata ($\hat{\nu}_{adj}$) quando il rapporto $p/n$ non è eccessivamente grande. Questo metodo offre il miglior compromesso tra robustezza (contro code pesanti e outlier) ed efficienza (quando i dati sono vicini alla normalità).
• Limitazione: Quando $p/n$ è molto grande, l'alta dimensionalità può portare a una sovrastima di $\nu$ a causa della magnitudine dei residui. In tali casi, il documento suggerisce cautela e considera che fissare $\nu$ a un valore grande potrebbe essere più efficiente, lasciando la caratterizzazione precisa di questa soglia per lavori futuri.

In sintesi, l'articolo fornisce una guida pratica e teoricamente fondata per l'uso della regressione con distribuzione $t$ di Student, dimostrando che la stima adattiva dei gradi di libertà, se condotta correttamente, è superiore all'uso di valori fissi arbitrari o a metodi di perdita robusta tradizionali come quello di Huber in una vasta gamma di scenari reali.