Functional Liu Regression for Scalar-on-Functional Models in High-Dimensional Settings

Riepilogo Tecnico: Regressione di Liu Funzionale per Modelli Scalar-su-Funzionale in Contesti ad Alta Dimensionalità

Enunciato del Problema
La regressione scalar-su-funzionale, componente fondamentale dell'Analisi dei Dati Funzionali (FDA), modella una risposta scalare dipendente da uno o più predittori funzionali definiti su un continuo (ad esempio, tempo o spazio). Sebbene flessibile, questo approccio affronta sfide significative quando i predittori sono discretizzati o espansi in funzioni di base. La struttura liscia dei dati funzionali induce una forte multicollinearità tra i regressori risultanti, portando a matrici di progetto mal condizionate o singolari. In contesti ad alta dimensionalità, dove il numero di coefficienti di base ($m$) si avvicina o supera la dimensione del campione ($n$), le stime dei Minimi Quadrati Ordinari (OLS) diventano instabili con varianza inflazionata. Sebbene la regressione ridge e le penalità di regolarità (ad esempio, la regolarizzazione di Tikhonov) offrano stabilizzazione, applicano una contrazione uniforme o vincoli di regolarità specifici che potrebbero non bilanciare in modo ottimale bias e varianza in tutte le direzioni. Inoltre, è stato osservato che i criteri di sintonizzazione standard come la Validazione Incrociata Generalizzata (GCV) e la Validazione Incrociata Leave-One-Out (LOO-CV) falliscono in regimi sottodeterminati, tuttavia le ragioni teoriche di tale fallimento nei contesti di tipo Liu rimangono poco esplorate.

Metodologia
Il documento propone un stimatore di contrazione di tipo Liu funzionale (fLiu) progettato per affrontare la multicollinearità e l'instabilità nella regressione scalar-su-funzionale. La metodologia procede come segue:

1. Formulazione del Modello: Il modello scalar-su-funzionale è approssimato tramite un'espansione in base troncata (ad esempio, B-spline o base di Fourier), trasformando il problema infinito-dimensionale in un modello lineare finito-dimensionale $y = Zb + \epsilon$, dove $Z$ è la matrice di progetto e $b$ rappresenta i coefficienti di base.
2. Struttura Ibrida della Penalità: Per gestire sia la singolarità che la regolarità, gli autori definiscono una matrice di penalità ibrida $Q_{\lambda, \alpha} = \lambda(\alpha I + (1-\alpha)R)$, dove $R$ è una matrice di penalità di regolarità (che penalizza la curvatura) e $I$ è la matrice identità. Il parametro $\lambda$ controlla l'entità complessiva della regolarizzazione, mentre $\alpha$ bilancia la contrazione ridge isotropa contro la regolarità dipendente dalla base.
3. Lo Stimatore fLiu: Lo stimatore proposto minimizza un criterio di penalizzazione centrato:
   $$J_{\lambda, d, \alpha}(b) = \|y - Zb\|^2 + (b - d\hat{b}_{LS})^\top Q (b - d\hat{b}_{LS})$$
   Ciò fornisce la soluzione in forma chiusa:
   $$\hat{b}_{fLiu} = (S + Q)^{-1}(Z^\top y + dQ\hat{b}_{LS})$$
   dove $S = Z^\top Z$, $\hat{b}_{LS}$ è lo stimatore OLS e $d$ è il parametro di distorsione di tipo Liu.
   • Ruolo dei Parametri: $\lambda$ e $\alpha$ governano la geometria e l'entità della penalità (stabilità e regolarità), mentre $d$ controlla il compromesso bias-varianza rispetto all'OLS. Quando $d=1$, lo stimatore si riduce all'OLS; quando $d=0$, si riduce allo stimatore ridge generalizzato.
4. Selezione dei Parametri:
   • Caso Sovradeterminato ($n \ge m$): Gli autori impiegano un'ottimizzazione continua (utilizzando SLSQP e differenziazione automatica) per minimizzare i criteri GCV o PRESS/LOO-CV sui tre parametri $(\lambda, d, \alpha)$.
   • Caso Sottodeterminato ($n < m$): Il documento deriva un risultato teorico che dimostra come GCV e PRESS diventino costanti rispetto a $d$ in questo regime, rendendoli non informativi per la sintonizzazione di $d$. Per affrontare ciò, viene proposta una regola di sintonizzazione plug-in, che deriva un $d$ ottimale esplicito minimizzando la decomposizione dell'Errore Quadratico Medio (MSE) utilizzando stime empiriche di bias e varianza.

Contributi Chiave

• Estensione Teorica: Lo studio estende lo stimatore di Liu classico (Liu 1993) al contesto funzionale, integrando la contrazione direzionale con la regolarizzazione della regolarità.
• Analisi del Rischio: Viene derivata una decomposizione esplicita dell'MSE, dimostrando che il rischio dello stimatore fLiu è una funzione quadratica convessa del parametro $d$. Ciò stabilisce l'esistenza di un $d$ ottimale unico che domina l'OLS in termini di MSE sotto specifiche condizioni.
• Insight ad Alta Dimensionalità: Il documento fornisce una spiegazione teorica del fallimento di GCV e LOO-CV in contesti funzionali sottodeterminati. Dimostra che per matrici di progetto a rango di riga pieno, questi criteri sono indipendenti dal parametro Liu $d$, spiegando perché la letteratura esistente di tipo Liu si è concentrata prevalentemente su regimi sovradeterminati.
• Implementazione Pratica: Gli autori hanno sviluppato il pacchetto Python fLiu.py (e hanno utilizzato il pacchetto R fda) per implementare lo stimatore, sfruttando la differenziazione automatica per risolvere efficientemente il problema di ottimizzazione non convesso per la selezione dei parametri.

Risultati Empirici
La metodologia è stata valutata utilizzando il dataset meteorologico canadese (35 stazioni, previsione delle precipitazioni annuali dalle curve di temperatura).

• Contesto Sovradeterminato ($K=11$ funzioni di base): Lo stimatore fLiu ha raggiunto il valore di Validazione Incrociata Generalizzata (GCV) più basso e la più bassa perdita di previsione sul set di test (0.0203) rispetto a OLS, Ridge, Liu classico e Ridge Generalizzato. Ha dimostrato un favorevole compromesso bias-varianza, producendo stime dei coefficienti stabili che hanno catturato i modelli stagionali senza overfitting.
• Contesto Sottodeterminato ($K=35$ funzioni di base): In questo regime ad alta dimensionalità, la curva GCV è stata osservata essere piatta rispetto a $d$, confermando la degenerazione teorica. La regola di sintonizzazione plug-in ha fornito con successo una scelta guidata dai dati per $d$, superando le scelte arbitrarie (come $d=0$) e dimostrando la necessità di strategie di sintonizzazione alternative quando $n < m$.

Significato e Affermazioni
Il documento afferma che lo stimatore fLiu offre un'alternativa razionale, flessibile e stabile ai metodi esistenti di regressione funzionale penalizzata. Disaccoppiando l'imposizione di regolarità/stabilità ($\lambda, \alpha$) dall'aggiustamento bias-varianza ($d$), il metodo fornisce un controllo aggiuntivo sul processo di stima.

Gli autori affermano con modestia che lo studio:

1. Chiarisce il comportamento teorico degli stimatori di tipo Liu in contesti funzionali, specificamente riguardo alla decomposizione del rischio e alla selezione dei parametri.
2. Identifica e spiega i limiti dei criteri di validazione incrociata standard nella regressione funzionale ad alta dimensionalità, motivando l'uso di regole plug-in in tali scenari.
3. Dimostra attraverso l'analisi empirica che il metodo proposto produce accuratezza predittiva competitiva e funzioni di coefficiente interpretabili, specialmente in presenza di forte multicollinearità.

Il documento conclude che, sebbene lo stimatore fLiu sia un contributo significativo alla classe dei metodi di regressione funzionale penalizzata, il lavoro futuro potrebbe esplorare estensioni alla regressione funzione-su-funzione, l'analisi teorica delle proprietà dello stimatore plug-in e l'integrazione della sparsità per predittori multipli correlati.