Hybrid Partial Least Squares Regression with Multiple Functional and Scalar Predictors

Sintesi Tecnica: Regressione Ibrida Partial Least Squares con Molteplici Predittori Funzionali e Scalari

1. Definizione del Problema

Il documento affronta la sfida della riduzione della dimensionalità supervisionata e della regressione in contesti in cui la variabile risposta è influenzata da un mix di covariate scalari e molteplici predittori funzionali (curve). Questo scenario ibrido, formalizzato come Modello Lineare Parzialmente Funzionale (PFLM), presenta due difficoltà primarie:

1. Parsimonia: La necessità di rappresentazioni interpretabili e a bassa dimensionalità, in particolare quando sono richieste regole decisionali cliniche.
2. Multicollinearità: La presenza di dipendenze complesse a quattro livelli: (i) correlazioni intra-funzionali, (ii) correlazioni tra funzioni, (iii) correlazioni tra predittori scalari e (iv) correlazioni intermodali tra predittori funzionali e scalari.

I metodi esistenti spesso non riescono ad affrontare questi problemi simultaneamente. I metodi euclidei ad alta dimensionalità (es. Lasso, SCAD) assumono strutture di dati omogenee. I metodi di regressione funzionale si concentrano tipicamente su singoli predittori funzionali o utilizzano procedure in due fasi (ad esempio, convertendo i dati funzionali in rappresentazioni a dimensione finita tramite PCA non supervisionata, seguita da regressione) che ignorano le correlazioni incrociate tra modalità e trattano le rappresentazioni funzionali come indipendenti dalla risposta.

2. Metodologia: Hybrid PLS

Gli autori propongono la Hybrid Partial Least Squares (Hybrid PLS), un framework che unifica i predittori funzionali e scalari in una singola struttura matematica per eseguire una riduzione della dimensionalità supervisionata.

A. Spazio di Hilbert Ibrido Unificato
Il metodo costruisce uno spazio prodotto $\mathcal{H} := (L^2[0, 1])^K \times \mathbb{R}^p$ per trattare congiuntamente i predittori funzionali e scalari. Un elemento $h \in \mathcal{H}$ è una tupla ordinata $(f_1, \dots, f_K, u)$. Il prodotto interno è definito come:
$$\langle h_1, h_2 \rangle_{\mathcal{H}} := \sum_{k=1}^K \int_0^1 f_{1k}(t)f_{2k}(t) dt + \omega u_1^\top u_2$$
dove $\omega$ è un parametro di peso che bilancia le scale delle componenti funzionali e scalari. Ciò consente l'estensione dell'algoritmo Nonlinear Iterative Partial Least Squares (NIPALS) al contesto ibrido.

B. Algoritmo a Livello di Popolazione
A livello di popolazione, il metodo cerca direzioni PLS $\xi$ che massimizzino la covarianza al quadrato tra il predittore $W$ e la risposta $Y$, soggetti a vincoli di ortogonalità. Gli autori stabiliscono che il problema di ottimizzazione è equivalente alla ricerca degli autofunzioni di un operatore composito $U = \Sigma_{YW} \otimes \Sigma_{YW}$, garantendo che il problema sia ben posto sotto deboli condizioni di momento. L'algoritmo garantisce l'ortogonalità dei punteggi latenti e dei residui non correlati.

C. Implementazione a Livello di Campione
Il metodo di campione proposto (Algoritmo 3) alterna due fasi:

1. Stima Regolarizzata delle Direzioni PLS: Per prevenire l'overfitting e garantire la fluidità (cruciale per i dati funzionali), la direzione PLS $\hat{\xi}$ viene stimata massimizzando la covarianza empirica soggetta a una penalità di rugosità sulle seconde derivate delle componenti funzionali. Ciò conduce a un problema di rapporto di Rayleigh generalizzato.
   • Intuizione Computazionale Chiave: Grazie alla struttura di rango uno della matrice di covarianza, gli autori derivano una soluzione in forma chiusa che richiede solo la risoluzione di sistemi lineari. Ciò evita l'instabilità computazionale spesso associata agli eigenproblemi generalizzati.
2. Residualizzazione: Sia i predittori che la risposta vengono residualizzati rispetto ai punteggi stimati, rispecchiando la procedura NIPALS standard ma all'interno dello spazio di Hilbert ibrido.

D. Stima Finale
Il coefficiente di regressione $\hat{\beta}$ viene ricostruito come una combinazione lineare delle direzioni PLS stimate, regolata per i passaggi di residualizzazione al fine di garantire la coerenza con il modello originale.

3. Contributi Chiave

• Estensione Teorica: Estende rigorosamente l'algoritmo NIPALS a un contesto ibrido che coinvolge molteplici predittori funzionali e scalari, definendo uno spazio di Hilbert unificato e provando l'esistenza di un sistema completo di autofunzioni ortonormali per l'operatore associato.
• Efficienza Algoritmica: Deriva una soluzione in forma chiusa computazionalmente efficiente per le fasi iterative regolarizzate, rendendo il metodo scalabile per dati funzionali densi o irregolari.
• Proprietà Geometriche: Stabilisce che il framework proposto preserva le proprietà geometriche fondamentali di PLS, specificamente l'ortogonalità delle direzioni PLS (sotto un prodotto interno sensibile alla rugosità) e l'ortogonalità dei punteggi latenti.
• Gestione della Correlazione Intermodale: A differenza degli approcci PFLM in due fasi, l'Hybrid PLS modella esplicitamente le dipendenze congiunte tra predittori funzionali e scalari, evitando la perdita di informazioni predittive contenute nelle correlazioni tra modalità.

4. Risultati

Studi Numerici:

• Validazione Geometrica: Le simulazioni hanno confermato che le proprietà di ortogonalità (tra direzioni, punteggi e residui) si mantengono robuste attraverso diverse intensità di regolarizzazione, con deviazioni dell'ordine di $10^{-11}$ a $10^{-16}$.
• Potere Predittivo vs. Parsimonia: In scenari sintetici con dominante varianza non predittiva (fattori di disturbo) e forti correlazioni intermodali, l'Hybrid PLS ha superato significativamente la Principal Component Regression (PCR). L'Hybrid PLS ha identificato il segnale predittivo nella prima componente, mentre la PCR è stata fuorviata da fattori di disturbo ad alta varianza, risultando in errori più elevati e rappresentazioni ridondanti.
• Stima dei Coefficienti: Le analisi di sensibilità hanno mostrato che le penalità di rugosità controllano efficacemente l'errore di stima sia per i coefficienti funzionali che per quelli scalari, con parametri di regolarizzazione selezionati tramite cross-validazione.

Applicazione su Dati Reali (Studio Renale dell'Università Emory):

• Il metodo è stato applicato a un dataset di 216 reni con due curve di renogramma funzionale (basale e post-furosemide) e 14 covariate farmacocinetiche scalari.
• Performance: L'Hybrid PLS ha ottenuto un errore quadratico medio (RMSE) di test inferiore e una maggiore stabilità rispetto alla Regressione Funzionale Penalizzata (PFR) e alla OLS scalare-solo.
• Efficienza: Ha eguagliato il potere predittivo della PCR ma con una parsimonia significativamente maggiore. Mentre la PCR richiedeva $3L$ componenti (estraendone $L$ da ciascuna delle tre fonti) per raggiungere un'accuratezza simile, l'Hybrid PLS ha ottenuto prestazioni comparabili con soli $L$ componenti.
• Interpretabilità: La prima componente latente estratta dall'Hybrid PLS si allineava con la conoscenza clinica dell'ostruzione renale (ad esempio, distinguendo tra modelli di accumulo vs. drenaggio), mentre la PCR mostrava forti correlazioni, potenzialmente ridondanti, tra i suoi punteggi di componente attraverso le modalità.

5. Significato e Rivendicazioni

Il documento afferma che l'Hybrid PLS fornisce un framework parsimonioso e robusto per la regressione in presenza di modalità di dati miste. Incorporando i predittori funzionali e scalari in uno spazio unificato, il metodo:

1. Mitiga la Multicollinearità: Gestisce efficacemente le complesse correlazioni intermodali che degradano le prestazioni degli approcci standard in due fasi.
2. Preserva la Struttura Predittiva: Estrae componenti latenti che massimizzano la covarianza con la risposta, assicurando che le rappresentazioni a bassa dimensionalità mantengano il potere predittivo anche quando la varianza primaria nei dati è non predittiva.
3. Garantisce la Fattibilità Computazionale: La soluzione in forma chiusa permette un calcolo efficiente senza sacrificare le garanzie teoriche di ortogonalità e fluidità.

Gli autori concludono che questo approccio unificato è particolarmente prezioso in contesti biomedici, come l'imaging renale, dove la combinazione di intere traiettorie funzionali con riassunti scalari produce modelli predittivi superiori rispetto ai metodi che trattano questi tipi di dati separatamente o sequenzialmente. Il lavoro futuro suggerito include la derivazione dei tassi di convergenza teorica e dei limiti di ottimalità minimax.