Towards regularized learning from functional data with covariate shift

Sintesi Tecnica: Verso l'Apprendimento Regolarizzato da Dati Funzionali con Covariate Shift

Enunciato del Probleo
Questo articolo affronta la sfida della regressione vettoriale sotto l'ipotesi di covariate shift, specificamente nel contesto dei dati funzionali dove sia le variabili di input che quelle di output sono funzioni. Nella regressione statistica standard, si assume che i dati di addestramento e di test siano estratti dalla stessa distribuzione. Tuttavia, in molti scenari pratici — come il monitoraggio della salute strutturale o l'imaging medico — le distribuzioni di input del dominio sorgente (addestramento) e del dominio target (test) differiscono, mentre la distribuzione condizionale dell'output dato l'input rimane invariante.

Gli autori si concentrano sul caso in cui la distribuzione sorgente è $p(x, y) = p(y|x)p_X(x)$ e la distribuzione target è $q(x, y) = p(y|x)q_X(x)$. L'obiettivo è apprendere una funzione di regressione $f^*: X \to Y$ che minimizzi il rischio atteso sulla distribuzione marginale target $q_X$, nonostante si abbia accesso solo a campioni etichettati della sorgente $\{(x_i, y_i)\}$ e input target non etichettati $\{x'_j\}$. Questo problema è particolarmente complesso quando lo spazio di output $Y$ è uno spazio di Hilbert a dimensione infinita (dati funzionali), uno scenario meno esplorato nella letteratura esistente rispetto ai casi a dimensione finita.

Metodologia
Il framework proposto utilizza gli Spazi di Hilbert Ric reproducing vettoriali (vRKHS) per gestire gli output funzionali. La metodologia procede attraverso diverse fasi chiave:

1. Formulazione dell'Apprendimento di Operatori:
   Gli autori sfruttano l'isomorfismo tra il vRKHS $\mathcal{G}$ e lo spazio degli operatori di Hilbert-Schmidt $\mathcal{S}_2(\mathcal{H}, Y)$, dove $\mathcal{H}$ è lo scalare RKHS indotto da un kernel scalare moltiplicativo $K(x, t) = k(x, t)I_Y$. Ciò consente di riconsiderare il problema della regressione come la ricerca di un operatore ottimale $C \in \mathcal{S}_2(\mathcal{H}, Y)$ tale che $f(\cdot) = C\phi(\cdot)$.

2. Minimi Quadrati Regolarizzati con Pesatura per Importanza (IWRLS):
   Per tenere conto del covariate shift, il rischio empirico viene ricalibrato tramite una funzione $\beta(x)$ tale che $dq_X(x) = \beta(x)dp_X(x)$. Il funzionale del rischio empirico è espresso in termini dei dati sorgente e dei pesi di importanza. Gli autori derivano una soluzione regolarizzata utilizzando una famiglia generale di funzioni di filtro spettrale $g_\lambda$, portando a un estimatore $\hat{C}_{\lambda}^\beta$ definito tramite l'operatore di covarianza empirica $\hat{C}_X^\beta$.

3. Analisi Teorica:
   L'articolo stabilisce i tassi di convergenza ottimali per l'estimatore proposto sia nella norma $L^2(q_X, Y)$ che nella norma vRKHS. L'analisi si basa su:

• Condizioni di Sorgente Generali: Si assume che l'operatore target $C^*$ soddisfi $C^* = C_0 \phi(C_X)$, dove $\phi$ è una funzione indice generale che caratterizza la regolarità della soluzione.
• Decadimento Spettrale: Vengono formulate assunzioni riguardanti il decadimento polinomiale degli autovalori dell'operatore di covarianza $C_X$.
• Disuguaglianze di Concentrazione: I limiti teorici sono derivati utilizzando disuguaglianze di concentrazione per variabili casuali con valori in spazi di Hilbert per controllare la deviazione tra gli operatori empirici e quelli di popolazione.

4. Strategia di Aggregazione:
   Riconoscendo la difficoltà di selezionare i parametri di regolarizzazione ottimali ($\lambda$) e i kernel ($k$) nella pratica, gli autori propongono un approccio basato sull'aggregazione. Questo metodo costruisce una combinazione lineare di stimatori generati da diversi parametri di regolarizzazione e/o diversi kernel. I pesi per questa combinazione lineare sono determinati risolvendo un sistema di equazioni lineari che coinvolge le stime empiriche della matrice di Gram e del vettore di covarianza incrociata, approssimate utilizzando i dati sorgente e i pesi di importanza.

Contributi Chiave

• Algoritmo di Apprendimento di Operatori: L'articolo propone il primo algoritmo sistematico di apprendimento di operatori per la regressione vettoriale sotto covariate shift all'interno del framework vRKHS, specificamente adattato per i dati funzionali.
• Tassi di Convergenza Ottimali: Gli autori stabiliscono tassi di convergenza ottimali per schemi di regolarizzazione generali sotto condizioni di sorgente generali. Tali tassi sono dimostrati essere minimax ottimali, coincidendo con i risultati noti per i casi scalari quando specializzati al caso funzionale.
• Framework di Aggregazione: Viene introdotta una nuova strategia di aggregazione per mitigare la sensibilità dell'apprendimento basato su kernel alla scelta dei parametri di tuning e dei kernel. Le garanzie teoriche dimostrano che l'estimatore aggregato performa a un livello comparabile al miglior estimatore individuale dell'insieme.
• Estensione ai Dati Funzionali: Il lavoro colma il divario tra la letteratura esistente sul covariate shift (prevalentemente a dimensione finita) e l'analisi dei dati funzionali, fornendo una base teorica per l'apprendimento in spazi di output a dimensione infinita sotto shift distribuzionali.

Risultati Sperimentali
Gli autori validano il loro metodo utilizzando un dataset reale di immagini di volti (The 10k US Adult Faces Database). Il compito consiste nel ricostruire immagini facciali non distorte dalle loro rappresentazioni sinogramma (trasformate di Radon), dove il dominio target comporta sinogrammi sfocati (covariate shift).

• Configurazione: Sono stati testati due casi sperimentali: (1) sfocatura applicata ai sinogrammi, e (2) sfocatura applicata alle immagini facciali prima della generazione del sinogramma.
• Performance: Il metodo proposto è stato valutato utilizzando l'Errore Quadratico Medio (MSE), l'Errore Relativo e il Rapporto Segnale-Rumore di Picco (PSNR).
• Risultati:
  • L'approccio di apprendimento regolarizzato ha recuperato con successo informazioni facciali sostanziali nonostante la severa degradazione dell'input, superando o eguagliando i baseline standard della trasformata inversa di Radon (iradon).
  • Il metodo di aggregazione ha prodotto risultati molto vicini al miglior parametro di regolarizzazione individuale trovato tramite una "scansione lambda" (lambda sweep), dimostrando la sua efficacia nell'evitare la necessità di un esauriente tuning dei parametri.
  • In esperimenti di apprendimento multi-kernel (combinando i kernel Gaussian, Cauchy, Exponential e IMQ), il predittore aggregato ha ottenuto prestazioni comparabili al miglior kernel individuale, confermando la robustezza della strategia di aggregazione contro il rischio di selezionare uno spazio ipotetico inadeguato.

Significatività e Rivendicazioni
L'articolo sostiene di fornire il primo trattamento sistematico della regressione vettoriale sotto covariate shift, collegando efficacemente lo sviluppo teorico con l'applicazione pratica in contesti ad alta dimensionalità. Stabilendo tassi di convergenza ottimali sotto condizioni di sorgente generali, il lavoro offre una solida base teorica per l'apprendimento regolarizzato in questo dominio. Inoltre, il proposto approccio di aggregazione affronta un collo di bottiglia critico nella pratica — la selezione dei parametri di tuning e dei kernel — rendendo il metodo più applicabile a scenari reali dove la conoscenza ottimale degli iperparametri è assente. Gli autori posizionano il loro lavoro come un passo significativo verso l'applicazione del machine learning ai problemi di dati funzionali in cui le distribuzioni di input cambiano a causa di fattori ambientali o operativi.