Riepilogo Tecnico: Apprendimento Attivo per la Regressione con Processi Gaussiani su Varietà

Enunciato del Problema

La Regressione con Processi Gaussiani (GPR) standard è un potente framework non parametrico per la regressione e la quantificazione dell'incertezza. Tuttavia, essa affronta la "maledizione della dimensionalità" all'aumentare delle dimensioni degli input. Negli spazi ad alta dimensionalità, i dati diventano sparsi, la scalabilità computazionale si deteriora e la capacità delle funzioni di covarianza standard (ad esempio, esponenziale quadrata) di catturare le strutture sottostanti dei dati diminuisce. Ciò è particolarmente problematico per la modellazione di funzioni complesse, discontinue o di dati con strutture geometriche intrinseche a bassa dimensionalità.

Sebbene i Processi Gaussiani su Varietà (mGP) siano emersi come soluzione proiettando dati ad alta dimensionalità su uno spazio latente a dimensionalità inferiore per preservare la geometria intrinseca, le prestazioni di questi modelli dipendono fortemente dalla qualità e dalla rappresentatività dei dati di addestramento. In molte applicazioni scientifiche e ingegneristiche, l'acquisizione di dati etichettati è costosa o richiede molto tempo. Le strategie esistenti di apprendimento attivo per la GPR spesso non sono adattate alle sfide specifiche degli mGP, dove la geometria dello spazio latente e gli input ad alta dimensionalità interagiscono dinamicamente. È necessario un framework che selezioni in modo efficiente i punti dati per affinare i modelli mGP minimizzando al contempo l'errore di previsione globale.

Metodologia

Il documento propone un framework unificato, denominato Apprendimento Attivo per Processi Gaussiani su Varietà (ALmGP), che integra l'apprendimento su varietà con la progettazione sperimentale sequenziale. La metodologia consta di tre componenti fondamentali:

1. Modello di Processo Gaussiano su Varietà (mGP)

Il framework mGP scompone il compito di regressione $F = G \circ M$, dove:

• $M$ (Mappatura): Una mappatura deterministica dallo spazio degli input $\mathcal{X}$ a uno spazio delle caratteristiche latente $\mathcal{H} \subset \mathbb{R}^Q$. Questa è implementata utilizzando una rete neurale multistrato con parametri $\theta_M$.
• $G$ (Regressore): Un modello GPR standard che opera all'interno dello spazio latente $\mathcal{H}$ con parametri $\theta_G$.

Il modello ottimizza congiuntamente $\theta_{mGP} = [\theta_M, \theta_G]$ minimizzando la Negativa Log-Likelihood Marginale (NLML). Questo approccio supervisionato permette al modello di apprendere rappresentazioni delle caratteristiche consapevoli del compito, in grado di gestire discontinuità e pattern multi-scala più efficacemente rispetto alle trasformazioni non supervisionate (come la PCA) o ai kernel standard.

2. Criterio di Apprendimento Attivo (ALC)

Per selezionare i punti dati più informativi, il framework impiega il criterio Active Learning Cohn (ALC), che mira a minimizzare l'Errore Quadratico Medio Integrato (IMSE) sullo spazio degli input.

• Obiettivo: Selezionare un nuovo punto $x_{n+1}$ che massimizzi la riduzione attesa della varianza a posteriori.
• Funzione di Acquisizione: Il punteggio ALC è proporzionale all'integrale della riduzione della varianza predittiva.
• Approssimazione: Per garantire la fattibilità computazionale, l'integrale è approssimato utilizzando un insieme di riferimento fisso $X_{ref}$ campionato tramite Disegno Ipercubico Latino (LHD).
• Strategia di Selezione: L'algoritmo utilizza un processo di screening in due fasi:
  1. Pre-screening: Identificare i primi $K$ candidati con la varianza predittiva più alta dal pool di candidati.
  2. Ottimizzazione: Calcolare il punteggio ALC solo per questi $K$ punti e selezionare i primi $B$ punti (dimensione del batch) da aggiungere all'insieme di addestramento.

3. Ottimizzazione e Addestramento

Il framework utilizza l'algoritmo L-BFGS per l'ottimizzazione degli iperparametri. Per garantire stabilità e positività, gli iperparametri (come le scale di lunghezza e la varianza di output) vengono elevati al quadrato prima dell'ottimizzazione. Il processo itera: adattamento dell'mGP, selezione di nuovi punti tramite ALC e ri-addestramento fino al raggiungimento di una soglia di convergenza o di un budget massimo.

Contributi Chiave

Il documento delinea tre contributi principali:

1. Framework Unificato: L'integrazione dell'apprendimento su varietà con l'apprendimento attivo basato su IMSE specificamente per gli mGP, colmando il divario tra acquisizione efficiente dei dati e riduzione della dimensionalità.
2. Efficienza Strategica: Efficienza potenziata attraverso la selezione strategica dei punti nello spazio latente, sfruttando la capacità dell'mGP di catturare strutture geometriche complesse.
3. Scalabilità: Un approccio scalabile per dati ad alta dimensionalità operando su varietà intrinseche a bassa dimensionalità, affrontando i limiti delle GP standard in alta dimensionalità.

Risultati Sperimentali

Gli autori hanno validato il framework ALmGP utilizzando quattro esperimenti di riferimento, confrontandolo con l'apprendimento sequenziale casuale (Random LHS). Ogni esperimento è stato ripetuto 10 volte per garantire la robustezza statistica.

• Funzione Trigonometrica a Pezzi (1D): Una funzione con discontinuità. Il metodo ALmGP ha raggiunto un RMSE medio di 0,156 con 15 nuovi campioni, superando significativamente il campionamento casuale. Lo spazio latente appreso a 2D ha srotolato con successo la struttura discontinua.
• Funzione Deterministica Bidimensionale: Una funzione ruotata con componenti gaussiane. Il metodo ha raggiunto un RMSE medio di 0,0152 dopo 50 iterazioni (100 campioni totali), dimostrando una convergenza superiore rispetto alla linea di base.
• Funzione Tridimensionale sulla Sfera Unitaria: Una funzione definita su una varietà sferica. Il framework ha raggiunto un basso RMSE medio di $6 \times 10^{-3}$ con 100 campioni, modellando efficacemente la geometria sferica.
• Funzione del Pozzo di Trivellazione (8D): Un benchmark standard di regressione non lineare con otto parametri fisici. Il metodo ALmGP ha raggiunto un RMSE medio di 0,6 con 150 campioni, mostrando robustezza nelle simulazioni fisiche a dimensionalità più elevata.

In tutti i casi, il metodo ALmGP (linee verdi continue nelle figure) ha dimostrato costantemente un Errore Quadratico Medio (RMSE) inferiore e una convergenza più rapida rispetto all'acquisizione casuale (linee rosse tratteggiate).

Significato e Affermazioni

Il documento afferma che il framework proposto offre una soluzione pratica per applicazioni scientifiche e ingegneristiche in cui l'acquisizione dei dati è costosa e le funzioni sono complesse o discontinue. Ottimizzando congiuntamente la riduzione della dimensionalità e il regressore sotto un criterio di apprendimento attivo, il metodo:

• Migliora l'Accuratezza: Raggiunge prestazioni predittive superiori rispetto al campionamento passivo e ai metodi di apprendimento attivo standard negli spazi ad alta dimensionalità.
• Gestisce la Complessità: Gestisce efficacemente funzioni discontinue e strutture geometriche complesse con cui le GP standard faticano.
• Mantiene la Fattibilità: Nonostante la complessità dell'ottimizzazione congiunta, il metodo rimane computazionalmente fattibile grazie a strategie di screening efficienti e ottimizzazione degli iperparametri.

Gli autori notano che, sebbene l'attuale framework assuma una mappatura deterministica della varietà, i lavori futuri si concentreranno sulla scalabilità, sull'apprendimento su varietà consapevole dell'incertezza (ad esempio, tramite reti neurali bayesiane) e sul miglioramento dell'interpretabilità delle varietà apprese attraverso vincoli specifici del dominio.