Sintesi Tecnica: Sulla fragilità della stima di massima verosimiglianza per l'ottimizzazione degli iperparametri dei processi gaussiani

Definizione del problema

L'apprendimento automatico (ML) è diventato parte integrante dei flussi di lavoro della progettazione ingegneristica, fungendo spesso da modelli surrogati per simulazioni o esperimenti costosi. Un passaggio critico nell'addestramento di questi modelli è la selezione di una funzione di perdita, con la Stima di Massima Verosimiglianza (Maximum Likelihood Estimation, MLE) che rappresenta l'approccio più ampiamente adottato grazie alle sue fondamenta statistiche e alla sua trattabilità computazionale. Tuttavia, la MLE è intrinsecamente fragile: le sue garanzie teoriche si basano su assunzioni quali la corretta specificazione del modello, l'indipendenza delle osservazioni e dataset sufficientemente grandi — condizioni che vengono frequentemente violate nei problemi pratici di progettazione ingegneristica.

Quando queste assunzioni falliscono, i modelli ottimizzati tramite MLE possono adattarsi bene ai dati di addestramento ma generalizzare scarsamente, un disallineamento particolarmente dannoso nei flussi di lavoro che richiedono la quantificazione dell'incertezza (UQ), come l'Ottimizzazione Bayesiana (BO). Questa fragilità colpisce anche i Processi Gaussiani (GP), che vengono spesso erroneamente presunti robusti contro l'overfitting. Inoltre, l'emergere di modelli di fondazione (Foundation Models, FM) come TabPFN, che utilizzano meccanismi di inferenza pre-addestrati per bypassare l'addestramento per singolo problema, solleva interrogativi sull'efficacia comparativa dei GP tradizionali addestrati con MLE rispetto ai moderni FM.

Metodologia

Gli autori valutano sistematicamente la fragilità della MLE nell'addestramento di GP per compiti di regressione e classificazione, confrontandoli con TabPFN (versioni 2.0 e 2.5). Lo studio comprende 3.170 simulazioni indipendenti attraverso diversi livelli di rumore, dimensioni dei dataset ($N = 5D_x$ e $N = 20D_x$) e dimensionalità degli input ($D_x \in \{4, 10, 20, 40, 80\}$).

Mitigazioni proposte per la MLE

Invece di abbandonare la MLE, il documento propone strategie pratiche per mitigarne la fragilità:

1. Riparametrizzazione: Trasformare gli iperparametri in scala logaritmica (ad esempio, rappresentando le lunghezze di scala come $10^\omega$) per garantire gradienti elevati e rimuovere i vincoli, facilitando una migliore convergenza.
2. Soft Clamping: Introdurre una funzione di "soft clamp" per limitare gli iperparametri durante l'ottimizzazione, prevenendo l'instabilità numerica senza causare comportamenti non smussati ai bordi.
3. Multi-Inizializzazione: Impiegare disegni di riempimento dello spazio (space-filling designs) per molteplici inizializzazioni casuali (predefinito a 16) per ridurre il rischio di convergere verso ottimi locali scadenti.
4. Funzioni di Perdita Alternative: Lo studio valuta alternative come la log-pseudo-verosimiglianza Leave-One-Out (LOO), i Kernel Flows e le regole di punteggio corrette (NIS, CRPS), sebbene rilevi che la LOO può essere sensibile e i Kernel Flows mancano di capacità native di UQ.

Setup Sperimentale

• Regressione: Nove problemi benchmark (es. Ackley, Rosenbrock, Buckling) sono stati testati utilizzando RRMSE per l'accuratezza e il Normalized Interval Score (NIS) per la UQ.
• Ottimizzazione Bayesiana: I trial di BO sono stati condotti sugli stessi benchmark, confrontando la BO basata su GP (ri-addestramento tramite MLE ad ogni step) contro la BO basata su TabPFN (apprendimento in-context).
• Classificazione: Quattro dataset (Electrical Grid, Truss 6D, Stellar, Steel Plates) sono stati utilizzati per valutare accuratezza ed Error of Calibration (ECE), utilizzando una costruzione di target Dirichlet per inquadrare la classificazione come un problema di regressione per i GP.
• Baseline: I confronti hanno incluso GPyTorch (MLE standard), GP+ (l'implementazione degli autori con le mitigazioni proposte) e le versioni di TabPFN.

Risultati Chiave

Prestazioni di Regressione

• MLE vs. Alternative: I GP addestrati con le mitigazioni MLE proposte (GP+) hanno generalmente ottenuto prestazioni pari o superiori a TabPFN 2.5 in termini di accuratezza di predizione (RRMSE) e UQ (NIS).
• Sensibilità a Kernel e Perdita: Sebbene GP+ (PE) (kernel Power Exponential) e GP+ (LOO) abbiano mostrato prestazioni superiori in specifici regimi ad alta dimensionalità o bassi dati, tali risultati sono stati inconsistenti. GP+ (LOO) ha spesso sofferto di una scarsa UQ nei regimi a bassi dati a causa dell'overconfidence (intervalli di predizione troppo stretti).
• Regime di Dati: Negli scenari con pochi dati e alto rumore, lo standard GPyTorch ha spesso fallito (apprendendo valori costanti), mentre GP+ con le mitigazioni è rimasto robusto. Nei regimi con molti dati, le varianti GP+ hanno superato costantemente TabPFn nella maggior parte dei benchmark, eccetto per la funzione Zakharov dove TabPFN eccelleva grazie a una migliore gestione della scala di osservazione.
• Preprocessing: Il preprocessing del target in scala logaritmica ha migliorato significativamente le prestazioni del GP sul problema Buckling, mentre TabPFN è rimasta robusta alle scelte di tale scaling.

Ottimizzazione Bayesiana

• Efficienza vs. Accuratezza: La BO basata su GP ha generalmente raggiunto gli ottimi più velocemente della BO basata su TabPFN nella maggior parte dei benchmark (es. Buckling, Borehole).
• Compromesso Computazionale: TabPFN elimina i costi di ri-addestramento per iterazione ma incorre in alti costi di inferenza quando si valutano le funzioni di acquisizione su ampi pool di candidati (poiché l'ottimizzazione basata su gradiente è impraticabile). Al contrario, i GP richiedono il ri-addestramento ma supportano funzioni di acquisizione analitiche e predizioni veloci. Nei regimi di piccoli dati dove il ri-addestramento del GP è economico, i GP si sono dimostrati computazionalmente competitivi o superiori.

Prestazioni di Classificazione

• Selezione del Kernel: La relazione tra la perdita di addestramento e la prestazione di test non è stata stretta. Ad esempio, il kernel Matérn ($\nu=0.5$) aveva la perdita di addestramento più alta ma ha ottenuto l'ECE più basso e l'accuratezza più alta sul dataset Steel Plates Faults.
• TabPFN vs. GP+: TabPFN 2.5 ha mantenuto un leggero vantaggio in accuratezza e calibrazione nella maggior parte dei compiti di classificazione, particolarmente quelli che coinvolgono variabili categoriche e setting multi-classe. Tuttavia, questo vantaggio è diminuito all'aumentare della dimensione del set di addestramento ($N$), con le varianti GP+ che hanno superato TabPFN in accuratezza sul dataset Electrical Grid Stability per $N \ge 200$.

Significato e Contributi

Il documento sostiene che, sebbene la MLE sia il paradigma dominante per l'addestramento dei GP, la sua efficacia dipende fortemente da dettagli di implementazione spesso trascurati nella pratica. I principali contributi sono:

1. Dimostrazione della Fragilità: Lo studio fornisce un'ampia evidenza empirica del fatto che i GP addestrati con MLE possono fallire sistematicamente in contesti ingegneristici a causa di paesaggi di ottimizzazione non convessi e misspecificazione del modello, particolarmente in contesti con pochi dati e alta dimensionalità.
2. Rimedi Pratici: Gli autori dimostrano che interventi semplici e pratici (riparametrizzazione in scala logaritmica, soft clamping, multi-inizializzazione) possono mitigare sostanzialmente i fallimenti della MLE senza abbandonare il framework.
3. Analisi Comparativa con i Modelli di Fondazione: Il lavoro offre un confronto rigoroso tra i metodi probabilistici classici (GP) e gli emergenti modelli di fondazione (TabPFN). Conclude che i GP addestrati con una MLE attentamente implementata rimangono altamente competitivi, spesso superando TabPFN in accuratezza di predizione, qualità della UQ e costo di inferenza, particolarmente negli intervalli di dimensionalità esplorati ($D_x < 100$).
4. Blueprint per i Professionisti: Il documento fornisce una guida per costruire GP accurati e robusti che possano competere o eccedere i modelli di fondazione, sottolineando che investire in una corretta implementazione della MLE è spesso più efficace rispetto al cambio di funzioni di perdita o di modelli interi.

Gli autori osservano che le loro scoperte si basano su benchmark analitici con rumore Gaussiano e suggeriscono che il lavoro futuro dovrebbe estendersi a rumore non Gaussiano, dataset reali e compiti a valle come la modellazione multi-fedeltà. Evidenziano inoltre il potenziale valore del meta-learning di iper-prior per i GP, ispirato al paradigma di addestramento di TabPFN, per ridurre ulteriormente la sensibilità all'inizializzazione.