Surrogate modeling for Bayesian optimization beyond a single Gaussian process

Sintesi Tecnica: Modellazione Surrogata per l'Ottimizzazione Bayesiana Oltre un Singolo Processo Gaussiano

Enunciato del Problema
L'Ottimizzazione Bayesiana (BO) è un quadro metodologico rigoroso per l'ottimizzazione di funzioni a scatola nera "costose da valutare", come quelle riscontrate nel tuning degli iperparametri, nella scoperta di farmaci e nella robotica. La BO standard si basa su un modello surrogato statistico per selezionare in sequenza i punti di interrogazione, bilanciando esplorazione e sfruttamento. Tuttavia, gli approcci esistenti dipendono tipicamente da un singolo Processo Gaussiano (GP) con una funzione kernel pre-selezionata. Questa progettazione richiede una significativa competenza di dominio per scegliere il tipo di kernel e gli iperparametri appropriati. Inoltre, spesso mancano garanzie rigorose di convergenza per gli algoritmi di BO, e la parallelizzazione delle valutazioni per ridurre il tempo di convergenza richiede frequentemente iperparametri aggiuntivi o regole di selezione complesse per garantire la diversità delle interrogazioni. Il documento affronta la necessità di un metodo di BO che minimizzi gli sforzi di sintonizzazione, supporti il funzionamento parallelo e fornisca garanzie teoriche di convergenza.

Metodologia: EGP-TS
Il metodo proposto, EGP-TS (Ensemble Gaussian Process with Thompson Sampling), introduce un nuovo quadro concettuale che va oltre il singolo surrogato GP.

1. Ensemble di GP (EGP): Invece di un singolo kernel, il metodo sfrutta un ensemble di $M$ GP, dove ogni GP $m$ utilizza una funzione kernel $\kappa_m$ selezionata da un dizionario predefinito $\mathcal{K}$. Il prior sulla funzione obiettivo $f(x)$ è modellato come una miscela pesata di questi GP:
   $$f(x) \sim \sum_{m=1}^M w_m^0 \mathcal{GP}(0, \kappa_m(x, x'))$$
   I pesi $w_m^t$ vengono aggiornati in modo adattivo in tempo reale sulla base dei dati osservati $D_t$ utilizzando la regola di Bayes, selezionando efficacemente il modello surrogato più adatto alla fase corrente dell'ottimizzazione.

2. Acquisizione tramite Campionamento di Thompson (TS): Per selezionare il prossimo punto di interrogazione, il metodo impiega il Campionamento di Thompson. Invece di ottimizzare una funzione di acquisizione complessa, TS campiona una realizzazione della funzione $\tilde{f}_t(x)$ dalla distribuzione di miscela a posteriori e seleziona il massimizzatore di questa funzione campionata. Questo approccio non richiede parametri di progettazione aggiuntivi.

3. Scalabilità tramite Caratteristiche Casuali (RF): Per garantire la scalabilità, in particolare per il passaggio di campionamento richiesto da TS, il metodo impiega un'approssimazione del kernel basata su caratteristiche casuali per ciascun GP nell'ensemble. Ciò converte l'apprendimento non parametrico del GP in uno parametrico, consentendo un campionamento efficiente della funzione e aggiornamenti bayesiani ricorsivi dei parametri del modello (pesi e medie/covarianze a posteriori).

4. Parallelizzazione: Il quadro EGP-TS si adatta naturalmente sia alle valutazioni di funzioni parallele sincronizzate che asincrone. In un ambiente parallelo con $K$ worker, vengono generati multipli punti di interrogazione campionando dalla miscela a posteriori corrente senza richiedere iperparametri aggiuntivi per imporre la diversità, un requisito comune nella BO parallela che utilizza Upper Confidence Bound (UCB) o Expected Improvement (EI).

Contributi Chiave
Il documento delinea quattro contributi principali:

• Selezione Adattiva del Modello: Sostituisce il singolo GP con un kernel pre-selezionato con un ensemble di GP che adatta in modo adattivo i pesi per ciascun GP in tempo reale, eliminando la necessità di una selezione manuale del kernel.
• Parallelismo Senza Parametri: L'approccio EGP-TS risultante supporta sia valutazioni parallele sincronizzate che asincrone senza necessitare di parametri di progettazione aggiuntivi.
• Garanzie di Convergenza: Gli autori stabiliscono la convergenza di EGP-TS verso l'ottimo globale derivando limiti di rimorso bayesiano sublineari per contesti sia sequenziali che paralleli. L'analisi adatta tecniche dai banditi lineari con priori di miscela al contesto BO, affrontando le sfide introdotte dal prior EGP.
• Validazione Empirica: Test estesi su funzioni sintetiche, compiti robotici (spinta del robot) e compiti di tuning degli iperparametri nel mondo reale (per FNN, SVM e Gradient Boosting) dimostrano la superiorità del metodo rispetto a TS basato su singolo GP, GP-TS completamente bayesiano e approcci di ensemble alternativi.

Risultati
Sono stati condotti esperimenti numerici su benchmark sintetici standard (Ackley-5d, Zakharov, DropWave, Eggholder) e applicazioni nel mondo reale.

• Funzioni Sintetiche: EGP-TS ha raggiunto costantemente un rimorso semplice inferiore rispetto a GP-TS con kernel pre-selezionati (RBF, Matérn) e altri metodi di ensemble come BanditBO e EXP3BO. Ha inoltre superato GP-TS completamente bayesiano.
• Robotica: Nei compiti di spinta del robot in 3D e 4D, EGP-TS ha dimostrato prestazioni superiori nel minimizzare la distanza rispetto alla posizione obiettivo rispetto a tutte le linee di base, eseguendo allo stesso tempo in modo significativamente più veloce rispetto a GP-TS completamente bayesiano.
• Tuning degli Iperparametri: Per il tuning di modelli FNN, SVM e Gradient Boosting su dataset come Breast Cancer, Iris e Wine, EGP-TS ha raggiunto una maggiore accuratezza di validazione con meno valutazioni della funzione rispetto ai concorrenti.
• Ablazione: Risultati preliminari che accoppiano il surrogato EGP con Expected Improvement (EGP-EI) hanno mostrato anch'essi prestazioni migliorate rispetto al GP-EI standard, suggerendo che i benefici del modello di ensemble si estendono oltre il Campionamento di Thompson.

Significato e Affermazioni
Il documento afferma che EGP-TS offre una soluzione robusta al collo di bottiglia dello "sforzo di progettazione" nell'Ottimizzazione Bayesiana. Automatizzando la selezione del kernel attraverso un approccio di ensemble e utilizzando il Campionamento di Thompson, il metodo riduce la dipendenza dalla conoscenza di dominio esperta. Il contributo teorico risiede nell'istituzione di limiti rigorosi di rimorso bayesiano per un algoritmo di BO basato su ensemble, dimostrando che il metodo converge all'ottimo globale con un rimorso medio decrescente. Gli autori sottolineano che, sebbene il concetto di ensemble sia stato utilizzato nell'apprendimento supervisionato, la sua adattamento alla BO per la selezione del kernel, unito alla scalabilità parallela e all'analisi di convergenza, costituisce un contributo innovativo. Il lavoro posiziona EGP-TS come un metodo che bilancia l'espressività dell'apprendimento di ensemble con l'efficienza e le garanzie teoriche richieste per compiti di ottimizzazione pratici ad alto costo.