Profile Bayesian Optimization for Expensive Computer Experiments

Sintesi Tecnica: Ottimizzazione Bayesiana di Profilo per Esperimenti Computazionali Costosi

Problematica
Il documento affronta la sfida dell'ottimizzazione di simulazioni al computer deterministiche e costose, dove l'obiettivo è identificare "ottimi di profilo" piuttosto che un singolo ottimo globale. In questi scenari, gli input sono divisi in un singolo parametro di controllo ($x^\star$) e molteplici parametri di disturbo ($x_{-\star}$). L'obiettivo è stimare la funzione $T(x^\star) = \min_{x_{-\star}} f(x^\star, x_{-\star})$ attraverso l'intero intervallo plausibile di $x^\star$.

La standard Bayesian Optimization (BO) è inadatta a questo compito perché punta tipicamente a un singolo minimo globale, trascurando spesso l'esplorazione dell'intero spazio dei parametri di controllo. I metodi esistenti di ottimizzazione di profilo, come il Profile Expected Improvement (PEI) proposto da Ginsbourger et al. (2014), soffrono di due limitazioni principali:

1. Intrattabilità Computazionale: si basano su griglie dense per la selezione dei candidati, il che diventa impraticabile in dimensioni superiori a due.
2. Squilibrio Esplorazione-Sfruttamento: come la tradizionale Expected Improvement (EI), la PEI tende a sfruttare eccessivamente le regioni vicine al minimo globale, fallendo nell'esplorare adeguatamente l'intero intervallo del parametro di controllo.

Gli autori sono motivati da una specifica applicazione ingegneristica: la progettazione di un diffusore per un Combustore a Detonazione Rotante (RDC). La simulazione è computazionalmente costosa (da 10 minuti a diverse ore per esecuzione) e non stazionaria a causa della dinamica della combustione. L'obiettivo è mappare la perdita minima di energia (perdita di pressione) come funzione della lunghezza del diffusore ($x^\star$), ottimizzando su cinque parametri di disturbo (punti di curvatura e posizione del bypass) per informare i compromessi progettuali tra efficienza e vincoli fisici.

Metodologia
Gli autori propongono una nuova procedura di Profile Bayesian Optimization (PBO) che integra la modellazione con un surrogato e una strategia di acquisizione a due stadi.

1. Modellazione del Surrogato:

   • Il metodo utilizza surrogati Gaussian Process (GP) o Deep Gaussian Process (DGP). I DGP sono evidenziati per la loro capacità di gestire superfici di risposta non stazionarie comuni nelle simulazioni fisiche.
   • Per stimare $T(x^\star)$, gli autori generano campioni posteriori congiunti dal surrogato. Per ogni campione, identificano il valore di risposta minimo per ogni $x^\star$ unico. La distribuzione empirica di questi minimi fornisce una stima $\hat{T}(x^\star)$ insieme alla quantificazione dell'incertezza (UQ) tramite intervalli di credibilità.
   • Per gestire i costi computazionali in dimensioni elevate, viene impiegata l'approssimazione di Vecchia per un campionamento efficiente della distribuzione posteriore congiunta.

2. Tricands Modificati (Generazione dei Candidati):

   • Per evitare il collo di bottiglia computazionale delle griglie dense, gli autori adattano l'approccio dei "tricands" (candidati di triangolazione) di Gramacy et al. (2022).
   • Invece di una griglia completa, i candidati vengono generati utilizzando una triangolazione di Delaunay dei parametri di disturbo osservati ($X_{-\star}$). I "candidati interni" sono posizionati ai centri geometrici dei componenti di triangolazione, mentre i "candidati di bordo" (fringe) sono posizionati vicino ai confini.
   • Viene creata una griglia 1D semi-densa per il parametro di controllo $x^\star$. L'insieme finale dei candidati ($X_{tri+}$) è il prodotto cartesiano della griglia $x^\star$ e dei tricands dei parametri di disturbo. Ciò consente una stima efficiente del minimo senza dover valutare miliardi di punti.

3. Schema di Acquisizione a Due Stadi:
   La selezione del punto di valutazione successivo $x_{n+1} = \{x^\star_{n+1}, x_{-\star, n+1}\}$ avviene in due passaggi distinti:

   • Stadio 1 (Esplorazione di $x^\star$): l'algoritmo seleziona il valore del parametro di controllo $x^\star_{n+1}$ che presenta la maggiore incertezza (ampiezza dell'intervallo di credibilità più ampia) nella stima attuale di $\hat{T}(x^\star)$. Questo si ispira al criterio di Active Learning di MacKay e assicura che l'intero intervallo del parametro di controllo venga esplorato.
   • Stadio 2 (Sfruttamento di $x_{-\star}$): una volta fissato $x^\star_{n+1}$, l'algoritmo seleziona i parametri di disturbo $x_{-\star, n+1}$ massimizzando il Profile Expected Improvement (PEI) lungo quella specifica sezione. Questo focalizza la ricerca nel trovare la configurazione ottimale dei parametri di disturbo per il parametro di controllo scelto.

Risultati Chiave
Gli autori validano la procedura PBO attraverso benchmark sintetici e l'applicazione motivante RDC:

• Benchmark Sintetici:

  • Funzioni Stazionarie (Branin 2D, Kyger 3D): PBO ha superato la BO standard, il campionamento casuale Latin Hypercube (LHS) e il metodo PEI originale. PBO ha ottenuto un errore quadratico medio (RMSE) inferiore e intervalli di credibilità più stretti, mantenendo una copertura vicina al 95%. Fondamentalmente, PBO ha esplorato con successo l'intero intervallo di $x^\star$, mentre PEI e la BO standard hanno raggruppato le acquisizioni vicino ai minimi globali, lasciando parti del profilo inesplorate.
  • Funzione Non Stazionaria (Squiggle 4D): Utilizzando surrogati DGP, PBO ha dimostrato una precisione superiore rispetto ai surrogati GP. Sebbene le previsioni DGP mostrassero una copertura leggermente inferiore (indicando un eccesso di fiducia), hanno prodotto un RMSE e una deviazione assoluta massima (MaxAD) significativamente inferiori rispetto ai metodi basati su GP.

• Applicazione Motivante (Diffusore RDC):

  • Applicata a una simulazione 6D (1 controllo, 5 disturbo), la PBO con surrogati DGP è stata eseguita per 150 valutazioni.
  • La stima del profilo risultante ha fornito la quantificazione dell'incertezza attraverso l'intero intervallo delle lunghezze del diffusore.
  • Confrontata con un ottimizzatore evolutivo multi-obiettivo allo stato dell'arte (CADO) eseguito sullo stesso budget (113 valutazioni), la PBO ha identificato design con perdite di pressione inferiori rispetto alla frontiera di Pareto trovata da CADO. Inoltre, PBO ha fornito un profilo continuo di ottimi, mentre CADO ha fornito solo un insieme discreto di punti di compromesso.

Significatività e Rivendicazioni
L'articolo sostiene che la Profile Bayesian Optimization offre un quadro robusto per stimare gli ottimi di profilo in esperimenti al computer costosi dove l'intervallo del parametro di controllo è di primario interesse.

• Novità: Il contributo principale è lo schema di acquisizione a due stadi che separa esplicitamente l'esplorazione del parametro di controllo dallo sfruttamento dei parametri di disturbo. Ciò previene lo "sfruttamento eccessivo" comune alla BO tradizionale e alla PEI.
• Scalabilità: Combinando i tricands modificati con l'approssimazione di Vecchia, il metodo estende l'ottimizzazione di profilo ad dimensioni più elevate (dimostrato fino a 6D) dove i precedenti metodi basati su griglia fallivano.
• Flessibilità: La procedura è compatibile sia con i surrogati stazionari (GP) che con quelli non stazionari (DGP), rendendola applicabile a simulazioni fisiche complesse con cambiamenti di regime.
• Impatto Pratico: Nell'applicazione RDC, il metodo ha permesso decisioni informate quantificando il compromesso tra lunghezza del diffusore e perdita di energia, identificando design che hanno superato gli approcci di ottimizzazione multi-obiettivo esistenti.

Gli autori notano modestamente alcune limitazioni, tra cui l'assunzione di ottimi di profilo unici per ogni sezione $x^\star$ e il costo computazionale di generare campioni posteriori sufficienti per la copertura DGP in alte dimensioni. Suggeriscono che il lavoro futuro potrebbe coinvolgere surrogati potenziati dai gradienti e calibrazione bayesiana con dati fisici.