Riepilogo Tecnico: Ottimizzazione Bayesiana Generativa

Enunciato del Problema

L'Ottimizzazione Bayesiana (BO) è un approccio standard per risolvere problemi complessi di ottimizzazione a scatola nera sfruttando modelli surrogati probabilistici, come i Processi Gaussiani (GP), per massimizzare un criterio di utilità attesa noto come funzione di acquisizione. Sebbene efficace, la BO tradizionale affronta sfide significative di scalabilità in setting batch, in particolare quando si tratta di spazi di progettazione ad alta dimensionalità e combinatori (ad esempio, la progettazione di proteine).

I metodi esistenti di BO batch spesso si basano sulla costruzione incrementale di insiemi di candidati campionando osservazioni "fantasma", un processo che diventa computazionalmente intrattabile all'aumentare delle dimensioni del batch. In alternativa, gli approcci che addestrano modelli generativi come distribuzioni di proposta impiegano tipicamente un processo a due stadi: prima si adatta un modello surrogato (regressione o classificazione) per approssimare la funzione obiettivo o di acquisizione, e successivamente si addestra un modello generativo su di esso. Questa pipeline a due stadi moltiplica gli errori di approssimazione e aumenta i costi computazionali. Inoltre, molti approcci generativi esistenti sono specifici per certe funzioni di acquisizione (ad esempio, Probabilità di Miglioramento) o richiedono modelli di ricompensa espliciti che introducono ulteriori fonti di errore.

Metodologia

Il documento propone la Generative Bayesian Optimization (GenBO), un quadro unificato che trasforma direttamente i modelli generativi in campionatori di soluzioni candidate per la BO batch, senza modelli surrogati intermedi. L'idea centrale è addestrare il modello generativo ad approssimare una distribuzione target la cui densità è proporzionale alla funzione di acquisizione BO (utilità attesa), eseguendo efficacemente un'inferenza diretta sulla posizione ottimale $x^*$ piuttosto che sulla funzione obiettivo $f$.

Il quadro offre due strategie principali per addestrare il modello generativo $q$ utilizzando valori di utilità rumorosi derivati dalle osservazioni:

1. Apprendimento basato sulle Preferenze (ispirato a DPO):
   Ispirato all'ottimizzazione diretta delle preferenze (DPO) per i Large Language Models, questo approccio formula una funzione di perdita contrastiva a coppie. Invece di addestrare un modello di ricompensa intermedio, il modello generativo viene addestrato direttamente su coppie di input $(x_{i,1}, x_{i,2})$ e sui loro corrispondenti valori di utilità $(u_{i,1}, u_{i,2})$.

   • Funzione di Perdita delle Preferenze Robusta (rPL): Per gestire il rumore intrinseco nelle valutazioni a scatola nera (dove il segno delle differenze di utilità può essere invertito), gli autori impiegano una versione robusta della funzione di perdita DPO. Questa perdita elimina la necessità di un modello di ricompensa esplicito e di una funzione di partizione, ottimizzando direttamente il modello generativo per approssimare la distribuzione target $p^*_u(x) \propto p_0(x) \exp(\frac{1}{\eta} E[u(y)|x])$.

2. Apprendimento basato sulla Divergenza:
   Questo approccio addestra il modello generativo a corrispondere la distribuzione target direttamente mediante la minimizzazione della divergenza.

   • KL Forward: Il modello minimizza la divergenza di Kullback-Leibler (KL) tra la proposta e il target. Gli autori derivano un obiettivo di addestramento non distorto utilizzando pesi di campionamento per importanza.
   • KL Forward Bilanciato: Per affrontare il problema per cui il Forward KL standard non penalizza le regioni con utilità zero (ad esempio, al di sotto di una soglia di miglioramento), viene introdotta una variante bilanciata. Questa aggiunge un termine di penalità soft derivato dalle divergenze di Bregman, assicurando che il modello non mantenga un'alta densità di probabilità in regioni a bassa utilità.

Il quadro è generalizzabile a qualsiasi funzione di acquisizione esprimibile come utilità attesa (ad esempio, Probabilità di Miglioramento, Miglioramento Atteso, Miglioramento Atteso Soft) e supporta varie funzioni di utilità, incluse le varianti media e softplus.

Contributi Chiave

• Quadro a Singolo Modello: GenBO elimina la necessità di surrogati intermedi di regressione o classificazione, riducendo gli errori di approssimazione e il sovraccarico computazionale addestrando un singolo modello generativo direttamente da osservazioni rumorose.
• Codifica dell'Utilità Generale: Il metodo codifica funzioni di utilità generali direttamente negli obiettivi di addestramento dei modelli generativi, estendendosi oltre il feedback basato sulle preferenze fino a segnali di ricompensa generali e funzioni di perdita.
• Convergenza Teorica: Il documento fornisce un'analisi teorica che mostra come, sotto lievi ipotesi di regolarità (ad esempio, modelli che giacciono in uno Spazio di Hilbert a Kernel Riproducente), la sequenza di modelli generativi segua distribuzioni che approssimano asintoticamente la distribuzione target ottimale. L'analisi stabilisce che l'errore di approssimazione si concentra in modo simile ai metodi a kernel.
• Scalabilità: L'approccio è progettato per scalare a grandi batch e spazi combinatori ad alta dimensionalità dove la BO tradizionale e i metodi generativi a due stadi faticano.

Risultati Sperimentali

Gli autori hanno valutato GenBO su compiti di ottimizzazione di sequenze impegnativi, inclusa l'ottimizzazione di testo (minimizzando la distanza di editing rispetto a "ALOHA") e la progettazione di proteine (ottimizzando stabilità e area superficiale accessibile al solvente, nonché funzioni sintetiche di Ehrlich).

• Prestazioni: Le varianti di GenBO, in particolare quelle che utilizzano la Funzione di Perdita delle Preferenze Robusta (rPL) e il KL Forward Bilanciato (bfKL), hanno ottenuto prestazioni competitive o superiori rispetto a basi solide tra cui CbAS, VSD (Variational Search Distributions) e LaMBO-2.
• Efficienza: GenBO ha dimostrato miglioramenti significativi nei tempi di esecuzione, essendo circa 3 volte più veloce di VSD nei compiti di ottimizzazione del testo grazie all'eliminazione dello stadio intermedio di adattamento del surrogato.
• Robustezza: Nei compiti di progettazione di proteine, le varianti di GenBO hanno mostrato una rapida convergenza sul compito SASA, gestendo al contempo il compito di stabilità più impegnativo in modo paragonabile ad altri metodi. Gli esperimenti hanno evidenziato che GenBO è relativamente meno sensibile ai piani di annealing della soglia rispetto alle basi guidate da classificatori.
• Scalabilità del Batch: Il metodo ha gestito con successo grandi dimensioni del batch ($B=128$) in spazi di sequenze proteiche ad alta dimensionalità ($M=64$), dimostrando miglioramenti monotoni con l'aumento della dimensione del batch.

Significato e Affermazioni

Il documento afferma che GenBO offre un'alternativa più semplice e scalabile ai metodi di generazione guidata a più stadi per l'ottimizzazione a scatola nera. Rimuovendo il modello surrogato intermedio, GenBO riduce la pipeline all'apprendimento di un singolo modello generativo, riducendo così le risorse computazionali ed eliminando una fonte di errori di approssimazione.

Gli autori posizionano GenBO come una "ricetta generale" che unifica la BO senza verosimiglianza con le moderne tecniche di modellazione generativa. Sottolineano che, sebbene il quadro si concentri attualmente sulle funzioni di acquisizione esprimibili come utilità attese, i fondamenti teorici consentono estensioni ad altre regole di punteggio e tipi di modelli (ad esempio, modelli di diffusione, flow matching). Il lavoro suggerisce che l'inferenza diretta sulla posizione ottimale, guidata da fattori di pseudo-verosimiglianza basati sull'utilità, è un percorso vitale ed efficiente per ottimizzare spazi di progettazione complessi e ad alta dimensionalità.