Riepilogo Tecnico: BEACON

Formulazione del Problema

Il documento affronta la sfida della Ricerca della Novità (Novelty Search, NS) nel contesto di sistemi black-box costosi e rumorosi, comuni in chimica, scienza dei materiali e progettazione molecolare. A differenza dell'ottimizzazione tradizionale, che cerca un singolo ottimo scalare, l'obiettivo qui è scoprire un insieme diversificato di comportamenti di sistema (esiti) ottenibili entro un budget limitato di valutazioni.

Formalmente, il problema coinvolge una funzione black-box vettoriale-valutata $f: \mathcal{X} \to \mathcal{O}$, dove $\mathcal{X} \subset \mathbb{R}^d$ è lo spazio di input e $\mathcal{O} \subset \mathbb{R}^n$ è lo spazio degli esiti (comportamenti). L'obiettivo è massimizzare la raggiungibilità (reachability), definita come la frazione di regioni di comportamento distinte scoperte all'interno di una partizione finita dello spazio degli esiti.

I metodi di NS esistenti, spesso basati su euristiche evolutive, sono tipicamente inefficienti in termini di campionamento. Essi faticano in contesti in cui ogni valutazione della funzione (ad esempio, una simulazione o un esperimento fisico) è costosa. Inoltre, l'Ottimizzazione Bayesiana (BO) standard è inadatta perché collassa gli esiti in una singola funzione di utilità, rischiando di trascurare comportamenti intermedi o rari che sono scientificamente preziosi.

Metodologia: BEACON

Gli autori propongono BEACON (Bayesian Exploration Algorithm for outCOme Novelty), una strategia efficiente nel campionamento ispirata ai principi dell'Ottimizzazione Bayesiana ma adattata per la ricerca della novità.

Componenti Core

1. Surrogato MOGP (Multi-Output Gaussian Process):
   Inveve di modellare un obiettivo scalare, BEACON posiziona un modello surrogato probabilistico direttamente sulla mappa input-esito $f$. Il framework utilizza i Multi-Output GP per modellare la funzione vettoriale completa. Nella maggior parte degli esperimenti, gli autori impiegano modelli GP a output indipendenti (adattando un GP scalare per ogni coordinata dell'esito) per mantenere la semplicità, sebbene il framework supporti output correlati e kernel consapevoli della chimica (es. Tanimoto-fragprint) per domini specifici.

2. Funzione di Acquisizione basata sul Thompson Sampling:
   BEACON introduce una nuova funzione di acquisizione che valuta i candidati input in base alla distanza dei loro esiti plausibili da un archivio denoisato di esiti precedentemente osservati.

   • Denoising: Le osservazioni grezze sono sostituite con le predizioni della media a posteriori ($\mu_D$) per mitigare gli effetti del rumore di osservazione.
   • Quantificazione dell'Incertezza: L'algoritmo estrae una funzione campione $g(x)$ dal posteriore del MOGP (utilizzando il Thompson sampling).
   • Scoring: Il punteggio di novità $\alpha_{NS}$ per un candidato $x$ è la distanza media tra l'esito campionato $g(x)$ e i $k$ vicini più prossimi nell'archivio denoisato:
     $$\alpha_{NS}(x | g, D) = \frac{1}{k} \sum_{i=1}^{k} \text{dist}(g(x), \mu_D(x_i^*))$$
   • Ottimizzazione: Questa funzione di acquisizione viene ottimizzata utilizzando metodi basati sul gradiente (es. L-BFGS-B) con molteplici restart. L'uso di rilassamenti differenziabili per l'operazione di ordinamento nel calcolo dei $k$-vicini più prossimi permette una massimizzazione efficiente basata sul gradiente.

3. Estensioni:

   • Scalabilità ad Alta Dimensionalità: Per spazi di input ad alta dimensionalità, BEACON integra prior SAAS (Sparse Axis-Aligned Subspace) per indurre la sparsità nelle scale di lunghezza del GP, o utilizza surrogati-aware della chimica (es. kernel molecolari) per input discreti strutturati.
   • Vincoli Guidati dall'Utente (UG-BEACON): Il framework consente agli utenti di definire partizioni dello spazio degli esiti per escludere regioni già esplorate o per concentrare gli sforzi di ricerca su regimi di interesse specifico.

Contributi Chiave

Il documento delinea quattro contributi primari:

1. Sviluppo dell'Algoritmo: Introduzione di BEACON, un nuovo algoritmo di NS progettato specificamente per sistemi black-box rumorosi e costosi che migliora la raggiungibilità dello spazio dei comportamenti con valutazioni limitate.
2. Nuova Strategia di Acquisizione: Una funzione di acquisizione basata sul Thompson sampling che opera in uno spazio continuo degli esiti. Essa tiene conto dell'incertezza predittiva e del rumore osservativo senza richiedere l'ottimizzazione diretta su una partizione di comportamento discreta e fissa.
3. Scalabilità: Estensioni a contesti ad alta dimensionalità tramite prior che inducono la sparsità e modellazione surrogata specifica del dominio (es. per grafi molecolari).
4. Validazione Empirica: Dimostrazione dell'efficacia dell'algoritmo attraverso benchmark sintetici, scoperta di materiali (Metal-Organic Frameworks), scoperta di proprietà molecolari e compiti di apprendimento per rinforzo.

Risultati

Gli autori hanno valutato BEACON rispetto a diversi baseline, tra cui la ricerca della novità evolutiva (NS-EA), la ricerca della distanza dall'area esplorata (NS-DEA), il campionamento della varianza massima e la ricerca casuale.

• Benchmark Sintetici: Sulle funzioni Ackley, Rosenbrock e Styblinski-Tang, BEACON ha costantemente raggiunto la raggiungibilità più elevata, particolarmente in spazi di input ad alta dimensionalità (fino a 12 dimensioni). Ha inoltre superato i baseline in un problema multi-output sintetico con una distribuzione a coda lunga, coprendo efficacemente le regioni a bassa densità della coda che altri metodi avevano mancato.
• Scoperta di Materiali: Nei compiti riguardanti l'assorbimento di Idrogeno, l'assorbimento di Azoto e l'assorbimento congiunto di CO2/CH4 nei Metal-Organic Frameworks (MOF), BEACON ha raggiunto la copertura completa dello spazio di comportamento discretizzato entro il budget di valutazione, superando i baseline applicabili.
• Scoperta Molecolare: Per la solubilità in acqua, ESOL (solubilità acquosa con input a 2.133 dimensioni) e compiti LogD, BEACON ha dimostrato una copertura superiore. L'uso di kernel specifici per il compito (Tanimoto-fragprint) e dei prior SAAS è stato critico per le prestazioni in spazi molecolari ad alta dimensionalità.
• Paesaggi Ingannevoli (Deceptive Landscapes): In un compito di navigazione in un labirinto tramite apprendimento per rinforzo con un paesaggio di ricompensa ingannevole, BEANO è stato l'unico metodo a risolvere costantemente il compito in tutte le repliche, mentre i metodi guidati dalla ricompensa (come l'Expected Improvement) e altri baseline di novità fallivano nell'uscire dalle trappole locali.
• Scoperta Guidata dall'Utente: Nei compiti vincolati (scoperta di cifre MNIST e progettazione di materiali assorbenti per olio), UG-BEACON ha integrato con successo le preferenze dell'utente per scoprire i comportamenti target più velocemente rispetto alle versioni non vincolate.

Significato e Claim

Il documento sostiene che BEACON renda pratica la ricerca della novità in domini dove gli approveri approcci evolutivi tradizionali sono troppo inefficienti nel campionamento. Sfruttando la modellazione surrogata Bayesiana, BEACON può dirigere le valutazioni verso regioni inesplorate dello spazio degli esiti, tenendo conto rigorosamente dell'incertezza del modello e del rumore.

Gli autori posizionano BEACON come uno strumento per contesti di scoperta a bassi dati, dove l'obiettivo scientifico è la copertura ampia di proprietà ottenibili piuttosto che un singolo ottimo. Suggeriscono che questo approccio sia particolarmente prezioso per i flussi di lavoro di sperimentazione autonoma in chimica e scienza dei materiali, dove la scoperta di fenomeni precedentemente sconosciuti è critica quanto l'ottimizzazione di target noti.

Il documento riconosce i limiti riguardanti gli spazi di esito "ripidi" (es. cambiamenti di fase) dove il modello surrogato potrebbe eccessivamente smussare i salti bruschi, notando che la scoperta in tali casi potrebbe ancora dipendere da un'esplorazione ampia o dal campionamento casuale se non esiste una struttura apprendibile. Tuttavia, sostengono che il framework sia abbastanza flessibile da incorporare strategie ibride (es. inizializzazione space-filling) per mitigare questi problemi.