Support-Proximity Augmented Diffusion Estimation for Offline Black-Box Optimization

Riepilogo Tecnico: SPADE (Support-Proximity Augmented Diffusion Estimation) per l'Ottimizzazione Black-Box Offline

Enunciato del Problema
L'ottimizzazione black-box (BBO) offline mira a scoprire nuovi progetti con alti punteggi di proprietà utilizzando esclusivamente un dataset statico di valutazioni passate, senza accesso a un oracolo di verità fondamentale per la verifica. Questo scenario è prevalente in ambiti dove la raccolta di dati online è proibitivamente costosa o pericolosa, come nella progettazione di proteine, nell'ottimizzazione di sequenze di DNA e nella sintonizzazione di acceleratori hardware. La sfida centrale nella BBO offline è il problema dell'estrapolazione fuori distribuzione (OOD): gli algoritmi di ottimizzazione tendono a sfruttare errori epistemici nei modelli surrogati, gravitando verso regioni avversarie in cui le prestazioni sono sovrastimate.

Gli approcci esistenti ricadono generalmente in due paradigmi con limitazioni distinte:

1. Metodi Inversi: Questi modellano la distribuzione condizionale del progetto $p(x|y)$ per generare candidati per alti punteggi target. Tuttavia, apprendere la mappatura inversa è spesso un problema mal posto da uno a molti, portando a difficoltà di addestramento e collasso delle modalità.
2. Metodi In avanti: Questi apprendono un surrogato $y \approx f_\theta(x)$ per guidare la ricerca. I modelli di regressione standard (ad esempio, reti neurali deterministiche) spesso non riescono a catturare l'incertezza distribuzionale complessa necessaria per rilevare i rischi OOD. Sebbene esistano metodi di ensemble o bayesiani, possono essere computazionalmente intensivi e difficili da scalare. Inoltre, sostituire semplicemente un regressore con un modello di diffusione è insufficiente, poiché l'addestramento standard della diffusione si concentra sulla cattura della distribuzione di addestramento senza garantire i valori attesi calibrati o l'accuratezza del ranking globale necessari per un'ottimizzazione efficace.

Metodologia: SPADE
Gli autori propongono SPADE (Support-Proximity Augmented Diffusion Estimation), un quadro unificato che reimmagina la modellazione del surrogato in avanti attraverso la modellazione generativa condizionale. SPADE modella la verosimiglianza in avanti $p(y|x)$ utilizzando un modello di diffusione, potenziato da due moduli sinergici per affrontare le esigenze specifiche dell'ottimizzazione:

1. Stima della Diffusione Calibrata:
   Per garantire che il modello di diffusione funga da surrogato affidabile, questo modulo impone una coerenza globale nei momenti statistici e nei ranking a coppie. Introduce una funzione di perdita di calibrazione che include:

   • Corrispondenza del momento del primo ordine: Ancorare la media predittiva alla verità fondamentale.
   • Coerenza del ranking: Imporre che la topologia del surrogato si allinei con il vero paesaggio dell'obiettivo penalizzando gli ordinamenti a coppie errati dei progetti.
     Questo colma il divario tra gli obiettivi standard di previsione del rumore e le statistiche globali richieste per l'ottimizzazione.

2. Regolarizzazione della Prossimità al Supporto:
   Per affrontare il problema OOD, SPADE interiorizza il vincolo della varietà dei dati $p(x)$ direttamente nel modello di verosimiglianza senza addestrare un modello generativo separato. Utilizza un estimatore di densità non parametrico basato sui k-vicini più prossimi (kNN) per misurare il supporto dei dati.

   • Meccanismo: Per progetti lontani dalla varietà dei dati (bassa densità), la regolarizzazione penalizza esplicitamente il surrogato inducendo un restringimento della media (prevedendo punteggi più bassi) e un'inflazione della varianza (aumentando l'incertezza).
   • Equivalenza Teorica: Gli autori dimostrano che questa regolarizzazione geometrica è equivalente al primo ordine alla massimizzazione di una posteriori bayesiana $p(x|y) \propto p(y|x)p(x)$. Nello specifico, si dimostra che massimizzare una funzione di acquisizione consapevole del supporto è equivalente all'ottimizzazione dell'obiettivo congiunto di utilità (verosimiglianza) e probabilità a priori.

Strategia di Ottimizzazione
Una volta addestrato il surrogato, il quadro adotta una strategia di ottimizzazione basata sull'acquisizione. A differenza dei metodi deterministici che utilizzano la discesa del gradiente, SPADE utilizza un surrogato probabilistico per abilitare una ricerca globale. Impiega il Lower Confidence Bound (LCB) come funzione di acquisizione, che bilancia le prestazioni attese e l'incertezza epistemica. L'ottimizzazione viene eseguita utilizzando un Algoritmo Evolutivo (EA) inizializzato con semi ad alto punteggio provenienti dal dataset.

Contributi Chiave

• Modellazione della Diffusione in Avanti: Il documento esplora il potenziale dei modelli di diffusione per la modellazione del surrogato in avanti ($p(y|x)$), dimostrando la loro superiorità rispetto alla regressione deterministica nella cattura di distribuzioni predittive complesse (eteroschedasticità e multimodalità) per la BBO offline.
• Stima della Diffusione Calibrata: L'introduzione di un modulo che incorpora la corrispondenza dei momenti e la regolarizzazione del ranking a coppie, adattando efficacemente l'obiettivo di addestramento della diffusione ai requisiti di ottimizzazione.
• Regolarizzazione della Prossimità al Supporto: Un meccanismo innovativo per imporre vincoli sulla varietà dei dati tramite stima di densità basata su kNN, con una prova teorica che ne dimostra l'equivalenza alla massimizzazione dell'utilità congiunta e della probabilità a priori.
• Prestazioni all'Avanguardia: Validazione empirica che mostra come SPADE ottenga risultati superiori su diversi benchmark.

Risultati Sperimentali
Gli autori hanno valutato SPADE su sei attività della suite Design-Bench (che coprono domini continui come Superconduttore, Morfologia della Formica e Morfologia di D'Kitty, e domini discreti come TF Bind 8 e TF Bind 10) e su un benchmark di ottimizzazione per LLM Data Mixture.

• Prestazioni: SPADE ha raggiunto prestazioni all'Avanguardia, assicurando il miglior Rango Medio (2,8) e il Rango Mediano (1,5) tra 24 metodi valutati. Ha ottenuto punteggi massimi normalizzati nei primi due posti su 5 attività su 6.
• Robustezza: Sulle attività continue, SPADE ha dimostrato capacità di estrapolazione eccezionali con bassa varianza, evitando l'instabilità osservata in metodi come CMA-ES. Sulle attività discrete, ha superato i metodi generativi inversi (che spesso soffrono di collasso delle modalità) e i metodi di ensemble standard, in particolare sull'attività complessa TF Bind 10.
• Studi di Ablazione: Gli esperimenti hanno confermato che sia il modulo di Stima della Diffusione Calibrata sia quello di Regolarizzazione della Prossimità al Supporto sono essenziali e complementari; la rimozione di uno dei due ha portato a un degrado delle prestazioni rispetto al quadro completo.

Significato e Affermazioni
Il documento afferma che SPADE stabilisce un nuovo benchmark all'avanguardia nella BBO offline bilanciando efficacemente l'esplorazione di regioni ad alto punteggio con vincoli rigorosi di prossimità al supporto. Unificando la modellazione in avanti con i principi dell'inferenza bayesiana attraverso la regolarizzazione geometrica, il quadro produce progetti che non sono solo ad alte prestazioni, ma anche fisicamente o biologicamente plausibili, mitigando così l'"hacking della ricompensa" e migliorando l'affidabilità nelle regioni OOD. Gli autori posizionano questo lavoro come un passo verso sistemi di ottimizzazione più sicuri e robusti per la scoperta scientifica e la progettazione ingegneristica.