Technische Samenvatting: Generatieve Bayesiaanse Optimalisatie

Probleemstelling

Bayesiaanse Optimalisatie (BO) is een standaardaanpak voor het oplossen van complexe black-box optimalisatieproblemen door gebruik te maken van probabilistische surrogate-modellen, zoals Gaussische Processen (GPs), om een verwachte nutscriterium, bekend als een acquisitiefunctie, te maximaliseren. Hoewel effectief, staat traditionele BO voor aanzienlijke schaalbaarheidsuitdagingen in batch-instellingen, met name bij het omgaan met hoogdimensionale en combinatorische ontwerpruimten (bijvoorbeeld proteïneontwerp).

Bestaande batch-BO-methoden vertrouwen vaak op het stapsgewijs opbouwen van kandidaatsets door "fantasie"-observaties te bemonsteren, een proces dat computationeel onuitvoerbaar wordt naarmate de batchgroottes toenemen. Alternatief passen benaderingen die generatieve modellen trainen als voorstelverdelingen doorgaans een tweestapsproces toe: eerst wordt een surrogate-model (regressie of classificatie) gefit om de objectieve functie of acquisitiefunctie te benaderen, en vervolgens wordt een generatief model daarop getraind. Deze tweestapspijplijn versterkt benaderingsfouten en verhoogt de computationele kosten. Bovendien zijn veel bestaande generatieve benaderingen specifiek voor bepaalde acquisitiefuncties (bijvoorbeeld Probability of Improvement) of vereisen ze expliciete beloningsmodellen die extra foutbronnen introduceren.

Methodologie

Het artikel stelt Generatieve Bayesiaanse Optimalisatie (GenBO) voor, een unifyend kader dat generatieve modellen direct omzet in bemonsteringsmechanismen voor kandidaatoplossingen voor batch-BO, zonder tussenliggende surrogate-modellen. Het kerninzicht is om het generatieve model te trainen om een doelverdeling te benaderen waarvan de dichtheid evenredig is met de BO-acquisitiefunctie (verwachte nut), wat effectief directe inferentie over de optimale locatie $x^*$ uitvoert in plaats van over de objectieve functie $f$.

Het kader biedt twee primaire strategieën voor het trainen van het generatieve model $q$ met behulp van ruwe nutswaarden afgeleid van observaties:

1. Op voorkeuren gebaseerd leren (DPO-geïnspireerd):
   Geïnspireerd door Direct Preference Optimization (DPO) voor Large Language Models, formuleert deze aanpak een pairwise contrastieve loss. In plaats van een tussenliggend beloningsmodel te trainen, wordt het generatieve model direct getraind op paren van invoer $(x_{i,1}, x_{i,2})$ en hun overeenkomstige nutswaarden $(u_{i,1}, u_{i,2})$.

   • Robuste Voorkeursloss (rPL): Om het ruisprobleem inherent aan black-box-evaluaties (waarbij het teken van nutverschillen kan worden omgekeerd) aan te pakken, hanteren de auteurs een robuuste versie van de DPO-loss. Deze loss elimineert de noodzaak van een expliciet beloningsmodel en een partitiefunctie, en optimaliseert het generatieve model direct om de doelverdeling $p^*_u(x) \propto p_0(x) \exp(\frac{1}{\eta} E[u(y)|x])$ te benaderen.

2. Op divergentie gebaseerd leren:
   Deze aanpak traint het generatieve model om de doelverdeling direct te matchen via minimalisatie van divergentie.

   • Forward KL: Het model minimaliseert de Kullback-Leibler (KL)-divergentie tussen het voorstel en de doelverdeling. De auteurs leiden een onbevooroordeelde trainingsdoelstelling af met behulp van importance sampling-gewichten.
   • Gebalanceerde Forward KL: Om het probleem aan te pakken waarbij standaard Forward KL gebieden met nul nut (bijvoorbeeld onder een verbeterdrempel) niet voldoende straft, wordt een gebalanceerde variant geïntroduceerd. Deze voegt een zachte straftterm toe die is afgeleid van Bregman-divergenties, zodat het model geen hoge waarschijnlijkheidsdichtheid behoudt in gebieden met laag nut.

Het kader is generaliseerbaar naar elke acquisitiefunctie die uit te drukken is als een verwachte nut (bijvoorbeeld Probability of Improvement, Expected Improvement, Soft Expected Improvement) en ondersteunt diverse nutfuncties, waaronder varianten met gemiddelde en softplus.

Belangrijkste Bijdragen

• Enkel-modelkader: GenBO elimineert de behoefte aan tussenliggende regressie- of classificatiesurrogaten, wat benaderingsfouten en computationele overhead vermindert door één enkel generatief model direct te trainen op basis van ruwe observaties.
• Generieke nutscodering: De methode codeert generieke nutfuncties direct in de trainingsdoelstellingen van generatieve modellen, wat uitbreidt van voorkeursgedreven feedback naar generieke beloningssignalen en verliesfuncties.
• Theoretische convergentie: Het artikel biedt theoretische analyse die aantoont dat, onder milde regulariteitsaannames (bijvoorbeeld modellen die liggen in een Reproducing Kernel Hilbert Space), de reeks generatieve modellen volgde verdelingen die asymptotisch de optimale doelverdeling benaderen. De analyse stelt vast dat de benaderingsfout zich concentreert op een vergelijkbare manier als bij kernel-methoden.
• Schaalbaarheid: De aanpak is ontworpen om te schalen naar grote batches en hoogdimensionale combinatorische ruimten waar traditionele BO en tweestaps-generatieve methoden moeite hebben.

Experimentele Resultaten

De auteurs hebben GenBO geëvalueerd op uitdagende sequentie-optimalisatietaken, waaronder tekstoptimalisatie (minimaliseren van de bewerkingsafstand tot "ALOHA") en proteïneontwerp (optimaliseren van stabiliteit en solvent toegankelijk oppervlak, evenals synthetische Ehrlich-functies).

• Prestaties: GenBO-varianten, met name die met de Robuste Voorkeursloss (rPL) en Gebalanceerde Forward KL (bfKL), behaalden concurrerende of superieure prestaties vergeleken met sterke baselines, waaronder CbAS, VSD (Variational Search Distributions) en LaMBO-2.
• Efficiëntie: GenBO toonde aanzienlijke tijdsbesparingen, ongeveer 3 keer sneller dan VSD in tekstoptimalisatietaken, dankzij de eliminatie van de tussenliggende surrogate-fitstap.
• Robuustheid: In proteïneontwerptaken toonden GenBO-varianten snelle convergentie op de SASA-taak, terwijl ze de uitdagendere stabiliteitstaak vergelijkbaar met andere methoden afhandelden. De experimenten benadrukten dat GenBO relatief minder gevoelig is voor drempel-annealing-schema's dan classifier-geleide baselines.
• Batch-schaling: De methode slaagde erin grote batchgroottes ($B=128$) te hanteren in hoogdimensionale proteïnesequentieruimten ($M=64$), met monotoon verbeterende resultaten bij een toename van de batchgrootte.

Betekenis en Claims

Het artikel claimt dat GenBO een eenvoudiger en schaalbaarder alternatief biedt voor multi-staps geleide generatiemethoden voor black-box optimalisatie. Door het tussenliggende surrogate-model te verwijderen, reduceert GenBO de pijplijn tot het leren van één enkel generatief model, waardoor computationele middelen worden bespaard en een bron van benaderingsfouten wordt geëlimineerd.

De auteurs positioneren GenBO als een "generiek recept" dat likelihood-vrije BO verenigt met moderne generatieve modelleertechnieken. Ze benadrukken dat, hoewel het kader zich momenteel richt op acquisitiefuncties die uit te drukken zijn als verwachte nut, de theoretische onderbouwing uitbreidingen toelaat naar andere scorende regels en modeltypen (bijvoorbeeld diffusiemodellen, flow matching). Het werk suggereert dat directe inferentie over de optimale locatie, gedreven door nut-gebaseerde pseudo-likelihood-factoren, een levensvatbare en efficiënte weg is voor het optimaliseren van complexe, hoogdimensionale ontwerpruimten.