Technische Samenvatting: Posterior Inferentie in Latente Ruimte voor Schaalbare Gelimiteerde Black-box Optimalisatie

Probleemdefinitie

Het artikel behandelt geconstrueerde black-box optimalisatie (CBBO), een fundamentele taak in wetenschappelijke en technische domeinen zoals machine learning, geneesmiddelenontdekking en industrieel ontwerp. Het doel is om een invoer $x^*$ te vinden die een doelfunctie $f(x)$ maximaliseert, onderworpen aan $M$ black-box beperkingen $g^{(m)}(x) \leq 0$.

De auteurs benadrukken dat CBBO aanzienlijk moeilijker is dan ongeconstrueerde optimalisatie vanwege twee hoofdfactoren:

1. Onberekenbare Toelaatbare Gebieden: Toelaatbare gebieden zijn analytisch niet gedefinieerd en nemen vaak slechts een klein deel van de zoekruimte in beslag.
2. Hoge Dimensionaliteit: Bestaande methoden, met name Bayesiaanse Optimalisatie (BO), hebben moeite om te schalen naar hoge dimensionale ruimtes (bijvoorbeeld $D=200$). Hoewel BO beperkingen aankan via nieuwe acquisitiefuncties of Lagrangiaanse relaxatie, lijdt het aan slechte schaalbaarheid en moeite met het nauwkeurig schatten van surrogate-modellen in complexe, beperkte landschappen.

Generatieve modellen zijn opgekomen als een alternatief, maar het stalen uit de doelverdeling van toelaatbare, hoogscorende kandidaten is vaak onberekenbaar in hoge dimensies vanwege multi-modale verdelingen en grote vlakke gebieden. Standaardbenaderingen zoals Markov Chain Monte Carlo (MCMC) schalen slecht, en het fine-tunen van generatieve modellen leidt vaak tot mode-collapse.

Methodologie: CiBO

De auteurs stellen CiBO (Constrained Inference-based Black-box Optimization) voor, een raamwerk dat de selectie van kandidaten herformuleert als posterior inferentie uitgevoerd in de latente ruimte van generatieve modellen. De methode werkt in een iteratieve lus bestaande uit twee fasen:

Fase 1: Modellen Trainen

Gegeven een dataset $\mathcal{D}_r$ van waargenomen invoeren, doelen en beperkingsovertredingen:

1. Prior Training: Een flow-based model $p_\theta(x)$ wordt getraind om de verdeling van de huidige dataset te vangen. Dit gebeurt met Flow Matching en hergewogen training, waarbij datapunten worden gewogen op basis van een Lagrangiaans-verrijkte score $l(y, c) = y - \lambda \sum \max(0, c_m)$. Dit richt de prior op veelbelovende, toelaatbare gebieden.
2. Surrogaat Training: Een ensemble van $K$ neurale netwerken wordt getraind om doelwaarden te voorspellen ($\mu_\phi, \sigma_\phi$) om onzekerheid te kwantificeren. Afzonderlijke proxies worden getraind voor elke beperking $g^{(m)}$. Deze worden eveneens getraind met de hergewogen loss.

Fase 2: Kandidaten Stalen

In plaats van het flow-based prior te fine-tunen (wat risico's op mode-collapse met zich meebrengt), presenteert CiBO de selectie van kandidaten als het stalen uit een posterior verdeling:
$$p_{post}(x) \propto p_\theta(x) \exp(\beta \cdot r_\phi(x))$$
waarbij $r_\phi(x)$ een beloningsfunctie is die het gemiddelde van het surrogaat, een onzekerheidsbonus en een beperkingstransactie combineert.

Kerninnovatie: Latente Ruimte Amortized Inference
De auteurs observeren dat terwijl $p_{post}(x)$ in de data-ruimte sterk multi-modaal en complex is, de corresponderende posterior in de latente ruimte ($z$) aanzienlijk gladder is.

1. Uitbesteed Diffusie Stalen: Ze trainen een apart diffusiemodel $p_\psi(z)$ om de latente posterior $p_{post}(z) \propto p(z) \exp(\beta \cdot r_\phi(f_\theta(z)))$ te benaderen.
2. Trajectory Balance (TB): De diffusiestaler wordt getraind met de Trajectory Balance-doelstelling, wat off-policy training mogelijk maakt. Dit is cruciaal voor het dekken van meerdere modi en het vermijden van mode-collapse in de latente ruimte.
3. Projectie en Filtering: Steekproeven worden getrokken uit $p_\psi(z)$, geprojecteerd naar de data-ruimte via de deterministische mapping $x = f_\theta(z)$, en gefilterd om de top-$B$ kandidaten te selecteren op basis van de beloningsfunctie $r_\phi(x)$.

Belangrijkste Bijdragen

1. Herformulering als Posterior Inferentie: Het artikel formaliseert de selectie van beperkte kandidaten als het stalen uit een posterior verdeling, waarbij gebruik wordt gemaakt van de gladheid van de latente ruimte om de moeilijkheden van direct stalen in hoge dimensionale data-ruimte te omzeilen.
2. Latente Ruimte Amortisatie: Door het stalenproces te ontkoppelen in een ruisgeneratiestap in de latente ruimte en een deterministische projectie, vermijdt de methode de mode-collapse-problemen die geassocieerd zijn met het direct fine-tunen van flow-based modellen op complexe, multi-modale doelverdelingen.
3. Schaalbaarheid: Het gebruik van lichtgewicht MLP-gebaseerde surrogaten en flow/diffusiemodellen stelt de methode in staat te schalen naar hoge dimensies (tot 180 dimensies in real-world taken) waar traditionele BO-methoden falen.
4. Indicator Beperkingen: Het raamwerk blijkt "indicator beperkingen" te kunnen hanteren (alleen binaire toelaatbaarheidsfeedback), een uitdagende setting waar gradiënt-gebaseerde of continue beperkingsinformatie niet beschikbaar is.

Experimentele Resultaten

De auteurs evalueren CiBO op drie synthetische benchmarks (Rastrigin, Ackley, Rosenbrock bij $D=200$) en vier real-world taken (Rover Planning, HalfCheetah, Mopta, Lasso DNA) met dimensies variërend van 60 tot 180.

• Prestaties: CiBO presteert consequent beter dan state-of-the-art baselines, waaronder BO-varianten (cEI, LogcEI, SCBO, PCAGP-SCBO, FuRBO), evolutionaire algoritmen (CMA-ES) en andere generatieve benaderingen (DiffOPT).
• Toelaatbaarheid: In synthetische taken bereikt CiBO binnen 5–10 batches bijna perfecte toelaatbaarheidsratio's, aanzienlijk sneller dan BO-baselines. In real-world taken is het vaak de enige methode die toelaatbare oplossingen vindt op moeilijke benchmarks zoals Mopta en DNA-180D.
• Staal-efficiëntie: De methode toont superieure staalefficiëntie en vindt hoogwaardige toelaatbare oplossingen met minder evaluaties in vergelijking met concurrenten.
• Ablatiestudies: Experimenten bevestigen dat hergewogen training, filtering en off-policy training van de diffusiestaler kritieke componenten zijn. De methode is robuust tegen variaties in hyperparameters zoals de Lagrange-multiplicator $\lambda$ en buffergrootte $L$.
• Tijdsduur: Ondanks het trainen van meerdere modellen per ronde, behoudt CiBO een tijdsduur per ronde die vergelijkbaar is met of lager is dan BO-gebaseerde methoden, omdat het de dure Gaussische Proces (GP)-aanpassing vermijdt die door traditionele BO wordt vereist.

Betekenis en Beweringen

Het artikel beweert dat CiBO een significante stap voorwaarts vertegenwoordigt in schaalbare geconstrueerde black-box optimalisatie. De primaire betekenis ligt in:

• Het Overwinnen van de "Vloek van de Dimensionaliteit" in Beperkingen: Door inferentie uit te voeren in de latente ruimte, navigeert de methode effectief door complexe, multi-modale toelaatbare gebieden die onberekenbaar zijn voor standaard BO of direct fine-tunen van generatieve modellen.
• Robuustheid: Het raamwerk is robuust over diverse taken, inclusief die met binaire beperkingsfeedback en een groot aantal beperkingen.
• Praktische Toepasbaarheid: De methode is computationeel efficiënt genoeg voor praktische implementatie in real-world ontwerpen en controleproblemen waar evaluatiebudgetten beperkt zijn.

De auteurs merken bescheiden beperkingen op, specifiek de noodzaak om modellen in elke ronde opnieuw te trainen en het potentieel voor toekomstige verbeteringen door gebruik te maken van vooruitgang in flow-based training en diffusiestalers. Ze benadrukken dat hun werk een fundament biedt voor robuustere, beperkingsbewuste optimalisatieraamwerken.