Time-Aware Latent Space Bayesian Optimization

Dit artikel introduceert TALBO, een methode voor tijdsbewuste Bayesiaanse optimalisatie in de latente ruimte die variaties in doelfuncties en representatiegeometrie aanpakt door een GP-prior variational autoencoder te gebruiken, wat leidt tot superieure prestaties bij moleculair ontwerp met veranderende doelen.

De kern

De Kern: Een Reis door een Veranderende Wereld

Stel je voor dat je een chef-kok bent die een perfecte nieuwe maaltijd moet bedenken. Je hebt een enorme lijst met ingrediënten (moleculen), maar het is onmogelijk om ze allemaal één voor één te proeven. Dat kost te veel tijd en geld.

In plaats daarvan gebruik je een slimme assistent (de "Baysese Optimalisatie"). Deze assistent heeft een receptenboek en een proefkeuken. Hij probeert een paar combinaties, proeft ze, en leert daarvan om de volgende keer een nog betere combinatie te kiezen. Dit werkt geweldig als je doel vaststaat: "Ik wil de lekkerste pizza."

Maar wat als je doel verandert?
Stel, na elke proefkeuken zegt de klant: "Nee, vandaag wil ik iets met meer kaas," en morgen: "Vandaag moet het juist pittig zijn."
Deze veranderingen noemen de auteurs tijdsdrift.

Het probleem met de oude methoden is dat ze denken dat de wereld statisch is. Als de klant van smaak verandert, blijft de assistent vasthouden aan de oude regels. Hij zoekt nog steeds naar de perfecte pizza, terwijl de klant nu eigenlijk een pasta wil. Zijn "receptenboek" (de latent space) is verouderd en past niet meer bij de huidige smaak.

De Oplossing: TALBO (De Slimme, Aanpasbare Assistent)

De auteurs van dit paper, Tuan Vu en zijn collega's, hebben een nieuwe methode bedacht genaamd TALBO (Time-Aware Latent-space Bayesian Optimization).

Ze vergelijken hun methode met een dynamische GPS in plaats van een statische papieren kaart.

1. De Kaart (De Latente Ruimte):
   In de oude methode is de kaart van de wereld (de ruimte waar de moleculen worden gezocht) vastgezet. Als je van bestemming verandert, moet je de hele kaart opnieuw tekenen, wat lang duurt.
   Bij TALBO is de kaart levend. Het is alsof de wegen op de kaart zich verplaatsen en aanpassen terwijl je rijdt. Als de klant van smaak verandert, verschuiven de "lekkerste plekken" op de kaart direct mee.

2. De Twee Hersenen:
   TALBO werkt met twee systemen die samenwerken:

   • Systeem A (De Voorspeller): Dit is de assistent die zegt: "Als we dit proberen, wordt het waarschijnlijk lekker." Hij houdt rekening met de tijd. Hij weet: "Afgelopen week was kaas goed, maar vandaag is dat niet meer zo."
   • Systeem B (De Vertaler): Dit is de machine die de abstracte ideeën omzet in echte moleculen (de ingrediënten). Bij TALBO leert deze machine ook dat de wereld verandert. Hij past zijn "vertaalwoordenboek" aan zodat hij sneller de juiste ingrediënten kan vinden voor de huidige smaak, niet voor de oude.

Hoe werkt het in de praktijk?

Stel je voor dat je een dynamische schatzoeker bent.

• Oude methode: Je hebt een schatkaart van een eiland. Je zoekt naar goud. Plotseling verandert de stroom van de rivier (de doelstelling). De goudplek is nu ergens anders, maar jouw kaart toont nog steeds de oude plek. Je blijft graven op de verkeerde plek.
• TALBO-methode: Je hebt een kaart die in real-time wordt bijgewerkt door een drone. Zodra de rivier verandert, ziet de drone het en tekent de nieuwe stroom direct op je kaart in. Bovendien weet je dat de grond zelf ook verschuift, dus je past je graaftechniek direct aan. Je vindt het nieuwe goud veel sneller.

Waarom is dit belangrijk?

In de echte wereld veranderen dingen voortdurend:

• Geneeskunde: Een virus muteert (verandert). Een medicijn dat gisteren werkte, werkt vandaag misschien niet meer. Je moet snel nieuwe medicijnen vinden die passen bij het nieuwe virus.
• Design: De smaak van consumenten verandert. Wat gisteren cool was, is vandaag ouderwets.

De auteurs hebben getoond dat hun methode (TALBO) veel beter presteert dan de oude methoden. Ze hebben het getest op het ontwerpen van nieuwe moleculen (voor medicijnen of materialen).

• Resultaat: TALBO blijft de "beste score" behalen, zelfs als de doelen scherp veranderen. De oude methoden blijven achter en zoeken nog steeds naar de oude "beste oplossing", terwijl die eigenlijk niet meer bestaat.

Samenvatting in één zin

TALBO is als een slimme navigator die niet alleen weet waar je naartoe moet, maar ook begrijpt dat de weg zelf verandert terwijl je rijdt, zodat je nooit vastloopt in een verouderde wereld.

Technische samenvatting

Titel: Time-Aware Latent Space Bayesian Optimization (TALBO)

Auteurs: Tuan A. Vu, Julien Martinelli, Harri Lähdesmäki (Aalto University)

---

1. Probleemstelling

Bayse Optimalisatie (BO) is een krachtig raamwerk voor het optimaliseren van dure, zwarte-doos functies, zoals het ontwerpen van nieuwe moleculen of eiwitten. Traditionele BO-methoden werken vaak in continue ruimtes, maar veel ontwerpproblemen vinden plaats in discrete, gestructureerde ruimtes (bijv. chemische structuren). Latent Space Bayesian Optimization (LSBO) lost dit op door gestructureerde objecten te coderen in een continue latente ruimte via een generatief model (zoals een VAE), waar de optimalisatie plaatsvindt.

Echter, de meeste bestaande LSBO-methoden maken een cruciale aanname: het doelwit (de objective functie) blijft constant tijdens het hele optimalisatieproces. In de praktijk veranderen ontwerpcampagnes vaak door tijdsdrift:

• Evoluerende voorkeuren (bijv. mens-in-de-lus optimalisatie).
• Veranderende doelen (bijv. nieuwe varianten van pathogenen vereisen nieuwe antilichamen).
• Dynamische multi-objectieve afwegingen (waarbij de gewichten van verschillende eigenschappen in de tijd veranderen).

Wanneer het doelwit verandert, worden de bestaande latente representaties en de surrogate-modellen (die de relatie tussen input en output schatten) verouderd ("stale"). Dit leidt tot een degradatie van de optimalisatieprestaties. Bestaande methoden voor tijdsvariabele BO zijn vaak beperkt tot continue ruimtes en houden geen rekening met de dynamiek van de lerende latente ruimte zelf.

2. Methodologie: TALBO

De auteurs stellen Time-Aware Latent Space Bayesian Optimization (TALBO) voor. Dit is een raamwerk dat tijdsdrift expliciet modelleert op twee niveaus:

1. In de surrogate: Het model dat de objective functie schat.
2. In de generatieve representatie: Het model dat de latente ruimte definieert.

Kerncomponenten:

• Dual Temporal Modeling:

  • Surrogate: Er wordt een spatiotemporale Gaussian Process (GP) gebruikt om de functie $g(z, t)$ te modelleren in de latente ruimte. Hierbij is $z$ de latente code en $t$ de tijd. Dit zorgt ervoor dat het model rekening houdt met verouderde observaties en de evolutie van het doelwit.
  • Representatie: In plaats van een statische VAE, gebruikt TALBO een GP-prior Variational Autoencoder (DGBFGP). De latente code $z$ wordt niet gezien als een statisch punt, maar als een functie van covariaten $c(x, t)$, waarbij tijd $t$ een expliciete covariaat is. Hierdoor verandert de geometrie van de latente ruimte mee met de tijd, waardoor de zoekruimte blijft uitgelijnd met het huidige doelwit.

• DGBFGP (Deep Generative Basis Function GP):

  • Om schaalbaarheid te garanderen, gebruikt het model een Hilbert-ruimte-basisfunctie-benadering voor de GP-prior.
  • De latente code wordt berekend als een som van effecten van covariaten (waaronder tijd): $z(c) = \sum A^{(r)}\phi^{(r)}(c^{(r)})$.
  • Dit maakt de latente ruimte expliciet tijd-afhankelijk en coherent.

• Iteratief Proces (Algorithm 1):

  1. Embedding: Geoptimaliseerde ontwerpen worden ingebed in de latente ruimte met de huidige tijd $t$ als covariaat.
  2. Surrogate Update: Een spatiotemporale GP wordt gefit op de data $(z, t, y)$.
  3. Acquisitie: Een nieuwe latente query wordt geselecteerd via een acquisitiefunctie (bijv. Thompson Sampling) binnen een Trust Region (TuRBO).
  4. Decoding & Evaluatie: De latente code wordt gedecodeerd naar een molecuul en geëvalueerd.
  5. Update Representatie: Periodiek wordt het generatieve model (decoder en GP-prior) bijgewerkt om de latente geometrie te aligneren met de nieuwe waarnemingen, waarbij regularisatie en latente inversie worden gebruikt om fouten te minimaliseren.

3. Belangrijkste Bijdragen

• Conceptueel: De eerste formele formulering van tijdsvariabele LSBO, waarbij wordt erkend dat tijd zowel de surrogate als de latente inbedding beïnvloedt.
• Methodologisch: Introductie van TALBO, dat een spatiotemporale surrogate koppelt aan een conditionele generatieve representatie (DGBFGP) die door tijd wordt gestuurd.
• Empirisch: Een uitgebreide evaluatie op dynamische moleculaire ontwerptaken. De auteurs hebben bestaande benchmarks (GuacaMol) aangepast naar een regime met drijvende multi-eigenschap-doelwitten en nieuwe metrieken ontwikkeld voor veranderende doelen.

4. Resultaten

De auteurs hebben TALBO getest op vier moleculaire ontwerptaken (o.a. "Median Molecules" en "Composite Similarity") met een budget van 600 iteraties en een batchgrootte van 10.

• Prestatie: TALBO presteert consequent beter dan sterke baselines (InvBO, CoBO, LOL-BO, standaard LSBO) op alle taken. Het bereikt hogere "best-so-far" waarden onder het huidige doelwit en vertoont minder cumulatieve regret.
• Robuustheid: De methode is robuust voor verschillende snelheden van drift (gecontroleerd via de lengteschaal $\ell_w$ van de tijdkern). Zowel bij snelle als langzame veranderingen van voorkeuren blijft TALBO superieur.
• Static vs. Dynamic: In scenario's zonder tijdsdrift (statische doelwitten) blijft TALBO concurrerend en degradeert het niet significant ten opzichte van statische methoden, wat aantoont dat de tijdscomponent geen onnodige overhead introduceert.
• Beyond Dataset: In sommige gevallen slaagt TALBO erin om moleculen te vinden die beter zijn dan de beste 0,1% van het voortrainingsdataset, wat aangeeft dat de generatieve zoektocht effectief is zelfs onder dynamische omstandigheden.

5. Betekenis en Conclusie

Dit paper is een belangrijke stap voorwaarts in het veld van automatisch wetenschappelijk ontwerpen (zoals geneesmiddelenontwikkeling). Het erkent dat real-world ontwerpprocessen zelden statisch zijn.

• Praktische impact: TALBO biedt een oplossing voor situaties waar voorkeuren of omstandigheden veranderen tijdens het ontwerpproces, wat vaak voorkomt bij mens-in-de-lus systemen of bij het reageren op nieuwe biologische data.
• Technische innovatie: Door tijd te integreren in zowel de surrogate als de latente ruimte, lost TALBO het probleem op van "verouderde" representaties, wat een beperking was van eerdere LSBO-methoden.
• Toekomst: Het paper suggereert dat toekomstig werk zich moet richten op het beheer van verouderde data in LSBO en het modelleren van niet-stationaire drifts (bijv. abrupte veranderingen), maar legt een solide basis voor adaptieve optimalisatie in complexe, gestructureerde ruimtes.

Kortom, TALBO maakt Bayesian Optimization robuuster en praktischer voor dynamische, real-world ontwerpproblemen door de tijd expliciet te modelleren in de kern van het leerproces.