Closed-Loop Generative Selection: Convergence, Memory, and Noisy Oracles

Technische Samenvatting: Closed-Loop Generatieve Selectie

Probleemstelling
Closed-loop generatieve selectie is uitgegroeid tot een primaire methodologie binnen de computationele geneesmiddelenontdekking. In deze workflow stelt een geleerd generatief model kandidaat-moleculen voor, scoort een fitness-oracle (bijv. docking of assay) deze, en de beste kandidaten worden behouden om het model voor de volgende ronde te hertrainen. Ondanks het praktische nut ontbreekt het de methode aan een rigoureuze convergentietheorie. Klassieke analyses van evolutionaire algoritmen vertrouwen op de Markov-eigenschap van het populatieproces; echter, bij generatieve selectie wordt het model $G_t$ in elke ronde opnieuw getraind op basis van de geschiedenis van de elite-pools. Deze adaptatie doorbreekt de Markov-eigenschap van de populatiesequentie $(P_t)$, waardoor standaard analytische instrumenten ontoepasbaar worden. Bovendien ontbreekt in het vakgebied een verenigde theorie die de rol van geheugen (hoeveelheid verleden data die het model informeert), de impact van ruisende oracles, en de werkelijke kosten van de zoektocht—gemeten in oracle-evaluaties in plaats van algoritmische rondes—behandelt.

Methodologie en Wiskundig Kader
De auteurs ontwikkelen een zelfstandige theorie door het probleem te herformuleren op een uitgebreide toestandsruimte om een Markov-structuur te herstellen.

1. Markov-formulering: In plaats van alleen de populatie $P_t$ te analyseren, definiëren de auteurs een uitgebreide toestand $Z_t = (P_t, G_t)$ of een geschiedenistraject $H_t = (P_0, \dots, P_t)$. Zij bewijzen dat onder deterministische update-regels deze uitgebreide processen tijd-homogene Markov-ketens zijn.
2. Elitisme en Absorptie: Het algoritme maakt gebruik van een elitistische selectieregel (het behouden van de top-$N$ moleculen), wat garandeert dat de elite-fitness $f(P_t)$ niet-afnemend is. Dit creëert een absorberende structuur waarbij de doelset van $\epsilon$-optimale moleculen een absorberende toestand is.
3. Fitness-niveau Methode: De analyse deelt de zoektocht op in "verblijfsperioden" (sojourns) bij discrete fitness-niveaus. De verwachte hittijd wordt begrensd door de som van de verwachte tijden om elk niveau te verlaten. De ontsnappingskans op niveau $k$ hangt af van het vermogen van de generatieve kernel om moleculen voor te stellen die strikt fitter zijn dan het huidige niveau.
4. Geheugenmodellen: Het artikel analyseert drie regimes:
   • Statisch/Single-step: $G_t$ hangt alleen af van $P_t$.
   • Full-memory: $G_t$ hangt af van de volledige geschiedenis.
   • Eindig $m$-staps geheugen: $G_t$ hangt af van de laatste $m$ pools.
5. Omgaan met Ruis: De theorie wordt uitgebreid naar ruisende oracles door enkelvoudige evaluaties te vervangen door gerepliceerde queries en robuuste estimators (bijv. median-of-means, sign-tests) om fitness-verschillen te certificeren onder sub-Gaussische en heavy-tailed ruisverdelingen.

Kernbijdragen en Resultaten

• Convergentie en Hittijd-bounds:
  Het artikel bewijst bijna-zekere convergentie voor elk generatief selectie-algoritme dat voldoet aan een uniforme positiviteitsconditie (een vloer van uniforme exploratie). Het stelt een "Layered Hitting-Time Bound" vast waarbij het verwachte aantal rondes wordt begrensd door de som van de inverse ontsnappingskansen over de fitness-niveaus. Deze bound is scherper dan standaard geometrische staart-bounds omdat het rekening houdt met de landschapsstructuur.

• Geheugenhiërarchie en Monotoon Leren:
  Onder een "monotoon-lerende" conditie (waarbij conditionering op aanvullende historische data nooit de kans op het voorstellen van een beter molecuul verlaagt), bewijzen de auteurs een geheugenhiërarchie: dieper geheugen verbetert de ontsnappingskansen strikt (of schaadt ze tenminste niet) en vermindert de verwachte hittijd. In dit regime is full memory optimaal, en het voordeel van geheugen vertoont een afnemende meeropbrengst die exponentieel verzadigt.

• Niet-monotoon Leren en Optimale Geheugendiepte:
  Het artikel identificeert dat monotoon leren in de praktijk vaak faalt (bijvoorbeeld wanneer het middelen van ruisende pools een 'staleness bias' introduceert). In de afwezigheid van monotoniciteit leiden de auteurs een niet-monotone exit-time theorie af. Zij definiëren een "leerprofiel" $\rho_k(j)$ dat de ontsnappingskans weergeeft als functie van het aantal huidige-niveau pools in het venster. De verwachte verblijfstijd wordt aangetoond een U-vormige functie te zijn van de geheugendiepte $m$. Bijgevolg bestaat er een eindige optimale geheugendiepte $m^*$ die de variantiereductie van meer data afweegt tegen de bias van verouderde (stale) data. Deze optimale diepte komt overeen met de eerste piek van het leerprofiel.

• Evaluatie-minimale Strategie:
  Door de theorie te herformuleren in termen van oracle-evaluaties (de werkelijke bottleneck in drug design), bewijzen de auteurs dat sequentiële operatie ($M=1$) het totaal aantal evaluaties minimaliseert. Hoewel grotere batches ($M > 1$) het aantal rondes verminderen, verspillen ze evaluaties aan kandidaten die zelfs nog gescoord worden nadat er al een betere kandidaat is gevonden binnen dezelfde batch. De optimale strategie is om één kandidaat per keer voor te stellen, eventueel gecombineerd met memoisatie en vroege stopzetting.

• Ruisende Oracles:
  Voor sub-Gaussische ruis wordt de kosten van certificering opgeblazen met een factor proportioneel aan $\sigma^2/\Delta^2$, waarbij $\Delta$ het fitness-verschil is. Voor heavy-tailed ruis (waarbij de variantie mogelijk oneindig is), wordt aangetoond dat het steekproefgemiddelde onvoldoende is. De auteurs demonstreren dat robuuste estimators (median-of-means) of distributievrije sign-tests de correctheid herstellen, met query-kosten die geleidelijk degraderen met de zwaarte van de staart.

Betekenis en Claims
Het artikel claimt de eerste rigoureuze convergentie- en looptijdanalyse te bieden voor closed-loop generatieve selectie die rekening houdt met adaptieve leer-kernels. De betekenis ligt in:

1. Het Oplossen van de Markov-breuk: Door een uitgebreide toestandsruimte te construeren, overbruggen zij de kloof tussen adaptieve generatieve modellen en klassieke evolutionaire algoritme-theorie.
2. Het Kwantificeren van Geheugen: Het gaat verder dan de heuristiek "meer data is beter" om een precieze bias-variance afwegingsanalyse te bieden, waarbij wordt geïdentificeerd onder welke omstandigheden een eindig geheugen optimaal is.
3. Resource-optimalisatie: Het stelt vast dat voor kosten-beperkte geneesmiddelenontwikkeling sequentiële evaluatie ($M=1$) theoretisch optimaal is voor het minimaliseren van oracle-oproepen, wat de gangbare praktijk van parallelle evaluatie in grote batches uitdaagt.
4. Robuustheid: Het biedt een kader voor het omgaan met realistische, ruisende experimentele data, inclus\n bij heavy-tailed verdelingen die gebruikelijk zijn in biologische assays, zonder de convergentiegaranties op te offeren.

De auteurs concluderen dat hoewel de theorie abstract is en leunt op ondergrenzen voor ontsnappingskansen die afhangen van specifieke modelimplementaties, het een fundamenteel kader biedt voor het analyseren en ontwerpen van generatieve selectie-algoritmen. Zij identificeren drie openstaande problemen: het kwantificeren van ontsnappingskansen voor specifieke neurale architecturen, het ontwerpen van learners die zowel niet-monotoon als compositie-homogeen zijn om winsten in level-adaptief geheugen te realiseren, en het uitbreiden van robuuste certificering naar continue latente ruimtes en asymmetrische ruis.