Sequential Design of Genetic Circuits Under Uncertainty With Reinforcement Learning

Technische Samenvatting: Sequentieel Ontwerp van Genetische Schakelingen onder Onzekerheid met Versterkingsleren

Probleemstelling
Het ontwerp van robuuste biologische systemen wordt fundamenteel gehinderd door twee onderscheiden vormen van onzekerheid: aleatorische onzekerheid, voortvloeiend uit de intrinsieke stochastiek van biomoleculaire reacties en meetruis, en epistemische onzekerheid, voortkomend uit onvolledige kennis van systeemparameters en variabiliteit over experimentele omstandigheden (bijvoorbeeld laboratoriumspecifieke kinetische snelheden). Traditionele computationele ontwerpstategieën vertrouwen vaak op iteratieve cycli van experiment, inferentie en optimalisatie. Hoewel deze Bayesiaanse benaderingen conceptueel solide zijn, vereisen ze rekenkundig kostbare parameterinferentie en heroptimalisatie na elke experimentele ronde. Dit leidt tot aanzienlijke vertragingen tussen experimenten en vereist fijnafstemming van inferentie-algoritmen tijdens de implementatie, wat hun praktische bruikbaarheid beperkt in tijdsgevoelige of middelenbeperkte biologische engineering.

Methodologie
De auteurs stellen een sequentieel kader voor dat het probleem van experimenteel ontwerp herformuleert als een Partieel waarneembaar Markov-besluitproces (POMDP). In deze formulering:

• Latente Toestand: De onbekende systeemparameters ($\theta$) vormen de latente toestand, die varieert over verschillende laboratoriuminstellingen maar constant blijft binnen een enkel experimenteel episode.
• Acties: Controleerbare ontwerpparameters (bijvoorbeeld promotorsterktes, inducerconcentraties) worden geselecteerd door een agent.
• Observaties: De agent ontvangt experimentele output (bijvoorbeeld genexpressietrajecten) gegenereerd door een simulator op basis van de gekozen actie en de latente parameters.
• Beleid: In plaats van expliciete inferentie uit te voeren na elke observatie, hanteren de auteurs een beleidsgedreven Versterkingsleren (RL)-benadering. Een neurale netwerkbeleid ($\pi_\psi$) wordt getraind om de volledige geschiedenis van acties en observaties ($h_t$) direct af te beelden op de volgende actie ($a_t$).

De kerninnovatie is een geamortiseerde aanpak. Het beleid wordt vooraf getraind over een verdeling van mogelijke onzekere parameters, gesampled uit een prior. Door het beleid tijdens het trainen bloot te stellen aan vele realisaties van $\theta$, leert het een directe mapping van experimentele geschiedenissen naar optimale acties. Hierdoor kan het beleid impliciet verborgen systeemparameters infereren en zich aanpassen aan onbekende omstandigheden zonder expliciete inferentiestappen tijdens de implementatiefase.

Het trainingsproces maakt gebruik van Proximal Policy Optimization (PPO) om de verwachte cumulatieve beloning over een eindige experimentele horizon ($T$) te maximaliseren. De beloningsfunctie is gedefinieerd op basis van het ontwerpdoel (bijvoorbeeld het maximaliseren van proteïneopbrengst of het matchen van een doeloscillatiefrequentie) en wordt uitsluitend berekend uit observaties (of latente parameters tijdens training alleen, om te garanderen dat er geen informatielek optreedt tijdens implementatie).

Belangrijkste Bijdragen

1. Geamortiseerd Sequentieel Ontwerp: Het artikel introduceert een methode die de rekenkundige inspanning ontkoppelt van het experimentele proces. Zodra het beleid is getraind, kan het onmiddellijk de volgende experimentele stap aanbevelen bij ontvangst van een observatie, waardoor de iteratieve inferentie-optimalisatieknelpunt van traditionele Bayesiaanse methoden wordt omzeild.
2. Omgaan met Dubbele Onzekerheid: Het kader adresseert expliciet zowel aleatorische onzekerheid (gemodelleerd via Markov-sprongprocessen of observationele ruis) als epistemische onzekerheid (gemodelleerd via verdelingen van latente parameters) gelijktijdig.
3. Op Geschiedenis Gebaseerde Adaptatie: In tegenstelling tot methoden die alleen conditioneren op de meest recente observatie, conditioneert het beleid op de volledige geschiedenis van acties en observaties. Hierdoor kan het gebruikmaken van eerder mechanistische kennis, gecodeerd in de simulator, om beslissingen te sturen, zelfs in vroege, data-schaarse fasen.
4. Continue Actieruimtes: De aanpak werkt op continue ontwerpruimtes, waardoor fijnmazige controle over biologische parameters mogelijk is, in tegenstelling tot eerdere RL-toepassingen in synthetische biologie die beperkt waren tot discrete actieruimtes.

Resultaten
Het kader werd geëvalueerd op twee synthetische biologie-taken met behulp van gesimuleerde data:

1. Maximaliseren van Heterologe Genexpressie: Het beleid had de taak om inductieniveaus af te stemmen om de proteïneopbrengst in E. coli te maximaliseren, rekening houdend met beperkingen in gastheerbronnen. Het model toonde aan dat het beleid in staat was inductieniveaus aan te passen aan onbekende gastheerparameters, waarbij lage regret (nabijheid tot optimale opbrengst) werd bereikt binnen een horizon van 5 stappen. Het presteerde beter dan een Bayesiaanse optimalisatie-baseline, met name door gebruik te maken van eerder mechanistische kennis om betere initiële beslissingen te nemen.
2. Ontwerp van Genetische Oscillator (Repressilator): Het beleid werd toegepast om een repressilator-schakeling te ontwerpen om een specifieke oscillatiefrequentie te bereiken onder zowel intrinsieke ruis als parametrische onzekerheid. De resultaten toonden aan dat het beleid zijn ontwerp sequentieel kon verfijnen, epistemische onzekerheid kon reduceren en convergeren naar de doeloscillatiefrequentie en regelmatig oscillatief gedrag, zelfs bij het starten met brede parameterpriors.

In beide gevallen slaagde het beleid erin zich aan te passen aan latente omgevingsvariaties zonder expliciete parameterinferentie uit te voeren tijdens de ontwerpcyclus.

Betekenis en Aanspraken
De auteurs stellen dat deze aanpak een praktisch en efficiënt alternatief biedt voor traditionele sequentiële ontwerpmethoden. Door de rekenkundige last te verschuiven naar een offline trainingsfase, maakt de methode besluitvorming in real-time in laboratoriumomgevingen mogelijk. Het artikel benadrukt dat dit bijzonder waardevol is voor experimenten in een vroeg stadium, waar data schaars is en eerder biologische kennis (gecodeerd in de simulator) cruciaal is voor het sturen van de zoektocht.

De auteurs zijn bescheiden wat betreft de huidige reikwijdte, en merken op dat alle evaluaties zijn uitgevoerd op synthetische data. Zij erkennen potentiële beperkingen, waaronder de "geamortiseerde kloof" (waarbij het beleid mogelijk niet perfect optimaal is voor elke mogelijke parameterconfiguratie) en de uitdaging van modelmismatch in echte biologische systemen waar de fideliteit van de simulator beperkt kan zijn. Zij suggereren dat toekomstig werk semi-geamortiseerde strategieën moet verkennen (het bijwerken van het beleid met posteriorinformatie) en validatie in echte experimentele systemen om deze uitdagingen aan te pakken. Het artikel positioneert zichzelf niet als vervanging voor alle optimalisatiemethoden, maar als een gespecialiseerd hulpmiddel voor scenario's met weinig data en hoge onzekerheid waar snelle, adaptieve besluitvorming vereist is.