Sequential Design of Genetic Circuits Under Uncertainty With Reinforcement Learning

Technische Zusammenfassung: Sequenzielles Design genetischer Schaltkreise unter Unsicherheit mit Reinforcement Learning

Problemstellung
Das Design robuster biologischer Systeme wird grundlegend durch zwei unterschiedliche Formen der Unsicherheit behindert: aleatorische Unsicherheit, die aus der intrinsischen Stochastik biomolekularer Reaktionen und Messrauschen resultiert, sowie epistemische Unsicherheit, die aus unvollständigem Wissen über Systemparameter und Variabilität unter experimentellen Bedingungen (z. B. labor-spezifische kinetische Raten) stammt. Traditionelle computergestützte Designstrategien verlassen sich oft auf iterative Zyklen aus Experiment, Inferenz und Optimierung. Obwohl diese bayesschen Ansätze konzeptionell fundiert sind, erfordern sie rechenintensive Parameterschätzung und Neuoptimierung nach jedem Experimentierzyklus. Dies führt zu erheblichen Verzögerungen zwischen Experimenten und erfordert eine Feinabstimmung der Inferenzalgorithmen während des Einsatzes, was ihren praktischen Nutzen in zeitkritischen oder ressourcenbeschränkten Bereichen der biologischen Ingenieurwissenschaften begrenzt.

Methodik
Die Autoren schlagen ein sequenzielles Framework vor, das das Problem des experimentellen Designs als Partially Observable Markov Decision Process (POMDP) neu formuliert. In dieser Formulierung:

• Latenter Zustand: Die unbekannten Systemparameter ($\theta$) bilden den latenten Zustand, der über verschiedene Laborumgebungen hinweg variiert, aber innerhalb eines einzelnen experimentellen Episoden fest bleibt.
• Aktionen: Kontrollierbare Designparameter (z. B. Promotorstärken, Induktorkonzentrationen) werden von einem Agenten ausgewählt.
• Beobachtungen: Der Agent erhält experimentelle Ausgaben (z. B. Genexpressionsverläufe), die von einem Simulator basierend auf der gewählten Aktion und den latenten Parametern generiert werden.
• Richtlinie (Policy): Anstatt nach jeder Beobachtung eine explizite Inferenz durchzuführen, verwenden die Autoren einen richtlinienbasierten Reinforcement-Learning (RL)-Ansatz. Eine neuronale Netzwerk-Richtlinie ($\pi_\psi$) wird trainiert, um die gesamte Historie von Aktionen und Beobachtungen ($h_t$) direkt auf die nächste Aktion ($a_t$) abzubilden.

Die Kerninnovation ist ein amortisierter Ansatz. Die Richtlinie wird vorab über eine Verteilung möglicher unsicherer Parameter trainiert, die aus einer Prior-Verteilung gezogen werden. Indem die Richtlinie während des Trainings vielen Realisierungen von $\theta$ ausgesetzt wird, lernt sie eine direkte Abbildung von experimentellen Historien auf optimale Aktionen. Dies ermöglicht es der Richtlinie, verborgene Systemparameter implizit zu inferieren und sich an unbekannte Bedingungen anzupassen, ohne dass während der Einsatzphase explizite Inferenzschritte erforderlich sind.

Das Training nutzt Proximal Policy Optimization (PPO), um die erwartete kumulative Belohnung über einen endlichen experimentellen Horizont ($T$) zu maximieren. Die Belohnungsfunktion wird basierend auf dem Designziel definiert (z. B. Maximierung der Protein-Ausbeute oder Anpassung an eine Ziel-Oszillationsfrequenz) und wird ausschließlich aus Beobachtungen berechnet (oder während des Trainings nur aus latenten Parametern, um sicherzustellen, dass während des Einsatzes keine Informationsleckage auftritt).

Hauptbeiträge

1. Amortisiertes Sequenzielles Design: Die Arbeit stellt eine Methode vor, die den Rechenaufwand vom experimentellen Prozess entkoppelt. Einmal trainiert, kann die Richtlinie unmittelbar nach Erhalt einer Beobachtung das nächste Experiment empfehlen und umgeht so den iterativen Flaschenhals aus Inferenz und Optimierung traditioneller bayesscher Methoden.
2. Behandlung dualer Unsicherheit: Das Framework adressiert explizit sowohl aleatorische Unsicherheit (modelliert via Markov-Jump-Prozesse oder Beobachtungsrauschen) als auch epistemische Unsicherheit (modelliert via Verteilungen latenter Parameter) gleichzeitig.
3. Historienbasierte Anpassung: Im Gegensatz zu Methoden, die sich nur auf die jüngste Beobachtung stützen, konditioniert die Richtlinie auf die vollständige Historie von Aktionen und Beobachtungen. Dies ermöglicht es ihr, vorheriges mechanistisches Wissen, das im Simulator kodiert ist, zu nutzen, um Entscheidungen auch in frühen, datenarmen Phasen zu lenken.
4. Kontinuierliche Aktionsräume: Der Ansatz operiert auf kontinuierlichen Designräumen, was eine feinkörnige Kontrolle über biologische Parameter ermöglicht, im Gegensatz zu früheren RL-Anwendungen in der synthetischen Biologie, die auf diskrete Aktionsräume beschränkt waren.

Ergebnisse
Das Framework wurde an zwei Aufgaben der synthetischen Biologie unter Verwendung simulierter Daten evaluiert:

1. Maximierung der heterologen Genexpression: Die Richtlinie hatte die Aufgabe, Induktionsniveaus so zu justieren, dass die Protein-Ausbeute in E. coli maximiert wird, unter Berücksichtigung von Wirtressourcen-Beschränkungen. Das Modell zeigte, dass die Richtlinie Induktionsniveaus an unbekannte Wirtparameter anpassen konnte und innerhalb eines 5-Schritte-Horizonts ein geringes Bedauern (Annäherung an die optimale Ausbeute) erreichte. Sie übertraf eine Bayessche-Optimierungs-Baseline, insbesondere durch die Nutzung vorherigen mechanistischen Wissens für bessere initiale Entscheidungen.
2. Design eines genetischen Oszillators (Repressilator): Die Richtlinie wurde angewendet, um einen Repressilator-Schaltkreis zu entwerfen, der eine spezifische Oszillationsfrequenz unter sowohl intrinsischem Rauschen als auch parametrischer Unsicherheit erreicht. Die Ergebnisse zeigten, dass die Richtlinie ihr Design sequenziell verfeinern, epistemische Unsicherheit reduzieren und sich auf die Ziel-Frequenz und ein regelmäßiges oszillatorisches Verhalten konvergieren konnte, selbst wenn sie mit breiten Parameter-Priors begann.

In beiden Fällen passte sich die Richtlinie erfolgreich latenten Umweltvariationen an, ohne während des Designzyklus eine explizite Parameterschätzung durchzuführen.

Bedeutung und Behauptungen
Die Autoren behaupten, dass dieser Ansatz eine praktische und effiziente Alternative zu traditionellen sequenziellen Designmethoden bietet. Durch die Verlagerung des Rechenaufwands in eine Offline-Trainingsphase ermöglicht die Methode Echtzeit-Entscheidungsfindung in Laborumgebungen. Die Arbeit betont, dass dies besonders für Experimente in frühen Phasen wertvoll ist, wo Daten knapp sind und vorheriges biologisches Wissen (kodiert im Simulator) entscheidend für die Lenkung der Suche ist.

Die Autoren sind bezüglich des aktuellen Umfangs bescheiden und stellen fest, dass alle Evaluierungen auf synthetischen Daten durchgeführt wurden. Sie erkennen potenzielle Einschränkungen an, darunter die „Amortisierungslücke" (wo die Richtlinie möglicherweise nicht für jede mögliche Parameterkonfiguration perfekt optimal ist) und die Herausforderung des Modell-Mismatches in realen biologischen Systemen, wo die Genauigkeit des Simulators begrenzt sein kann. Sie schlagen vor, dass zukünftige Arbeiten semi-amortisierte Strategien (Aktualisierung der Richtlinie mit Posterior-Informationen) und die Validierung in realen experimentellen Systemen untersuchen sollten, um diese Herausforderungen zu adressieren. Die Arbeit positioniert sich nicht als Ersatz für alle Optimierungsmethoden, sondern als spezialisiertes Werkzeug für Szenarien mit geringen Datenmengen und hoher Unsicherheit, in denen schnelle, adaptive Entscheidungsfindung erforderlich ist.