Sequential Design of Genetic Circuits Under Uncertainty With Reinforcement Learning

Sintesi Tecnica: Progettazione Sequenziale di Circuiti Genetici in Condizioni di Incertezza con Apprendimento per Rinforzo

Enunciazione del Problema
La progettazione di sistemi biologici robusti è fondamentalmente ostacolata da due forme distinte di incertezza: l'incertezza aleatoria, derivante dalla stocasticità intrinseca delle reazioni biomolecolari e dal rumore di misura, e l'incertezza epistemica, che scaturisce dalla conoscenza incompleta dei parametri del sistema e dalla variabilità tra le condizioni sperimentali (ad esempio, le velocità cinetiche specifiche del laboratorio). Le strategie computazionali tradizionali di progettazione spesso si basano su cicli iterativi di esperimento, inferenza e ottimizzazione. Sebbene concettualmente solide, questi approcci bayesiani richiedono inferenze parametriche e ri-ottimizzazioni computazionalmente costose dopo ogni round sperimentale. Ciò genera ritardi significativi tra gli esperimenti e necessita di una messa a punto degli algoritmi di inferenza durante il dispiegamento, limitandone l'utilità pratica nell'ingegneria biologica sensibile al tempo o vincolata dalle risorse.

Metodologia
Gli autori propongono un framework sequenziale che riformula il problema della progettazione sperimentale come un Processo Decisionale di Markov Parzialmente Osservabile (POMDP). In questa formulazione:

• Stato Latente: I parametri ignoti del sistema ($\theta$) costituiscono lo stato latente, che varia tra diversi ambienti di laboratorio ma rimane fisso all'interno di un singolo episodio sperimentale.
• Azioni: I parametri di progettazione controllabili (ad esempio, le forze dei promotori, le concentrazioni di induttore) sono selezionati da un agente.
• Osservazioni: L'agente riceve output sperimentali (ad esempio, traiettorie di espressione genica) generati da un simulatore basato sull'azione scelta e sui parametri latenti.
• Politica: Invece di eseguire un'inferenza esplicita dopo ogni osservazione, gli autori adottano un approccio basato su politica nell'Apprendimento per Rinforzo (RL). Una politica di rete neurale ($\pi_\psi$) viene addestrata per mappare l'intera storia di azioni e osservazioni ($h_t$) direttamente alla prossima azione ($a_t$).

L'innovazione centrale è un approccio ammortizzato. La politica viene addestrata in anticipo su una distribuzione di possibili parametri incerti campionati da una distribuzione a priori. Esponendo la politica a molte realizzazioni di $\theta$ durante l'addestramento, essa apprende una mappatura diretta dalle storie sperimentali alle azioni ottimali. Ciò consente alla politica di inferire implicitamente i parametri nascosti del sistema e adattarsi a condizioni sconosciute senza passaggi di inferenza esplicita durante la fase di dispiegamento.

L'addestramento utilizza l'Ottimizzazione della Politica Prossimale (PPO) per massimizzare la ricompensa cumulativa attesa su un orizzonte sperimentale finito ($T$). La funzione di ricompensa è definita in base all'obiettivo di progettazione (ad esempio, massimizzare la resa proteica o corrispondere a una frequenza di oscillazione target) ed è calcolata esclusivamente dalle osservazioni (o dai parametri latenti durante l'addestramento solamente, garantendo che non vi sia alcuna perdita di informazioni durante il dispiegamento).

Contributi Chiave

1. Progettazione Sequenziale Ammortizzata: Il documento introduce un metodo che disaccoppia lo sforzo computazionale dal processo sperimentale. Una volta addestrata, la politica può raccomandare il prossimo esperimento immediatamente al ricevimento di un'osservazione, aggirando il collo di bottiglia iterativo inferenza-ottimizzazione dei metodi bayesiani tradizionali.
2. Gestione della Doppia Incertezza: Il framework affronta esplicitamente e simultaneamente sia l'incertezza aleatoria (modellata tramite Processi di Salto di Markov o rumore osservazionale) sia l'incertezza epistemica (modellata tramite distribuzioni di parametri latenti).
3. Adattamento Basato sulla Storia: A differenza di metodi che condizionano solo sull'osservazione più recente, la politica condiziona sull'intera storia di azioni e osservazioni, consentendole di sfruttare la conoscenza meccanicistica precedente codificata nel simulatore per guidare le decisioni anche nelle fasi iniziali, caratterizzate da scarsità di dati.
4. Spazi di Azione Continui: L'approccio opera su spazi di progettazione continui, permettendo un controllo fine-granulare sui parametri biologici, a differenza delle precedenti applicazioni di RL nella biologia sintetica che erano limitate a spazi di azione discreti.

Risultati
Il framework è stato valutato su due compiti di biologia sintetica utilizzando dati simulati:

1. Massimizzazione dell'Espressione Genica Eterologa: La politica è stata incaricata di sintonizzare i livelli di induzione per massimizzare la resa proteica in E. coli tenendo conto delle limitazioni delle risorse dell'ospite. Il modello ha dimostrato che la politica poteva adattare i livelli di induzione a parametri ospiti sconosciuti, raggiungendo un basso rimpianto (vicinanza alla resa ottimale) entro un orizzonte di 5 passaggi. Ha superato una linea di base di ottimizzazione bayesiana, in particolare sfruttando la conoscenza meccanicistica precedente per prendere decisioni iniziali migliori.
2. Progettazione di Oscillatore Genetico (Repressilatore): La politica è stata applicata per progettare un circuito repressilatore per raggiungere una specifica frequenza di oscillazione sia sotto rumore intrinseco che incertezza parametrica. I risultati hanno mostrato che la politica poteva affinare sequenzialmente la sua progettazione, riducendo l'incertezza epistemica e convergendo verso la frequenza target e un comportamento oscillatorio regolare, anche partendo da priori parametrici ampi.

In entrambi i casi, la politica si è adattata con successo alle variazioni ambientali latenti senza eseguire un'inferenza parametrica esplicita durante il ciclo di progettazione.

Significato e Affermazioni
Gli autori affermano che questo approccio offre un'alternativa pratica ed efficiente ai metodi tradizionali di progettazione sequenziale. Spostando l'onere computazionale in una fase di addestramento offline, il metodo abilita il processo decisionale in tempo reale in ambienti di laboratorio. Il documento sottolinea che ciò è particolarmente prezioso per la sperimentazione nelle fasi iniziali, dove i dati sono scarsi e la conoscenza biologica precedente (codificata nel simulatore) è cruciale per guidare la ricerca.

Gli autori sono modesti riguardo all'attuale portata, notando che tutte le valutazioni sono state condotte su dati sintetici. Riconoscono potenziali limitazioni, incluso il "divario di ammortizzazione" (dove la politica potrebbe non essere perfettamente ottimale per ogni possibile configurazione parametrica) e la sfida del mismatch del modello nei sistemi biologici reali, dove la fedeltà del simulatore potrebbe essere limitata. Suggeriscono che il lavoro futuro dovrebbe esplorare strategie semi-ammortizzate (aggiornando la politica con informazioni posteriori) e la validazione in sistemi sperimentali reali per affrontare queste sfide. Il documento si posiziona non come un sostituto per tutti i metodi di ottimizzazione, ma come uno strumento specializzato per scenari a bassa quantità di dati e ad alta incertezza dove è richiesto un processo decisionale rapido e adattivo.