Switching-time bioprocess control with pulse-width-modulated optogenetics

Riepilogo Tecnico: Controllo dei Processi Biologici con Tempi di Commutazione tramite Optogenetica a Modulazione di Larghezza di Impulso

Enunciato del Problema
L'optogenetica offre un meccanismo potente per il controllo dinamico dei processi biologici modulando l'espressione genica tramite input luminosi. Tuttavia, il controllo tradizionale basato sull'intensità (regolazione dell'ampiezza del segnale) incontra limitazioni significative quando la relazione dose-risposta del sistema (intensità luminosa vs. forza dell'espressione genica) è ripida. In tali scenari, il sistema tende a saturare, limitando efficacemente il funzionamento a stati completamente attivi o completamente repressi con scarsa sintonizzabilità intermedia. Sebbene la Modulazione di Larghezza di Impulso (PWM) — che alterna stati luminosi completamente ON e OFF all'interno di periodi di forzatura predefiniti — possa smussare la risposta media e migliorare la sintonizzabilità, l'ottimizzazione delle strategie PWM è computazionalmente impegnativa. La formulazione di questo problema come controllo ottimo a tempi di commutazione con input binari richiede tipicamente un'ottimizzazione mista-intera su una griglia temporale fine. All'aumentare del numero di periodi di forzatura e della risoluzione della griglia, il numero di variabili decisionali binarie cresce rapidamente, rendendo il problema di ottimizzazione intrattabile o restringendo lo spazio delle soluzioni se vengono utilizzate griglie più grezze.

Metodologia
Gli autori propongono una soluzione alternativa basata sull'Apprendimento per Rinforzo (RL) che evita variabili decisionali binarie esplicite su griglie fini. L'innovazione centrale è la parametrizzazione delle azioni di controllo tramite cicli di lavoro ($D_k$), una variabile proxy continua che rappresenta la frazione di tempo in cui la luce è ON all'interno di un periodo di forzatura $T$.

1. Formulazione del Problema: Il problema di controllo è inquadrato come un problema di controllo ottimo a tempi di commutazione in cui le variabili decisionali sono i tempi di commutazione ($\tau_{i,k}$) per input luminosi binari. L'obiettivo è minimizzare l'errore di tracciamento tra l'output del sistema (ad esempio, la biomassa) e una traiettoria di riferimento.
2. Framework RL: Gli autori mappano il problema di commutazione binaria su un Processo Decisionale di Markov (MDP). Invece di ottimizzare direttamente gli input binari, l'agente RL ottimizza il ciclo di lavoro continuo $D_k \in [0, 1]$. Il ciclo di lavoro determina univocamente il tempo di commutazione tramite $\tau_{i,k} = (k + D_{i,k})T$.
3. Ottimizzazione della Politica: Una rete di politica stocastica (completamente connessa con 4 livelli nascosti) viene addestrata utilizzando gradienti della politica. L'input alla politica include stati correnti e precedenti, cicli di lavoro precedenti e un'incorporazione temporale. La funzione di ricompensa è definita come l'errore di tracciamento quadratico negativo (sia costi di fase che terminali).
4. Addestramento con Gemello Digitale: Le politiche RL sono addestrate in silico utilizzando un gemello digitale di un processo biologico di Escherichia coli. Per garantire robustezza, l'ambiente di addestramento incorpora la randomizzazione delle condizioni iniziali e dei parametri cinetici (specificamente il tasso massimo di espressione genica) con livelli variabili di incertezza (2,5%, 5% e 7,5%).

Studio di Caso e Risultati
La metodologia è stata validata su uno studio di caso che coinvolge il controllo optogenetico della crescita di E. coli. Il sistema ha utilizzato un ceppo auxotrofo per la lisina in cui la sintesi della lisina è controllata da un sistema ccaS/ccaR inducibile con luce verde. L'obiettivo era tracciare una traiettoria di riferimento della biomassa a tre punti di setpoint (3 $\to$ 5 $\to$ 7 g/L) nell'arco di 24 ore utilizzando 24 periodi di forzatura.

• Controllo Basato sull'Intensità: Quando addestrato a controllare direttamente l'intensità luminosa (ampiezza continua), la politica RL non è riuscita a convergere efficacemente. La funzione di attivazione di tipo Hill ripida ha determinato transizioni di espressione genica quasi binarie, fornendo gradienti deboli e rumorosi per l'apprendimento. Ciò ha portato a scarse prestazioni di tracciamento e ad un'alta variabilità nel ritorno.
• Controllo Guidato dalla PWM: Al contrario, l'approccio PWM basato sul ciclo di lavoro ha dimostrato una convergenza robusta a tutti i livelli di incertezza. L'effetto di smussamento dell'averaggiamento degli stati ON/OFF durante il periodo di forzatura ha fornito una mappa input-output più lineare e informativa per l'algoritmo di apprendimento.
• Prestazioni: Le politiche derivate dalla PWM hanno raggiunto un'alta accuratezza di tracciamento, corrispondendo strettamente alla traiettoria di riferimento anche sotto significativa incertezza parametrica. La dinamica risultante della biomassa ha mostrato bassa variabilità, e i cicli di lavoro hanno seguito pattern coerenti per mantenere i setpoint e facilitare le transizioni. L'intensità luminosa fisica è rimasta binaria (ON/OFF), ma il controllo effettivo è stato continuo tramite la modulazione del ciclo di lavoro.

Contributi Chiave e Significato
Il documento afferma che la strategia RL proposta risolve efficacemente il problema di controllo ottimo a tempi di commutazione per l'optogenetica guidata dalla PWM mediante:

1. Evitare la Complessità Combinatoria: Utilizzando i cicli di lavoro come proxy continui, il metodo bypassa la necessità di ottimizzazione mista-intera su griglie fini, rendendo il problema compatibile con framework RL standard ad azione continua.
2. Miglioramento della Sintonizzabilità: L'approccio sfrutta lo smussamento intrinseco della PWM per superare le limitazioni delle curve dose-risposta ripide, consentendo una regolazione fine dei livelli proteici che sarebbe difficile con il controllo basato solo sull'intensità.
3. Robustezza: Lo studio dimostra che le politiche addestrate con randomizzazione del dominio (variando condizioni iniziali e parametri cinetici) rimangono efficaci sotto incertezza, mantenendo prestazioni di controllo stabili laddove i metodi basati sull'intensità falliscono.

Conclusione
Gli autori concludono che questo approccio basato su RL fornisce un framework pratico e robusto per il controllo di processi biologici optogenetici con caratteristiche di dose-risposta ripide. Sebbene lo studio attuale si concentri su sistemi a ingresso singolo e distribuzioni di incertezza specificate durante l'addestramento, gli autori notano che la metodologia è generalizzabile ad altri input di tipo ciclo di lavoro (ad esempio, cicli di luce per microalghe, alimentazione pulsata) e che i lavori futuri affronteranno disturbi fuori distribuzione e la validazione sperimentale.