Sequential Design of Genetic Circuits Under Uncertainty With Reinforcement Learning

Resumen Técnico: Diseño Secuencial de Circuitos Genéticos bajo Incertidumbre con Aprendizaje por Refuerzo

Enunciado del Problema
El diseño de sistemas biológicos robustos se ve fundamentalmente obstaculizado por dos formas distintas de incertidumbre: la incertidumbre aleatoria, que surge de la estocasticidad intrínseca de las reacciones biomoleculares y el ruido de medición, y la incertidumbre epistémica, que proviene del conocimiento incompleto de los parámetros del sistema y la variabilidad entre condiciones experimentales (por ejemplo, tasas cinéticas específicas del laboratorio). Las estrategias computacionales tradicionales de diseño suelen depender de ciclos iterativos de experimentación, inferencia y optimización. Aunque conceptualmente sólidas, estas aproximaciones bayesianas requieren inferencia de parámetros y reoptimización computacionalmente costosas tras cada ronda experimental. Esto genera retrasos significativos entre experimentos y exige un ajuste fino de los algoritmos de inferencia durante la implementación, limitando su utilidad práctica en ingeniería biológica sensible al tiempo o con recursos limitados.

Metodología
Los autores proponen un marco secuencial que reformula el problema del diseño experimental como un Proceso de Decisión de Markov Parcialmente Observable (POMDP). En esta formulación:

• Estado Latente: Los parámetros desconocidos del sistema ($\theta$) constituyen el estado latente, el cual varía entre diferentes configuraciones de laboratorio pero permanece fijo dentro de un episodio experimental único.
• Acciones: Los parámetros de diseño controlables (por ejemplo, fuerzas de promotores, concentraciones de inductores) son seleccionados por un agente.
• Observaciones: El agente recibe salidas experimentales (por ejemplo, trayectorias de expresión génica) generadas por un simulador basadas en la acción elegida y los parámetros latentes.
• Política: En lugar de realizar inferencia explícita tras cada observación, los autores emplean un enfoque de Aprendizaje por Refuerzo (RL) basado en políticas. Una política de red neuronal ($\pi_\psi$) se entrena para mapear el historial completo de acciones y observaciones ($h_t$) directamente a la siguiente acción ($a_t$).

La innovación central es un enfoque amortizado. La política se entrena de antemano a través de una distribución de posibles parámetros inciertos muestreados a partir de una priori. Al exponer la política a muchas realizaciones de $\theta$ durante el entrenamiento, esta aprende un mapeo directo desde los historiales experimentales hacia las acciones óptimas. Esto permite que la política infiera implícitamente los parámetros ocultos del sistema y se adapte a condiciones desconocidas sin pasos de inferencia explícita durante la fase de implementación.

El entrenamiento utiliza Optimización de Política Próxima (PPO) para maximizar la recompensa acumulada esperada sobre un horizonte experimental finito ($T$). La función de recompensa se define basándose en el objetivo de diseño (por ejemplo, maximizar el rendimiento de proteínas o igualar una frecuencia de oscilación objetivo) y se calcula únicamente a partir de observaciones (o parámetros latentes durante el entrenamiento únicamente, asegurando que no haya filtración de información durante la implementación).

Contribuciones Clave

1. Diseño Secuencial Amortizado: El artículo introduce un método que desacopla el esfuerzo computacional del proceso experimental. Una vez entrenada, la política puede recomendar el siguiente experimento inmediatamente al recibir una observación, eludiendo el cuello de botella iterativo de inferencia-optimización de los métodos bayesianos tradicionales.
2. Manejo de la Doble Incertidumbre: El marco aborda explícitamente simultáneamente tanto la incertidumbre aleatoria (modelada mediante Procesos de Salto de Markov o ruido de observación) como la incertidumbre epistémica (modelada mediante distribuciones de parámetros latentes).
3. Adaptación Basada en el Historial: A diferencia de los métodos que condicionan solo a la observación más reciente, la política se condiciona al historial completo de acciones y observaciones, lo que le permite aprovechar el conocimiento mecánico previo codificado en el simulador para guiar las decisiones incluso en etapas tempranas con escasez de datos.
4. Espacios de Acción Continuos: El enfoque opera sobre espacios de diseño continuos, permitiendo un control fino sobre los parámetros biológicos, a diferencia de aplicaciones anteriores de RL en biología sintética que estaban restringidas a espacios de acción discretos.

Resultados
El marco fue evaluado en dos tareas de biología sintética utilizando datos simulados:

1. Maximización de la Expresión Génica Heteróloga: La política tuvo la tarea de ajustar los niveles de inducción para maximizar el rendimiento de proteínas en E. coli mientras se tenían en cuenta las limitaciones de recursos del huésped. El modelo demostró que la política podía adaptar los niveles de inducción a parámetros de huésped desconocidos, logrando un arrepentimiento bajo (proximidad al rendimiento óptimo) dentro de un horizonte de 5 pasos. Superó a una línea base de optimización bayesiana, particularmente al aprovechar el conocimiento mecánico previo para tomar mejores decisiones iniciales.
2. Diseño de Oscilador Genético (Represilador): La política se aplicó para diseñar un circuito represilador para lograr una frecuencia de oscilación específica bajo ruido intrínseco e incertidumbre paramétrica. Los resultados mostraron que la política podía refinar secuencialmente su diseño, reduciendo la incertidumbre epistémica y convergiendo hacia la frecuencia objetivo y un comportamiento oscilatorio regular, incluso al comenzar con priores de parámetros amplios.

En ambos casos, la política se adaptó con éxito a variaciones ambientales latentes sin realizar inferencia de parámetros explícita durante el ciclo de diseño.

Significado y Afirmaciones
Los autores afirman que este enfoque ofrece una alternativa práctica y eficiente a los métodos tradicionales de diseño secuencial. Al trasladar la carga computacional a una fase de entrenamiento fuera de línea, el método habilita la toma de decisiones en tiempo real en entornos de laboratorio. El artículo enfatiza que esto es particularmente valioso para la experimentación en etapas tempranas, donde los datos son escasos y el conocimiento biológico previo (codificado en el simulador) es crucial para guiar la búsqueda.

Los autores son modestos respecto al alcance actual, señalando que todas las evaluaciones se realizaron sobre datos sintéticos. Reconocen limitaciones potenciales, incluido el "vacío de amortización" (donde la política puede no ser perfectamente óptima para cada configuración posible de parámetros) y el desafío del desajuste del modelo en sistemas biológicos del mundo real donde la fidelidad del simulador puede ser limitada. Sugieren que el trabajo futuro debería explorar estrategias semi-amortizadas (actualizando la política con información posterior) y la validación en sistemas experimentales reales para abordar estos desafíos. El artículo se posiciona no como un reemplazo para todos los métodos de optimización, sino como una herramienta especializada para escenarios de baja cantidad de datos y alta incertidumbre donde se requiere una toma de decisiones rápida y adaptativa.