Sequential Design of Genetic Circuits Under Uncertainty With Reinforcement Learning

기술 요약: 강화 학습을 활용한 불확실성 하의 유전 회로 순차 설계

문제 제기
강건한 생물학적 시스템 설계는 두 가지 구별되는 형태의 불확실성에 근본적으로 방해받습니다: 생체 분자 반응의 고유한 확률성과 측정 노이즈에서 비롯되는 **우연적 불확실성 (aleatoric uncertainty)**과, 시스템 파라미터에 대한 지식 부족 및 실험 조건 간의 변동성 (예: 실험실별 반응 속도 상수) 에서 비롯되는 **인지적 불확실성 (epistemic uncertainty)**입니다. 전통적인 계산 설계 전략은 종종 실험, 추론, 최적화의 반복적 순환에 의존합니다. 개념적으로는 타당하지만, 이러한 베이지안 접근법은 매 실험 라운드 후 파라미터 추론과 재최적화에 막대한 계산 비용이 요구됩니다. 이는 실험 간에 상당한 지연을 초래하고 배포 중 추론 알고리즘의 미세 조정을 필요로 하여, 시간 민감적이거나 자원이 제한된 생물 공학 분야에서 실용성을 제한합니다.

방법론
저자들은 실험 설계 문제를 **부분 관측 마르코프 결정 과정 (POMDP)**으로 재구성하는 순차적 프레임워크를 제안합니다. 이 공식화에서:

• 잠재 상태: 알려지지 않은 시스템 파라미터 ($\theta$) 는 잠재 상태를 구성하며, 이는 서로 다른 실험실 설정 간에는 변하지만 단일 실험 에피소드 내에서는 고정됩니다.
• 행동: 조절 가능한 설계 파라미터 (예: 프로모터 강도, 유도제 농도) 가 에이전트에 의해 선택됩니다.
• 관측: 에이전트는 선택된 행동과 잠재 파라미터에 기반한 시뮬레이터가 생성한 실험 출력 (예: 유전자 발현 궤적) 을 관측합니다.
• 정책: 매 관측 후 명시적 추론을 수행하는 대신, 저자들은 정책 기반 강화 학습 (RL) 접근법을 사용합니다. 신경망 정책 ($\pi_\psi$) 은 행동과 관측의 전체 기록 ($h_t$) 을 다음 행동 ($a_t$) 으로 직접 매핑하도록 훈련됩니다.

핵심 혁신은 상각 (amortized) 접근법입니다. 정책은 사전 분포에서 샘플링된 가능한 불확실한 파라미터들의 분포에 대해 사전에 훈련됩니다. 훈련 중 $\theta$의 많은 실현에 정책을 노출시킴으로써, 실험 기록에서 최적의 행동으로의 직접적인 매핑을 학습합니다. 이를 통해 정책은 배포 단계에서 명시적 추론 단계를 거치지 않고도 숨겨진 시스템 파라미터를 암묵적으로 추론하고 알려지지 않은 조건에 적응할 수 있습니다.

훈련은 유한한 실험 시간 범위 ($T$) 에 걸쳐 기대 누적 보상을 최대화하기 위해 **근접 정책 최적화 (PPO)**를 활용합니다. 보상 함수는 설계 목표 (예: 단백질 수율 극대화 또는 목표 진동 주파수 일치) 에 기반하여 정의되며, 관측치 (또는 배포 중 정보 누출을 방지하기 위해 훈련 중에만 잠재 파라미터) 로부터만 계산됩니다.

주요 기여

1. 상각된 순차 설계: 본 논문은 계산 노력을 실험 과정과 분리하는 방법을 소개합니다. 일단 훈련되면 정책은 관측을 받자마자 다음 실험을 즉시 추천할 수 있어, 전통적인 베이지안 방법의 반복적 추론 - 최적화 병목 현상을 우회합니다.
2. 이중 불확실성 처리: 이 프레임워크는 우연적 불확실성 (마르코프 점프 과정 또는 관측 노이즈를 통해 모델링) 과 인지적 불확실성 (잠재 파라미터 분포를 통해 모델링) 을 명시적으로 동시에 다룹니다.
3. 기록 기반 적응: 최근 관측치에만 조건을 두는 방법과 달리, 이 정책은 행동과 관측의 전체 기록에 조건을 두어, 시뮬레이터에 인코딩된 기존 기계론적 지식을 활용하여 데이터가 부족한 초기 단계에서도 결정을 안내할 수 있게 합니다.
4. 연속 행동 공간: 이 접근법은 연속적인 설계 공간에서 작동하여, 이산 행동 공간으로 제한되었던 이전 합성 생물학의 RL 응용과 달리 생물학적 파라미터에 대한 세밀한 제어를 가능하게 합니다.

결과
이 프레임워크는 시뮬레이션 데이터를 사용하여 두 가지 합성 생물학 작업에 대해 평가되었습니다:

1. 이종 유전자 발현 극대화: 정책은 숙주 자원 제한을 고려하면서 E. coli에서 단백질 수율을 극대화하기 위해 유도 수준을 조정하는 임무를 수행했습니다. 이 모델은 정책이 알려지지 않은 숙주 파라미터에 적응하여 5 단계 시간 범위 내에서 낮은 후회 (최적 수율에 대한 근접성) 를 달성할 수 있음을 보여주었습니다. 특히 사전 기계론적 지식을 활용하여 더 나은 초기 결정을 내리는 데 있어 베이지안 최적화 기준선보다 우수한 성능을 발휘했습니다.
2. 유전 발진기 (Repressilator) 설계: 정책은 내재적 노이즈와 파라미터 불확실성 하에서 특정 진동 주파수를 달성하기 위해 레프레실레이터 회로를 설계하는 데 적용되었습니다. 결과는 정책이 광범위한 파라미터 사전 분포에서 시작하더라도 순차적으로 설계를 정제하여 인지적 불확실성을 줄이고 목표 주파수와 규칙적인 진동 거동으로 수렴할 수 있음을 보여주었습니다.

두 경우 모두 정책은 설계 주기 동안 명시적 파라미터 추론을 수행하지 않고도 잠재적 환경 변화에 성공적으로 적응했습니다.

의의 및 주장
저자들은 이 접근법이 전통적인 순차 설계 방법에 대한 실용적이고 효율적인 대안을 제공한다고 주장합니다. 계산 부하를 오프라인 훈련 단계로 이전함으로써, 이 방법은 실험실 환경에서 실시간 의사 결정을 가능하게 합니다. 논문은 데이터가 희소하고 사전 생물학적 지식 (시뮬레이터에 인코딩됨) 이 탐색을 안내하는 데 결정적인 초기 단계 실험에서 특히 가치가 있음을 강조합니다.

저자들은 현재 범위에 대해 겸손하게, 모든 평가가 합성 데이터에서 수행되었음을 지적합니다. 그들은 "상각 격차"(정책이 모든 가능한 파라미터 구성에 대해 완벽하게 최적일 수 없음) 와 시뮬레이터 충실도가 제한될 수 있는 실제 세계 생물학적 시스템에서의 모델 불일치를 포함한 잠재적 한계를 인정합니다. 저자들은 이러한 과제를 해결하기 위해 향후 연구가 사후 정보를 사용하여 정책을 업데이트하는 준상각 (semi-amortized) 전략과 실제 실험 시스템에서의 검증을 탐구해야 한다고 제안합니다. 이 논문은 모든 최적화 방법을 대체하는 것이 아니라, 신속하고 적응적인 의사 결정이 필요한 저데이터, 고불확실성 시나리오를 위한 전문 도구로 자신을 위치시킵니다.