Sequential Design of Genetic Circuits Under Uncertainty With Reinforcement Learning

技術的サマリー：強化学習を用いた不確実性下での遺伝子回路の逐次設計

問題定義
頑健な生物システムの設計は、本質的に 2 つの異なる形態の不確実性によって根本的に阻害されている。すなわち、生体分子反応および測定ノイズの内在的な確率性に起因する「偶然的不確実性（aleatoric uncertainty）」と、システムパラメータに関する知識の不完全さおよび実験条件間のばらつき（例：実験室固有の反応速度定数）に起因する「認識的不確実性（epistemic uncertainty）」である。従来の計算機設計戦略は、実験、推論、最適化の反復サイクルに依存することが多い。概念的には妥当であるものの、これらのベイズ的アプローチは、各実験ラウンド後に計算コストのかかるパラメータ推論と再最適化を必要とする。これにより実験間の遅延が生じ、展開時に推論アルゴリズムの微調整が必要となるため、時間的制約のある、あるいはリソースが限られた生物工学における実用的有用性が制限される。

手法
著者らは、実験設計問題を「部分観測マルコフ決定過程（POMDP）」として再定義する「逐次フレームワーク」を提案する。この定式化において：

• 潜在状態：未知のシステムパラメータ（$\theta$）は潜在状態を構成し、これは異なる実験室設定間で変化するが、単一の実験エピソード内では固定される。
• 行動：制御可能な設計パラメータ（例：プロモーター強度、誘導物質濃度）がエージェントによって選択される。
• 観測：エージェントは、選択された行動と潜在パラメータに基づいてシミュレーターによって生成された実験出力（例：遺伝子発現軌跡）を受け取る。
• 方策：各観測後に明示的な推論を行う代わりに、著者らは「方策ベースの強化学習（RL）」アプローチを採用する。ニューラルネットワーク方策（$\pi_\psi$）は、行動と観測の完全な履歴（$h_t$）を直接次の行動（$a_t$）にマッピングするように訓練される。

中核的な革新は「償却的（amortized）アプローチ」である。方策は、事前分布からサンプリングされた可能性のある不確実なパラメータの分布全体にわたって、事前に訓練される。訓練中に方策を$\theta$の多くの実現例に曝すことで、実験履歴から最適行動への直接マッピングを学習する。これにより、方策は展開フェーズにおいて明示的な推論ステップを行うことなく、隠れたシステムパラメータを暗黙的に推論し、未知の条件に適応することを可能にする。

訓練には、有限の実験時間範囲（$T$）における期待累積報酬を最大化するために「近接方策最適化（PPO）」が用いられる。報酬関数は設計目標（例：タンパク質収量の最大化、または目標振動周波数への一致）に基づいて定義され、観測（または訓練中のみ潜在パラメータ）のみに基づいて計算される（これにより展開中の情報漏洩が防止される）。

主要な貢献

1. 償却的逐次設計：本論文は、計算負荷を実験プロセスから切り離す手法を導入する。一度訓練されれば、方策は観測を受け取ると直ちに次の実験を推奨でき、従来のベイズ的手法が抱える反復的な推論 - 最適化のボトルネックを回避する。
2. 二重不確実性の処理：このフレームワークは、マルコフジャンプ過程や観測ノイズを通じてモデル化される偶然的不確実性と、潜在パラメータ分布を通じてモデル化される認識的不確実性を、同時に明示的に扱う。
3. 履歴に基づく適応：直近の観測のみを条件とする手法とは異なり、本方策は行動と観測の完全な履歴を条件とする。これにより、シミュレーターにエンコードされた過去のメカニズム的知識を活用して、データが乏しい初期段階であっても意思決定を導くことが可能になる。
4. 連続行動空間：このアプローチは連続的な設計空間上で動作し、生物学的パラメータに対するきめ細やかな制御を可能にする。これは、合成生物学における以前の強化学習応用が離散的な行動空間に制限されていたこととは対照的である。

結果
このフレームワークは、シミュレーションデータを用いた 2 つの合成生物学タスクで評価された。

1. ヘテロログ遺伝子発現の最大化：方策は、宿主のリソース制限を考慮しつつ、E. coli におけるタンパク質収量を最大化するために誘導レベルを調整するよう求められた。モデルは、方策が未知の宿主パラメータに適応して誘導レベルを調整し、5 ステップの時間範囲内で低後悔（最適収量への近さ）を達成することを示した。特に、より良い初期決定を下すために事前のメカニズム的知識を活用する点において、ベイズ最適化のベースラインを上回った。
2. 遺伝子オシレーター（レプレシレーター）設計：方策は、内在的ノイズとパラメータ的不確実性の両方下で特定の振動周波数を達成するためのレプレシレーター回路の設計に適用された。結果、方策は設計を逐次的に洗練し、認識的不確実性を低減して目標周波数および規則的な振動挙動へと収束させることができたことが示された。これは、広範なパラメータ事前分布から開始した場合であっても可能であった。

どちらの場合も、方策は設計サイクル中に明示的なパラメータ推論を行うことなく、潜在的な環境変動に成功裏に適応した。

意義と主張
著者らは、このアプローチが従来の逐次設計手法に対する「実用的かつ効率的な代替手段」を提供すると主張する。計算負荷をオフラインの訓練フェーズへ移行させることで、この手法は実験室環境における「リアルタイム意思決定」を可能にする。本論文は、データが希薄で、シミュレーターにエンコードされた事前の生物学的知識が探索を導く上で決定的に重要な「初期段階の実験」において特に価値があることを強調している。

著者らは現在の範囲について控えめであり、すべての評価が「合成データ」に基づいて行われたことを指摘している。彼らは、「償却ギャップ」（方策があらゆる可能なパラメータ構成に対して完全に最適であるとは限らないこと）や、シミュレーターの忠実度が限られる可能性のある実世界の生物システムにおける「モデルの不一致」といった潜在的な限界を認めている。彼らは、これらの課題に対処するために、将来の研究では事後情報を用いて方策を更新する「半償却的戦略」の探求や、実実験システムでの検証を行うべきであると提案している。本論文は、すべての最適化手法の代替としてではなく、迅速で適応的な意思決定が求められる低データ・高不確実性のシナリオに特化したツールとして位置づけられている。