技術的概要：完全長 mRNA 設計のための ProMORNA

問題定義

治療用メッセンジャー RNA（mRNA）の設計には、構造的安定性、翻訳効率、免疫安全性という、しばしば相反する複数の生物学的目的を同時に最適化する完全長転写産物を生成することが求められる。遺伝暗号の冗長性（同義コドン）と非翻訳領域（UTR）の変動性により、設計空間は指数関数的に巨大である。

既存のアプローチは重大な限界に直面している：

• ヒューリスティック手法: LinearDesign などのツールは、最小自由エネルギー（MFE）などの代理指標を最適化するが、複雑で競合する生物学的制約により、多くの場合、最大の in vivo 発現を達成できない。
• 教師あり生成モデル: 天然配列のみで訓練されたモデルは既存データからパターンを学習するが、下流の生物学的目的を直接最適化するものではなく、訓練分布を超えた候補の探索に苦しむ。
• 強化学習（RL）の課題: 完全長 mRNA 生成への RL の適用は困難である。なぜなら、生物学的有効性は、単位、スケール、ノイズレベルが異なる複数の指標によって支配されるからである。これらの指標を単一の報酬にスカラー化する標準的なアプローチは、不安定であり、重み付けの選択に敏感である。さらに、多くの現在の生成モデル（デコーダーのみのトランスフォーマーなど）は、5' UTR 生成を部分的なコンテキストのみに基づいて条件付けるため、完全なターゲットタンパク質に基づいて 5' UTR、コーディング配列（CDS）、3' UTR 間の相互作用を共同モデル化できない。

手法：ProMORNA

著者らは、ターゲットタンパク質配列から直接完全長 mRNA 転写産物を生成するエンドツーエンドのフレームワークであるProMORNA（タンパク質条件付き多目的 mRNA 生成）を提案する。

1. モデルアーキテクチャと訓練

• アーキテクチャ: システムは BART スタイルのエンコーダー - デコーダーモデル（BART-small 構成、約 4500 万パラメータ）を利用する。
  • エンコーダー: ターゲットタンパク質の完全なアミノ酸配列を処理する。
  • デコーダー: 完全長 mRNA（5' UTR、CDS、3' UTR）を自己回帰的に生成する。
  • 条件付け: CDS コンテキストを見る前に 5' UTR を生成するデコーダーのみのモデルとは異なり、ProMORNA はエンコーダーを介して、生成されるすべてのトークン（5' UTR を含む）を完全なターゲットタンパク質配列に基づいて条件付ける。
• トークン化: UTR にはヌクレオチドごとのトークン化、CDS にはコドンごとのトークン化を使用するハイブリッド語彙を採用し、領域境界を管理するための特別な区切り記号を付加する。
• 事前学習と微調整:
  • 教師あり事前学習: 一般的なコドン使用法と UTR 構成を学習するため、NCBI RefSeq から 609 万組の天然タンパク質 - mRNA ペアで訓練される。
  • 教師あり微調整（SFT）: 転写産物の妥当性を確保するため、高信頼性のサブセット（54,573 レコード）でさらに訓練される。

2. 多目的グループ相対方策最適化（MO-GRPO）

不安定なスカラー化なしにモデルを生物学的目標に整合させるため、著者らはMO-GRPOを導入する。

• 生物学的目的: フレームワークは 5 つの異なる指標を最適化する：
  1. 予測半減期: 最大化（凍結された mRNABERT ベースのリッジ回帰予測器を使用）。
  2. 予測翻訳効率: 最大化（同様の mRNABERT ベースの予測器を使用）。
  3. 正規化最小自由エネルギー（MFE）: 最小化（熱力学的安定性の代理指標）。
  4. U 含有量: 最小化（自然免疫活性化を低減するため）。
  5. UTR 長さの妥当性: 最大化（経験分布に基づくガウス事前分布を使用）。
• 最適化メカニズム:
  • 生スコアを合計する代わりに、MO-GRPO は与えられたプロンプトに対して $G$ 個の配列群をサンプリングする。
  • グループ内の各目的 $k$ に対して、経験平均（$\mu_k$）と標準偏差（$\sigma_k$）を計算する。
  • 各目的に対して標準化されたアドバンテージを計算する：$(r_{i,k} - \mu_k) / \sigma_k$。
  • これらの標準化されたアドバンテージを、重み（方向と重要性を示す）を用いて加重和し、方策更新のための単一のアドバンテージ信号を形成する。
  • 安定化メカニズム: 低分散指標を処理するための動的ダンピング因子、極値クリッピング、再標準偏差除算なしの事後中心化を含み、適応的な大きさを維持しながら訓練の安定性を確保する。

3. 制約と検証

• 制約付きデコーディング: デコーダーは、CDS に対して同義コドン、UTR に対して有効なヌクレオチドに制限される。
• 事後チェック: 生成された配列は、領域境界、フレームの一貫性、開始/停止コドン、および生物学的妥当性を確保するための長い二本鎖領域（>33 bp）の不在について検証される。無効な配列には最大限のペナルティが課される。

主要な貢献

1. タンパク質条件付き完全長生成: 野生型テンプレートなしに相互作用する領域の共同最適化を可能にする、エンコーダー - デコーダーフレームワーク。これは、完全なターゲットタンパク質配列に基づいて転写産物全体（5' UTR、CDS、3' UTR）を生成する。
2. MO-GRPO アルゴリズム: 集約前に指標レベルで相対アドバンテージを標準化する新しい RL 最適化手法。これは、異なるスケールを持つ生きた生物学的スコアのスカラー化に伴う不安定性を回避し、複数の目的の柔軟なバランス取りを可能にする。
3. 実証的検証: ホールドアウトされたターゲットの一般化に焦点を当て、教師ありベースラインおよび最先端の GEMORNA フレームワークに対する生成候補の包括的な評価。

結果

このフレームワークは、すべての訓練データおよびプロンプトプールから除外されたターゲットタンパク質であるホタルルシフェラーゼで評価された。

• 機能的パフォーマンス: ProMORNA は、教師ありベースライン（BASE、SFT）および GEMORNA ベースラインと比較して、予測半減期と予測翻訳効率の両方で最高スコアを達成した。
• パレートフロンティア: 半減期と翻訳効率のパレートフロンティアの分析により、ProMORNA のフロンティアが右上に大きくシフトしていることが示された。これは、トレードオフではなく、両方の目的の同時改善を示している。
• 配列特性:
  • ProMORNA は、教師ありベースラインと比較して、中程度の GC 含有量の増加と、アクセス可能な TLR7/8 感知モチーフの大幅な減少（免疫安全性の向上）を伴う配列を生成した。
  • 固定された長さへデフォルトするのではなく、特定のターゲットに合わせて調整された UTR 長さのバランスの取れた分布を達成した。
  • GEMORNA はわずかに良い生 MFE および U 含有量スコアを示したが、ProMORNA は機能的出力を優先し、すべての指標にわたってよりバランスの取れたトレードオフを示した。
• 学習ダイナミクス: 5-mer 特徴の UMAP 可視化は、MO-GRPO が報酬指標を改善しながら、生成器を教師あり分布から新しい配列構成領域へ移動させたことを示した。

意義と主張

本論文は、ProMORNA が未見のターゲットに対する完全長 mRNA 設計における多目的強化学習の実用性を示していると主張する。

• 科学的影響: この研究は、オンポリシー強化学習が、教師あり配列モデルリングのみで可能であったものを超えて、生成モデルの探索能力を効果的に拡張できることを示唆している。
• 方法的進歩: MO-GRPO による生物学的配列設計における多目的最適化の不安定性に対処することで、このフレームワークは、競合する生物学的制約（安定性対効率対安全性）をバランスさせるための堅牢な手法を提供する。
• 限界と謙虚さ: 著者らは明示的に、結果は計算上の発見（in silico）であると述べている。評価は既存データで訓練された代理予測器に依存しており、研究は単一のホールドアウトレポータータンパク質を使用している。したがって、本論文は証明された in vivo 生物学的活性または治療的有効性を主張するものではなく、改善された生物学的活性を確認するにはウェットラボシステムでの実験的検証が必要であると指摘している。将来の研究として、予測器の精度を向上させ、閉ループ最適化のための実験的フィードバックを統合することが必要であると特定されている。