Choosing protein design models with limited experimental measurements

技術要約：限定的な実験的測定値を用いたタンパク質設計モデルの選択

問題提起
タンパク質工学のキャンペーンでは、実験的に測定可能なものよりも多くの候補配列が生成されることがよくあります。機械学習モデルは、期待される性能（例：酵素活性）に基づいてこれらの変異体をランク付けしますが、異なるモデルは頻繁に異なる候補セットを推奨します。研究者は、特定のライブラリに対して多大な実験リソースを投入する前に、提案されたセットに「ヒット（特定の測定ターゲットを満たす変異体）」が十分な割合で含まれているかどうかを判断する必要があります。ここでの核心的な決定問題は、提案された変異体がモデルの期待される収率（最小限の成功率）を満たしているのか、あるいはすべての候補モデルがその閾値を下回っているのかを判断することです。本研究は、この決定問題を効率的に解決するために、ラベル付け（実験的測定）のコストと、信頼できる証明（サーティフィケーション）の必要性のバランスをどのように取るかについて取り組んでいます。

手法
本研究では、既知の実験結果を用いて逐次サンプリングをシミュレートする、遡及的評価フレームワークを採用しています。

• データセット: 分析には、主に以下の3つのデータソースを使用しています。
  1. GB1およびアデノ随伴ウイルス（AAV）: 既存の深層変異スキャン（DMS）ランドスケープを用いた制御比較を行い、クエリへのアクセスとエビデンス計算をテストしました。
  2. ProteinGym (v1.3): 159のUniProtタンパク質グループにわたる184の測定値を備えた広範なベンチマーク。各測定において、159の候補モデル（ゼロショットスコア）を評価しています。
• 決定基準:
  • 「ヒット」は、実験的な上位10パーセンタイル（パーセンタイル > 0.90）にある変異体と定義されます。
  • モデルが「許容可能」であるとは、提案された上位10%の変異体のうち、20%超がヒットである場合を指します。
  • 目標は、モデルがこの収率を超えているという「ポジティブな証明（positive certificate）」を得るか、あるいはすべてのモデルがその下回っているという「ヌル証明（null certificate）」を得ることです。
• 測定ポリシー: どの変異体を次に測定するかを選択するための10個の戦略を比較しました。
  1. Exact Sequential Value of Information (SeqVOI): 潜在的な測定による、重み付き不確実性スコア（未解決の収率境界に基づく）の即時的な期待減少量を推定します。これは、校正されたアウトカム予測器を必要とせず、正確な有限母集団会計を使用します。
  2. Greedy Policy: 未解決の推奨事項間で共有されている変異体を優先することで、未解決の設計確率の総和を最大化するように選択します。
  3. Guarded-SeqVOI (Learned Switch): 状態の特徴量（重みの分布、ヒット率、予算の割合など）に基づいて、GreedyポリシーとExact SeqVOIポリシーのどちらを選択するかを決定する分類器です。
  4. 比較対象: Anytime SeqVOI（任意のタイミングでの推論を行うランダムサンプリング）、Active Testing/LURE（バイアス補正推定）、ASE-XWED、オンラインモデル選択、および各種ランダムサンプリングのベースラインが含まれます。
• 評価指標:
  • コスト: 正しい最初の証明に達するために必要なラベル数（測定数）。予算内で証明に失敗した実行については、全予算が課されます。
  • 証明頻度: 正しい決定を下した試行の割合。
  • 推奨の質: 選択精度（最良のモデルの特定）およびリグレット（最良のモデルに対する期待ヒット割合の不足分）。

主な貢献

• 獲得戦略の比較: タンパク質設計におけるモデルの収率を証明するというタスク（証明 vs 選択）に特化した、測定ポリシーの体系的な比較を提供しています。
• 正確な有限母集団会計: 観測されていない変異体に対する予測モデルに依存することなく、観測された結果に対して決定論的な証明を提供する、収率推定のための正確な境界の有用性を実証しています。
• 遡及的ベンチマーク: ProteinGymを用いた厳格な遡及的ベンチマークを確立し、制御された初期サンプルと逐次的獲得を用いて、184の測定値に対してポリシーを評価しました。
• 学習されたコントローラーの分析: グリーディとVOI戦略の間で最適化するように設計された学習されたスイッチ（Guarded-SeqVOI）を評価し、厳格な統計的要求に対するその有効性をテストしました。

結果

• コスト効率: ProteinGymのコホートにおいて、Exact SeqVOIは、Greedyポリシー（870.5ラベル）および学習されたGuarded-SeqVOI（829.6ラベル）を上回り、最も低い平均上限コスト（776.0ラベル）を達成しました。
• 証明率: 正しい証明の頻度は、上位のポリシー間で同等でした：Greedy (83.8%)、Exact SeqVOI (82.8%)、Guarded-SeqVOI (82.6%)。
• 学習されたスイッチの性能: Guarded-SeqVOIポリシーは、Greedyと比較して平均5.60%のコスト削減を実現しました。しかし、その片側97.5%下限信頼区間は4.31%であり、事前に規定された「少なくとも5%の改善」という要件を満たしませんでした。したがって、学習されたスイッチは、この設定においてGreedyポリシーに対して統計的に有意な優位性を示しませんでした。
• 推奨の質: Exact SeqVOIは証明コストが最も低かった一方で、Anytime SeqVOIは最終的な平均リグレットが最小（0.00153）であり、証明コストは高いものの、最良のモデルを特定することにおいてはより優れていることが示されました。また、Active Testing/LUREは、初期予算においてGuarded-SeqVOIよりも高い選択精度を示しました。
• GB1/AAVの知見: 制御された比較において、ターゲットされたアクセスと順序付け（Exact SeqVOIを使用）は、固定リプレイと比較してポストスクリーン・ラベルを67.02%削減しました。しかし、一致したクエリパス上でエビデンス計算のみを変更した場合（Exact vs Anytime）の削減幅は、ランドスケープに依存した小さなもの（2.00%）でした。

意義と主張
本論文は、既存のモデルの推奨事項には、効率的な測定戦略を通じてタンパク質設計ライブラリを検証するための十分な情報が含まれていると主張しています。主要な発見は、Exact SeqVOIが記録されたデータセットにおける証明決定において最も低い平均コストを提供することです。

本研究は、控えめに以下の結論を述べています：

1. 目的によって好まれるポリシーは異なる: 証明コストを最小化するポリシー（Exact SeqVOI）は、必ずしもリグレットを最小化したり選択精度を最大化したりするポリシー（Anytime SeqVOI）と同じではありません。
2. 学習されたコントローラーには厳格な検証が必要である: 学習されたスイッチ（Guarded-SeqVOI）は、その特定の有効性基準を満たせませんでした。これは、単純な構成要素ポリシー（Exact SeqVOIなど）が依然として堅牢なベースラインであり、学習されたスイッチはさらなるチューニングや特定の測定クラスなしには、集約的なパフォーマンスを向上させない可能性があることを示唆しています。
3. 遡及的な制限: 結果は、記録されたアウトカムとProteinGymベンチマークの特定の構成に基づいています。本研究は、新しいスコアリングモデルや実験室のアッセイを開発したと主張するものではなく、合成の失敗、バッチコスト、ノイズなどの実用的な制約を考慮せずに、これらの節約が将来の実験に直接転用できることを保証するものでもありません。

本研究は、「証明（ライブラリが許容可能であることを証明すること）」と「推奨（最良のモデルを選ぶこと）」は異なるアウトカムであり、それらは異なる測定戦略を必要とする可能性があるため、個別に評価されるべきであることを強調しています。