テクニカルサマリー：抗体機械学習におけるベンチマークと実験結果の乖離を説明するのは、合成ラベルではなく、ライブラリのサイズと構造である

問題提起

抗体探索における機械学習（ML）は、候補配列のランキング手法を評価するために、Absolut! のような合成ベンチマークにますます依存している。これらのベンチマークは、ウェットラボの実験では到達不可能な規模で、グラウンドトゥルースとなる結合エネルギーを提供している。しかし、合成データから導き出された結論と、実測された実験データから導き出された結論を比較する際には、構造的なリスクが存在する。

典型的な合成データセットと実測データセットは、以下の5つの次元において同時に異なっている。

1. ラベルの起源： シミュレーションされた格子エネルギー vs 実験的な $\log_{10}$ 解離定数 ($K_D$)。
2. ライブラリサイズ： 合成ライブラリは、無関係な配列を大量に含むことが多い（例：$6.9 \times 10^6$）。一方、実測ライブラリは通常、単一の親配列の変異近傍である（例：$2\text{--}3.5 \times 10^4$）。
3. ライブラリ構造： 合成セットは無関係なCDRH3配列の集合体であるが、実測セットは構造化された変異近傍（シングル、ダブル、トリプル変異体）である。
4. 整列可能性（Alignability）： 合成配列は長さが異なり（11–43残基）、位置的な整列を欠いている。一方、実測配列は親配列に対して整列されている。
5. ノイズ： 合成ラベルはノイズフリーであるが、実験データにはアッセイノイズが含まれる。

中心となる問題は、合成データと実験データの間の観察された相違（例：探索効率、好ましい配列表現、またはモデルアーキテクチャに関する相違）が、合成ラベルそのものに起因するとされてきたことである。本論文は、これらの相違は合成ラベルのリアリズムによるものではなく、ライブラリのサイズ、構造、およびノイズの制御されていない共変性に起因するものであると主張する。

方法論

著者らは、「マッチド・ラティス（一致した格子）」実験デザインを用いて、ラベルの起源からライブラリ構造の影響を分離した。

1. 固定されたオラクル、可変のライブラリ： 本研究では、Absolut! オラクル（スコアリング関数と抗原構造）を一定に保った。標準的な大規模かつ無関係な合成ライブラリを使用する代わりに、典型的な実測データセットの構造とサイズを模倣した新しいライブラリを再構築した。
2. マッチド・ライブラリの構築：
   • 強結合の親CDRH3配列（長さ17）をAbsolut! オラクルから選択した。
   • 起こりうるすべての286通りのシングル変異体を列挙した。
   • ランダムなダブルおよびトリプル変異体を加え、合計6,000配列に達するようにした。これはAlphaSeqの実験ライブラリの設計レシピと一致している。
   • すべての配列を同じAbsolut! バイナリでスコアリングし、これによりラベルは合成格子エネルギーのままとした。
3. 比較フレームワーク：
   • Arm A (不一致)： 標準的な合成ライブラリ（大規模、無関係） vs 標準的な実測ライブラリ（小規模、変異的）。
   • Arm B (一致)： 再構築された合成ライブラリ（小規模、変異的、同一の親） vs 標準的な実測ライブラリ。
   • Arm C (独立した検証)： 119,828件の測定を含む独立したプロスペクティブ・キャンペーン（AlphaBind/AlphaSeq）を用いて、表現の選択肢を検証した。
4. 評価指標： 研究では以下の点に基づいて手法を比較した：
   • 探索アドバンテージ： 能動学習によるトップフラクションの回収率とランダムサンプリングの比率。
   • 表現： ワンホットエンコーディング vs タンパク質言語モデル（PLM）埋め込み（ESM-2）。
   • アーキテクチャ： リッジ回帰 vs 畳み込みニューラルネットワーク（CNN）。
   • 学習可能性の分解： エラーをノイズと固有の平滑性に分割。
   • プロスペクティブ性能： ランダム分割 vs プロスペクティブ分割（あるキャンペーンで学習し、より離れた後のキャンペーンでテストする）。

主な結果

1. マッチングにより相違が消失する

ライブラリのサイズと構造を一致させたとき、合成レジームと実験レジームの間の4つの主要な相違のうち3つが消失した。

• 探索アドバンテージ： 不一致の合成ライブラリで見られた、ランダムサンプリングに対する能動学習の1,620倍という見かけ上の優位性は、マッチド・ラティスでは3.3倍へと崩壊した。これは、実測データで観察された3.0倍の優位性と密接に一致している。不一致のレジームにおける巨大な優位性は、ライブラリのサイズと構造の欠如によるアーティファクトであった。
• 表現の嗜好： 不一致の合成ライブラリでは、すべての訓練サイズにおいてワンホットエンコーディングがESM-2埋め込みを上回った。しかし、マッチド・ラティス（および実測データ）では、5つの訓練サイズのうち3つにおいてESM-2埋め込みがワンホットエンコーディングを上回り、結論が逆転した。これは、PLMの優位性が、ラベルのタイプではなく、変異近傍の整列可能性によって駆動されていることを示唆している。
• アーキテクチャのクロスオーバー： リッジ回帰とCNNのどちらが優れているかに関する見かけ上の不一致は、調査された訓練セットサイズの範囲によるアーティファクトとして解決された。両レジームとも、約2,000ラベルの地点でクロスオーバーを示した。すなわち、この閾値以下ではリッジ回帰が優れ、上記ではCNNが優れていた。

2. マッチング後も残る影響

ライブラリのマッチングに関わらず、いくつかの知見は一貫しており、これらが問題空間の堅牢な特性であることを示している：

• 緩やかな探索アドバンテージ： マッチングされた条件下でも、能動学習はランダムサンプリングに対して一桁の優位性（約3倍）を維持している。
• 測定ノイズフロア： 実験ノイズレベル（$\sigma = 0.27$ in $\log_{10} K_D$）をマッチド合成データに注入すると、Spearman相関が0.105減少した。これにより、アッセイノイズのみに起因する性能フロアが確立された。
• ランダム分割による性能の過大評価： 変異近傍におけるモデルをランダム分割で評価すると、プロスペクティブな性能を8.1倍過大評価することになる。プロスペクティブに評価した場合（初期のキャンペーンで学習し、より遠い後のキャンペーンでテストした場合）、トップ100の候補の回収率は大幅に低下した。これは、後のキャンペーンが初期のキャンペーンよりも親配列から遠い配列空間を探索するという「外挿ギャップ」によるものである。
• 結合表現： ESM-2埋め込みとワンホット特徴量を組み合わせたモデルは、4つの測定ターゲットすべてにおいて他のアーキテクチャ（リッジ、CNN、ランダムフォレスト）を一貫して上回った。
• リードカウントモデル： パンニングデータにおいて、初期のリードカウントから最終的な存在量を予測するモデルは、利用可能な最後のリードカウントによるランキングという単純なベースラインを上回らなかった。学習の価値は、カウントを再予測することではなく、未測定の配列をスコアリングすることに見出される。

3. 独立した検証

119,828件の測定を含む独立したプロスペクティブ・キャンペーン（AlphaBind）は、表現に関する知見を裏付けた。ESM-2埋め込みを使用して生成された候補は、3つの異なる親抗体に対して、ワンホットエンコーディングを使用して生成されたものよりも有意に高い改善率を示した。

意義と主張

本論文は、条件が一致している限り、合成ベンチマークは実験データの忠実なプロキシ（代理）であると主張している。文献における一見した矛盾は、合成ラベルが「非現実的」であるためではなく、合成と実測の二つのレジーム間で同時に変化する交絡変数（ライブラリのサイズ、構造、およびノイズ）によるものである。

• 帰属： 本研究は、「合成ラベル」が不一致の主な原因ではなく、ライブラリのデザイン（サイズと変異構造）が観察された性能特性を決定していることを証明している。
• 将来のベンチマークのためのプロトコル： 著者らは、解釈性を確保するために、将来の合成ベンチマークングのためのプロトコルを提案している。手法を選択する前に、研究者は以下の5つの特定の特性において、合成ベンチマークを意図した用途に一致させるべきである：
  1. ライブラリサイズ。
  2. ライブラリ構造（変異近傍か、無関係な配列か）。
  3. 変異するポジション数。
  4. 測定ノイズ（アッセイのノイズ対信号比で注入される）。
  5. 訓練セットサイズの範囲（アーキテクチャのクロスオーバーを捉えるため）。

本論文は、合成データと実測データの間の不一致の大部分は、どのように比較を設定するかという性質によるものであり、したがって、新しい機械学習手法を必要とするのではなく、設計によって修正可能であると結論付けている。これらの知見は、タンパク質工学におけるより広範な原則、すなわち、訓練セットの設計がモデルの選択よりも重要である場合が多いという原則を強化している。