技術要約: IGLOO – ImmunoGlobulin LOOp Tokenizer

問題提起

抗体の相補性決定領域（CDR）は、抗原認識と結合に不可欠なループ構造である。歴史的に、これらのループの多様性は、主鎖の二面角に基づいて「カノニカル・クラスター」へと分類されてきた（Chothia & Lesk, 1987; North et al., 2011）。しかし、既存のカノニカル・クラスタリング手法には、主に以下の3つの制限がある：

1. 限定的なカバレッジ: 抗体ループの大部分、特に極めて多様なH3ループ（76.3%）において、既知のマッチングするカノニカル・クラスターが存在しない。
2. 配列統合の欠如: 既存のクラスターは主鎖の座標や二面角のみに依存しており、配列情報を無視している。
3. 基盤モデルとの不整合: 現在のクラスタリング手法は、タンパク質言語モデル（PLM）やマルチモーダル基盤モデルに容易に統合できない。これらのモデルは通常、サブストラクチャ・ループ単位ではなく、アミノ酸レベルでトークン化されるためである。

近年のマルチモーダルPLMは構造トークンを取り入れているが、それらは一般にアミノ酸レベルの再構成に焦点を当てており、タンパク質ドメインのより高次なモジュール性を考慮していない。タンパク質の構造的および配列的な多様性を効果的に表現学習するために、免疫グロブリン・ループをどのようにトークン化するかという課題が残されている。

メソドロジー: IGLOO

著者らは、配列と主鎖の二面角を組み合わせることで抗体ループをエンコードするように設計されたマルチモーダル・トークナイザーであるIGLOO（ImmunoGlobulin LOOp Tokenizer）を提案している。

アーキテクチャと入力

IGLOOはサブストラクチャ・ループ・レベルで動作する。長さ $n$ のループに対して、入力は以下で構成される：

• 配列: アミノ酸の配列 $a = (a_1, \dots, a_n)$。
• 構造: 主鎖の二面角 $\phi, \psi, \omega \in (-\pi, \pi]^n$。

二面角は単位円 $(\cos \theta, \sin \theta)$ に投影され、線形層を通過する。配列は、20種類の標準的なアミノ酸の学習可能な埋め込みを使用してエンコードされる。これら2つのモダリティは合算され、マルチモーダル埋め込み $X$ が作成される。Transformerアーキテクチャ（ESM-2に基づく）がこれらの残基を処理し、ループ全体を表す連続的な分類トークン $t$ と、残基レベルのマルチモーダル・トークン $x_i$ を出力する。

学習目的

IGLOOは、4つの目的関数を持つ自己教師あり対照学習フレームワークを用いて訓練される：

1. マスクされた再構成: マスクされた二面角およびマスクされたアミノ酸の同一性を予測する。
2. バックボーンの対照学習: これが核心的な革新である。IGLOOは、同様の主鎖二面角を持つループを潜在空間内でより近くにマッピングすることを学習する。類似性は、タンパク質のキラルな性質や側鎖の位置付けをRMSDよりも適切に考慮する二面角距離 $D$ (North et al., 2011) によって定義される。
   • ポジティブ・ペア: 同じ長さのループで、$D < 0.1$ であるもの。
   • ネガティブ・ペア: 長さが異なるループ、または同じ長さで $D > 0.47$ であるもの。
   • カノニカル・クラスターの定義に使用される特定の閾値への過学習を防ぐために、マージンが適用される。
3. コードブック学習: ベクトル量子化損失により、ループをコードブックからの離散的なトークン ($\hat{t}$) に割り当て、高速な検索と比較を容易にする。

言語モデルへの統合

著者らは、ベースとなる抗体モデルであるIgBertからファインチューニングされたタンパク質言語モデルに、IGLOOトークンを組み込む2つの方法を示している：

• IGLOOLM: 各CDRループの開始位置に連続的な分類トークン $t$ を挿入する。これにより、ループ全体のコンフォメーション・コンテキストを捉える。
• IGLOOALM: 分類トークン $t$ と、各アミノ酸に対するマルチモーダル残基トークン $x_i$ の両方を挿入する。これにより、残基レベルの構造的コンテキストを提供する。

主な結果

1. パラトープ検索

IGLOOは、SAbDabデータベースからの類似したループ構造の検索において評価された。

• 性能: IGLOOは、類似した主鎖構造（$D < 0.47$ および RMSD $< 1$ Å で定義）を検索する上で、最先端の性能を達成した。
• H3ループの詳細: 極めて多様なH3ループにおいて、IGLOOは、二面角距離検索におけるランク20での精度において、既存の最良の構造トークナイザー（Amino Aseed）を 5.9%、最良のタンパク質言語モデル（ESM-2）を 69.8% 上回った。
• 効率性: IGLOOは、自身よりも大幅に大きなモデル（例：ESM-2 3B）にもかかわらず、それらを上回る性能を示し、ループレベルのトークン化の効率性を証明した。

2. カノニカル・クラスターの回収

IGLOOは、Kelowら (2022) によって定義された既知のカノニカル・クラスターを回収する能力についてテストされた。

• 純度: 量子化されたトークンは高いクラスター純度を達成した（例：Heavy CDR4で0.983、Heavy CDR2で0.900）。
• カバレッジ: 従来のメソッドとは異なり、IGLOOはすべてのループにトークンを割り当て、以前はカノニカルな一致がなかった20.3%のループが存在したカバレッジのギャップに対処した。SAbDabにおける90.6%のループに対して、既知のカノニカルなコンフォメーションを正常に再現した。

3. 結合親和性予測

IGLOOLMは、10の抗原標的（AbBiBench）におけるヘビーチェーン変異体の結合親和性を予測するために評価された。

• 性能: IGLOOLMは、10標的中8つにおいてベースモデルであるIgBertを上回った。
• 比較: 7倍多くのパラメータを持つモデル（例：ESM-2 3B）と同等、あるいはそれ以上の性能を示した。
• 観察: 特定のタスクにおいては、分類トークンのみを使用するモデル（IGLOOLM）が、残基レベルの構造トークンを使用するモデル（IGLOOALM）よりも優れた性能を示した。これは、配列がわずかな変異しか持たないディープ・ミューテーショナル・スキャニングにおいては、ループのコンフォメーションの要約の方が、潜在的にノイズを含む残基レベルの構造予測よりも堅牢であることを示唆している。

4. 制御可能なループサンプリング

IGLOOALMは、マスクされた配列を用いた抗体ループのサンプリングに使用された。

• 多様性と一貫性: サンプリングされたループは、元のループとの構造的一貫性を維持しながら、高い配列多様性を示した。
• ケーススタディ: SARS-CoV-2抗体（PDB 7TCQ）のH3ループの再設計において、IGLOOALMは元のものから平均エディット距離6.6の配列を生成したが、予測された構造は平均RMSD 0.79 Å で元のベータヘアピン・フォールドを維持していた。これは、最先端の抗体逆折り畳みモデル（AbMPNN, AntiFold）を上回る結果であった。

重要性と主張

本論文は、抗体ループに特化したマルチモーダル・トークンを導入することの利点を、IGLOOが実証していると主張している。配列と二面角を組み合わせることで、多様な抗体ループのコンフォメーションの景観をエンコードすることにより、IGLOOは以下を実現する：

• 基盤モデルの向上: タンパク質言語モデルの表現力を高め、配列のみのモデルが見逃してしまう構造モチーフを捉えることを可能にする。
• カバレッジ問題の解決: 従来のカノニカルな手法では分類不可能であった領域を含む、抗体ループの全景観をカバーするトークン化スキームを提供する。
• 合理的設計の推進: 結合親和性予測や、多様かつ構造的に一貫した抗体ループの制御可能な生成を促進し、これは抗体エンジニアリングやリード最適化において極めて重要である。

著者らは、IGLOOALMが強力な in silico の結果を示しているものの、再設計された抗体が実際に抗原への結合を維持していることを確認するには、包括的なウェットラボでの検証が必要であると述べている。彼らは、将来的な拡張として、全原子構造、エピトープ情報、および結合親和性を直接的なモダリティとして含めることを構想している。