技術要約：タンパク質言語モデルにおける反復の制御

1. 問題の定義

タンパク質言語モデル（PLM）は、構造予測やde novo（新規）タンパク質設計において進歩を遂げているが、特定の失敗モードに苦しんでいる。それは**病的な反復（pathological repetition）**である。自然言語における反復は主に可読性を低下させるものであるが、タンパク質の場合、それは構造的多様性の低さ、不安定なフォールド、および非機能的な生物学的特性へと直結する。

本論文では、この失敗を2つの典型的な形式として特定している：

1. モチーフレベルの反復： 短い$n$-gramフラグメント（例：ジペプチドやトリペプチド）が周期的に繰り返される（例：AGAGAG）。
2. ホモポリマー反復： 単一のアミノ酸残基が長いランとして続く（例：AAAAAA）。

温度スケーリング、top-$p$サンプリング、反復ペナルティといった既存の自然言語処理（NLP）からの解決策は、タンパク質の領域ではしばしば失敗する。これらの手法は、反復の抑制と**構造的有用性（structural utility）**の間でトレードオフを生じさせ、AlphaFoldの信頼度スコア（pLDDT, pTM）を低下させ、生成されたタンパク質を生物学的に不合理なものにしてしまう傾向がある。さらに、反復と構造的有用性はPLM内で密接に絡み合っており、再学習なしにこれらを分離することは困難である。

2. 手法：ユーティリティ制御型コントラスティブ・ステアリング（UCCS）

著者らは、再学習やデコーディング・ヒューリスティックの変更を行うことなく、生成を制御する表現レベルの介入手法であるUCCSを提案している。この手法は、反復が構造的有用性と分離されたデータから導出されたステアリング・ベクトルを隠れ状態に注入することで、反復を制御できるという前提に基づいている。

2.1 反復と有用性の定量化

問題を定式化するために、本論文では2つの補完的な指標を導入している：

• 反復スコア ($R(x)$): 以下の要素を集約した統一指標：
  • トークンレベルのエントロピー ($H_{norm}$): グローバルなアミノ酸の不均衡を測定。
  • Distinct-$n$ ($n=2,3$): ローカルなモチーフの多様性を測定。
  • ホモポリマー多様性 ($R_{hpoly}$): 特定の閾値（デフォルト $k=4$）を超える同一残基のランをペナルティ化。
• 有用性スコア ($U(x)$): 構造的プロキシ、具体的にはAlphaFoldのpLDDT（局所的信頼度）とpTM（グローバルなトポロジー信頼度）の平均から導出。

2.2 コントラスティブ・データセットの構築

核心となる課題は、高反復配列は自然に低構造有用性と相関することである。これに対処するため、UCCSは反復（$\Delta R$）の差を最大化しつつ、有用性の差（$\Delta U \le \epsilon$）を厳格に制約したコントラスティブ・データセット（$D^+$ および $D^-$）を構築する。

• ポジティブ集合 ($D^+$): 低反復配列（天然タンパク質または高品質なPLM生成物）。
• ネガティブ集合 ($D^-$): 高反復配列（病的なPLM生成物）。
• 選択戦略: 著者らは、選択された配列が反復レベルの違いにかかわらず、同等の構造的可塑性を保持するように、パレート・ベースのフロント・セレクションまたは複合スコアリングを使用している。

2.3 ステアリング・ベクトルの注入

コントラスティブ・セットが確立された後、特定のトランスフォーマー層 $L$ においてステアリング・ベクトル（$v_L$）が計算される：
$$v_L = \mathbb{E}_{x \in D^+}[\phi_L(x)] - \mathbb{E}_{x \in D^-}[\phi_L(x)]$$
ここで、$\phi_L(x)$ は配列レベルの要約表現（Masked LMの場合は平均プーリング、自己回帰型LMの場合は最終トークン）である。

推論中、このベクトルは隠れ状態に注入される：
$$\tilde{h}_t^L(x) = h_t^L(x) + \alpha \cdot v_L$$
ここで、$\alpha$ はステアリングの強度を制御するスカラーである。この操作により、構造的有用性が一致したデータセットによってエンコードされた構造的特徴を維持しつつ、病的な反復パターンを抑制する。

3. 主な貢献

1. 体系的な特性評価： 病的な反復をPLMの重要な失敗モードとして特定し、それをモチーフレベルとホモポリマー反復に分類した最初の体系的な研究。
2. 指標の開発： 多様性とフォールダビリティ（折り畳み可能性）の間のトレードオフを評価するための、統一された反復スコア ($R(x)$) と有用性スコア ($U(x)$) の導入。
3. UCCS手法： 再学習の必要なく、反復制御と生物学的有用性を分離する、データ駆動型のステアリング手法。
4. 包括的な評価： 2つのモデルパラダイム（Masked LM: ESM-3; 自己回帰型LM: ProtGPT2）、3つのデータセット（CATH, UniRef50, SCOP）、および2つの生成設定（無条件および条件付き）にわたる広範な実験。

4. 実験結果

論文では、元のモデル、デコーディング・ヒューリスティック（温度、top-$p$、反復ペナルティ）、およびメカニズムレベルの介入（ニューロンの不活性化、プローブ・ステアリング）を含むベースラインに対してUCCSを評価している。

• パフォーマンス: UCCSは一貫して最良のトレードオフを達成し、有用性スコア ($U(x)$) を維持またはわずかに向上させながら、反復スコア $R(x)$ を大幅に改善した。
  • ESM-3において、UCCSはCATHにおける無条件生成において、有用性を維持しながら $R(x)$ を最大55%向上させた。
  • ProtGPT2において、UCCSは有用性の制約を破ることなく、温度サンプリングと比較して反復を最大20%減少させた。
• ベースラインとの比較:
  • デコーディング・ヒューリスティック: 表面的な多様性を高める効果はあるものの、構造的信頼度（低いpLDDT/pTM）を一貫して低下させた。
  • メカニズム・レベルのベースライン: ニューロンの不活性化やプローブ・ステアリングは不安定な性能を示し、多くの場合、2つの指標を同時に改善できなかったり、有用性を低下させたりした。
• アブレーション研究:
  • データセット構築: 構造化された選択（パレート/複合）は、特に分散を抑える点において、ランダムサンプリングよりも優れた性能を示した。
  • ステアリング強度 ($\alpha$): 最適なパフォーマンスは $\alpha \approx 1.0 \sim 2.0$ で見出された。
  • 層への注入: ステアリングは、ネットワークの後方層（ESM-3では最後の数層、ProtGPT2では後半の3分の1）で効果的であった。
• 汎用性: 手法は ProGen2（自己回帰型）および DPLM（拡散ベース）でも検証され、異なる生成アーキテクチャ間での堅牢性が示された。

5. 意義と主張

本論文は、タンパク質における反復が、構造的可罰性に直接影響を与えるという点で、テキストベースの反復問題とは異なる、PLMにおける中心的な課題であることを確立すると主張している。

• 原理的なアプローチ: 著者らは、データセット駆動型のコントラスティブ・ステアリングが、デコーディング・ヒューリスティックでは解決できない、反復と有用性の絡み合いに対処するための原理的な方法を提供すると論じている。
• メカニズム的洞察: 層ごとのプロービングとニューロンレベルの相関分析を通じて、反復が、初期段階で発生し、中間層で絡み合い、最終層でロジットに整列したアトラクタ状態へと鋭利化する、分散的な表現現象であることを明らかにしている。ESM-3はProtGPT2よりも反復に関連する部分空間がより極端に偏っていることが示されており、これがより深刻な退化を説明している。
• 信頼性: 本研究は、信頼できるタンパク質生成には、フォールダビリティを維持する介入が必要であることを強調しており、UCCSを、再学習の計算コストをかけることなくこれを実現するプラグアンドプレイのメカニズムとして位置づけている。

著者らは、病的な反復はタンパク質モデリングにおける新たに認識された問題であるが、表現ステアリングを通じてこれを制御することは、生物学的に生存可能なde novoタンパク質を生成するための不可欠なステップであると結論づけている。