技術要約：Manifold Restore Mixingによるタンパク質表現学習の強化

1. 問題提起

タンパク質表現学習（PRL）は、実験的な3D構造データの不足を克服するために、データ拡張（DA）に大きく依存している。しかし、残基置換、座標ノイズ注入、サブストラクチャ・サンプリングといった主流のDA手法は、タンパク質の1次元アミノ酸配列と3Dコンフォメーション（立体構造）の間の決定的な対応関係をしばしば破壊してしまう。

著者らは、根本的なジレンマを指摘している。すなわち、摂動ベースの手法は多様なバリエーションを生成する一方で、コアとなる機能ドメインの構造的完全性を破壊するリスクがあり、その結果、拡張されたデータが生物学的に不自然であったり、機能的に矛盾したりする可能性がある。逆に、ホモロジーモデリングや拡散ベースの生成ツールは、十分な構造的多様性に欠けることが多い。本論文の経験的分析によれば、これらの標準的な拡張技術をダウンストリームタスクに適用すると、モデルが構造的に損なわれたサンプルから正確な表現を学習することが困難になるため、性能の向上ではなく、むしろ大幅な性能低下を招くことが示されている。

2. 手法：Manifold Restore Mixing (MRM)

既存のDAにおける構造的欠陥に対処するため、著者らは生の入力空間ではなく、潜在表現空間で動作する手法である**Manifold Restore Mixing (MRM)**を提案している。この手法は、以下の3つのコアコンポーネントで構成される。

A. Manifold Restore Mixing

Manifold Mixupに着想を得たMRMは、ニューラルネットワークの特定の中間層 $k$ において、元のタンパク質データ ($GP$) と拡張されたタンパク質データ ($GP_a$) の隠れ表現を融合させる。

• プロセス: ネットワークは $GP$と$GP_a$をレイヤー$k$まで処理し、表現$R_k(GP)$と$R_k(GP_a)$ を生成する。
• 混合: 線形補間を介して混合された表現 $\tilde{R}_k$ が生成される：
  $$\tilde{R}_k = \lambda \cdot R_k(GP_a) + (1 - \lambda) \cdot R_k(GP)$$
  ここで $\lambda \sim \text{Beta}(\alpha_1, \alpha_2)$ である。
• 復元メカニクション: 表現レベルで混合することにより、本手法は、$GP_a$ の拡張によって失われた構造情報を、$GP$ の無傷な構造的特徴を再導入することで「復元」しつつ、拡張によって導入された多様なバリエーションを保持することを目指している。その後、混合された表現は残りのレイヤーを通過して損失を計算する。

B. サンプル難易度スケジューラ (Sample Difficulty Scheduler)

標準的なMixupは固定されたベータ分布（通常 $\alpha_1 = \alpha_2 < 1$）を使用するが、これはサンプルが元のデータまたは拡張データのいずれかに完全に支配される「独占効果」を引き起こす可能性がある。MRMはカリキュラム学習アプローチを導入する：

• 初期状態: 学習は $\alpha_1 > \alpha_2 > 1$ から開始され、混合を元のデータ（容易なサンプル）に偏らせる。
• 進行: 学習エポックが進むにつれて、パラメータを調整して $\alpha_1$ を減少させ、$\alpha_2$ を増加させ、より多くの拡張データ（困難なサンプル）を含むように分布をシフトさせる。
• 目標: これにより、モデルに「容易なもの（構造保存型）」から「困難なもの（バリエーション豊富型）」へと進む漸進的な学習曲線を提供する。

C. 2段階正則化トレーニング (Two-Stage Regularized Training)

モデルのパラメータがランダムに初期化されている際に、表現を混合することによる収束の不安定化を防ぐため、MRMは2段階の戦略を採用している。

1. ステージ1: モデルを元のデータのみで学習し、安定したベースライン表現を確立する。
2. ステージ2: MRMモジュールを活性化する。総損失は、元のデータに対する経験的リスク最小化（ERM）と、混合サンプルに対する近傍リスク最小化（VRM）を組み合わせる：
   $$L_{second} = L_{CLS}(Net(GP), y) + \gamma L_{CLS}(\tilde{R}_f, y)$$
   これにより、モデルがインディストリプション（分布内）への適合精度を維持しながら、復元された表現の近傍空間を探索することを保証する。

3. 主な貢献

1. DAの欠陥に関する経験的分析: 本論文は、標準的なタンパク質DA操作が1D-3Dの構造的対応関係を乱し、ダウンストリームタスクにおける性能低下を招くことを示す体系的な分析と経験的証拠を提供している。
2. MRMフレームワーク: 潜在空間で元の表現と拡張された表現を融合させることで、拡張中に失われた構造情報を復元するManifold Restore Mixingの提案。
3. トレーニングの強化: 学習を安定させ、構造的忠実度と多様性のバランスを最適化するための、サンプル難易度スケジューラと2段階正則化トレーニングの開発。
4. 包括的な検証: 複数のPRLバックボーン（例：GearNet, CDConv）および多様なダウンストリームタスク（Fold Classification, Enzyme Reaction, Gene Ontology, EC Number Prediction）にわたる広範な実験により、既存のDA手法やmixupのバリアントに対する優れた性能を実証した。

4. 実験結果

著者らは、4つの主要なタスク（タンパク質フォールド分類、酵素反応分類、Gene Ontology (GO) 項予測、Enzyme Commission (EC) 番号予測）についてMRMを評価した。

• 性能向上: MRMは一貫してベースラインモデルおよび他の拡張戦略を上回った。例えば、Fold Classificationタスクにおいて、MRMはGearNet-Edgeの精度を3.1%、CDConvの精度を4.1%向上させた。Gene Ontology予測においては、従来の拡張手法が性能を低下させた、あるいは失敗したすべてのサブタスク（BP, MF, CC）において改善を達成した。
• Mixupバリアントとの比較: タンパク質データに標準的なManifold MixupやNFMを直接適用すると、性能の低下を招いた。「Two-Stage (TS)」版のこれらの手法はわずかな改善を示したが、依然としてMRMには及ばず、MRM特有の「復元」メカニズムが極めて重要であることを裏付けた。
• タンパク質LLMとの比較: 大規模な事前学習を使用していないにもかかわらず、MRMで強化されたモデルは、FoldおよびEnzyme Reactionタスクにおいて、事前学習済みタンパク質大規模言語モデル（例：ESM-2, ProtBERT）に対して、最先端と同等または競争力のある結果を達成し、評価された全手法の中で最高の平均順位を獲得した。
• 汎用性: 本手法は、異なる配列類似度カットオフ（30%から95%）にわたって堅牢性を示し、訓練セットとのホモロジーが低いタンパク質に対しても強力な汎化能力を持つことが示された。
• アブレーション研究: いずれかのコンポーネント（1D/3D拡張、2段階トレーニング、または難易度スケジューラ）を取り除くと性能が低下し、フルフレームワークの必要性が検証された。

5. 意義と主張

本論文は、タンパク質データの構造的脆弱性に対処することで、計算生物学におけるデータ拡張の新しいパラダイムをMRMが提供すると主張している。その意義は以下の通りである：

• 構造的完全性の復元: タンパク質の機能予測に必要な不可欠な構造情報を犠牲にすることなく、多様な拡張データを使用することを可能にする。
• ギャップの架け橋: 従来の拡張操作（PRLにとっては破壊的すぎる場合が多いもの）を、ダウンストリームタスクにおいて効果的に利用できるようにする。
• 事前学習への可能性: 著者らは、「復元混合（restore mixing）」のパラダイムが、タンパク質LLMの事前学習において自己教師あり信号を構築するための洞察を提供し、拡張されたビューから学習する能力を向上させる可能性があることを示唆している。

著者らは、生物学的な解釈については慎重であり、「復元」は潜在空間で行われるものであり、座標空間における完全に物理的に実現可能な3Dコンフォメーションを再構成するものではないと述べている。また、将来の研究では、ベイズ最適化や強化学習を統合して、拡張操作を動的に調整できる可能性があることも認めている。