技術概要：単一細胞表現学習のためのプロトタイプ誘導型事前学習後学習

問題定義

単一細胞表現学習（SCRL）は、高次元の遺伝子発現データを解読して細胞調節論理を明らかにすることを目的としています。近年、大規模言語モデルに着想を得た基盤モデル（遺伝子をトークン、細胞を文として扱う）は有望な結果を示していますが、2 つの根本的な限界に直面しています：

1. 長尾分布する細胞タイプ： 単一細胞データセットは極端なクラス不均衡を示し、希少ながら生物学的に重要な細胞集団（例えば、疾患を誘発する幹細胞など）はサンプルのわずかな割合しか占めません。これはモデルが豊富な集団に偏るため、希少な細胞タイプに対してノイズの多い、あるいは崩壊した埋め込みをもたらします。
2. 共変量シフト： バッチ効果やシーケンシング深度のばらつきなどの技術的アーティファクトは、訓練データと推論データの間に分布の乖離を生じさせます。既存のモデルは、普遍的な調節論理を捉えるのではなく、バッチ固有のパターンに過剰適合する傾向があり、異なるプラットフォームや実験プロトコル間での汎化能力を制限しています。

現在の微調整戦略は、初期の事前学習中に確立された不安定な潜在埋め込み多様体から開始するため、これらの問題を完全に解決することにしばしば失敗します。

手法：CellRefine

これらの課題に対処するため、著者は初期の事前学習段階と下流の微調整の間に機能するポスト事前学習フレームワークであるCellRefineを導入しました。CellRefine は、生物学的に裏付けられた帰納的バイアスを注入し、潜在埋め込み空間をより安定して識別可能な構造へと再編成します。

この手法は、4 つのコンポーネントを組み合わせた多面的な目的関数（$L_{Total}$）を採用します：

1. プロトタイプ誘導学習（マーカー遺伝子プログラム）：

   • 概念： 既知のマーカー遺伝子セットを構造的な事前知識として利用します。完全なマーカーセットは不明な場合が多いため、各細胞タイプのための「プロトタイプ」を作成するために、マーカーのキュレーションされたサブセットを使用します。
   • 実装： 細胞タイプ $c_i$ のマーカー遺伝子を、細胞オントロジー階層（特定のサブタイプからより広範な系統へ）に基づいて関数 $H(c_i)$ を用いて順序付けます。これらの順序付けられたシーケンスをトークン化し、プロトタイプ埋め込み（$z_m$）に符号化します。
   • 損失： プロトタイプ誘導正則化損失（$L_{prototype}$）は、細胞の埋め込み（$z_c$）とその対応するプロトタイプ埋め込みとの間のコサイン類似度を最大化し、他のプロトタイプとの類似度を最小化します。これにより、表現に生物学的構造が注入されます。

2. 系統認識正則化：

   • 概念： オントロジーで共通の親系統を共有する近縁の細胞タイプが、埋め込み空間内で十分に分離されていないという問題に対処します。
   • 実装： 系統認識分離損失（$L_{lineage}$）は、同じ親系統とオントロジーレベルを共有する細胞ペア間の過度の類似性を罰則付けし、モデルが微細な生物学的アイデンティティを区別することを促します。

3. ガウス混合変分エンコーディング（GMVE）：

   • 概念： 表現品質を向上させるために、潜在空間をクラスタ構造として明示的にモデル化します。
   • 実装： ガウス混合変分エンコーダをモデルに付加します。KL 発散損失（$L_{GMVE}$）は、学習されたガウス混合事前分布に対して変分事後分布を正則化し、クラスタ化された潜在構造を強制します。

4. マスク言語モデル（MLM）：

   • 一般的な遺伝子発現パターンの学習を継続させるため、標準的な事前学習目的を維持します。

総目的関数は以下の通りです：
$$L_{Total} = L_{MLM} + \lambda_1 L_{prototype} + \lambda_2 L_{lineage} + \lambda_3 L_{GMVE}$$

主要な貢献

• 新規ポスト事前学習段階： 事前学習の後に直接微調整を行うことに依存するのではなく、タスク固有の微調整の前に基盤モデルの潜在多様体を洗練させる中間適応段階（CellRefine）を提案します。
• 生物学的事前知識の統合： マーカー遺伝子プログラムや細胞オントロジーなどのメカニズム的生物学知識を最適化プロセスに直接統合し、表現学習を誘導します。
• 長尾分布と共変量シフトへの対応： 生物学的事前知識に基づいてモデルを接地させることが、豊富な細胞タイプへのバイアスを軽減し、技術的シフトに対するロバスト性を向上させることを実証しました。

実験結果

著者は、血液、膵臓、肝臓、脳、肺、心臓など、さまざまな組織にまたがる 11 のデータセットにおける 3 つの中核的な計算生物学タスクで CellRefine を評価しました：

1. 細胞アイデンティティ予測：

   • ドメイン内： CellRefine は、10 のデータセットにおいて、完全微調整、LoRA、標準 MLM 整合を含む最先端のベースラインを一貫して上回りました。血液や膵臓などの不均衡データセットでは、最強のベースライン（MLM $\to$ FF）に対して最大**15%**のマイクロ F1 改善を達成しました。
   • ドメイン外（ゼロショット）： 交差モーダル転移（scRNA-seq で訓練し、空間トランスクリプトミクスでテスト）において、CellRefine は優れた recall@k パフォーマンスを示し、よりロバストで汎化可能な表現を有していることを示しました。

2. 空間トランスクリプトミクスの補間：

   • CellRefine は測定されていない遺伝子発現の予測を改善し、肝臓の空間データセットにおいてベースラインと比較して高いピアソン相関とコサイン類似度スコアを達成しました。

3. 遺伝子攪乱応答予測：

   • 攪乱下での遺伝子発現変化の予測において、CellRefine はベースラインに対して一貫した（やや小さいものの）改善をもたらしました。

アブレーション研究：

• 3 つの正則化項（$L_{prototype}$、$L_{lineage}$、$L_{GMVE}$）のいずれかを除去すると性能が低下し、多目的アプローチが相乗効果を持つことが確認されました。
• サンプル効率： フォーショット学習シナリオ（5〜50 ショット）において、CellRefine は標準的な微調整と比較して低サンプル数で著しく急峻な性能向上を示し、限られたラベル付きデータをより効果的に活用することを示唆しています。

定性的分析：

• 潜在空間の UMAP 可視化は、CellRefine が埋め込み多様体を再編成し、MLM のみで訓練されたモデルと比較して、希少な「テール」細胞集団（特定の T サブセットや希少な肝臓細胞タイプなど）をより識別可能にし、主要な細胞クラスターとの絡み合いを減少させることを明らかにしました。

意義と主張

本論文は、生物学的に情報を与えられた帰納的バイアスが基盤モデルの下流性能を大幅に向上させることを実証することで、CellRefine が単一細胞表現学習の有望な方向性を表していると主張しています。

• 臨床的有用性： 希少な細胞タイプをよりよく捉え、共変量シフトに対するロバスト性を向上させることで、標準モデルではしばしば隠蔽される希少または遷移的な細胞状態における疾患メカニズムや治療標的の特定可能性を高めることができます。
• 方法論的転換： データ駆動型の事前学習のみに依存し、その後に微調整を行うことへの依存に反対し、学習プロセスを安定させるためにマーカー遺伝子やオントロジーなどのドメイン知識を明示的に組み込む中間段階を提唱しています。
• 限界： 著者は控えめに、このアプローチがキュレーションされたマーカー遺伝子プログラムに依存しており、新規細胞タイプに対しては不完全またはノイズを含む可能性があることを指摘しています。さらに、性能向上が必ずしもパラメータ効率の向上を意味するわけではないとも述べています。

要約すると、CellRefine は大規模事前学習と、単一細胞生物学的データ特有の、しばしば不均衡な現実との間のギャップを埋めるフレームワークを提供し、より識別可能で汎化可能な細胞表現をもたらします。