🧬 biology

Integrating gene regulatory priors into Transformer attention with scTransformer for interpretable scRNA-seq analysis

本論文は、単一細胞RNA-seq解析の性能と生物学的解釈性の両方を向上させるために、アテンション機構に遺伝子制御の事前知識を統合した、新しいTransformerベースのモデルであるscTransformerを提案する。

原著者： Mikele Milia, Louis Fabrice Tshimanga, Henning Mueller, Manfredo Atzori, Barbara Di Camillo

公開日 2026-06-09

📖 1 分で読めます☕ さくっと読める

原著者： Mikele Milia, Louis Fabrice Tshimanga, Henning Mueller, Manfredo Atzori, Barbara Di Camillo

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ⚕️ これは査読を受けていないプレプリントのAI生成解説です。医学的助言ではありません。この内容に基づいて健康上の判断をしないでください。免責事項の全文を読む

あなたは、超優秀な学生（AIモデル）に、混雑した部屋の中にいる様々なタイプの人々を、IDバッジを見るだけで識別する方法を教えようとしていると想像してください。生物学の世界では、これらの「人々」は細胞であり、彼らの「IDバッジ」は、その細胞内で活性化している遺伝子のリストです。これは**シングルセルRNAシーケンシング（scRNA-seq）**と呼ばれます。

長い間、科学者たちは、これらの細胞を研究するために、Transformer（現代のチャットボットを支えるものと同じ技術）と呼ばれる強力なAIツールを使用してきました。しかし、問題があります。これらのAIモデルは通常、すべての遺伝子を、他のあらゆる遺伝子にとっての「見知らぬ他人」であるかのように扱います。彼らは、事前の知識を持たないまま、純粋に偶然によって遺伝子同士のつながりを推測しようとします。それは、まるで事前の知識なしに、誰が誰を知っているかを推測して犯行を解決しようとする探偵のようなものです。

これは膨大なデータがあれば上手くいきますが、2つの大きな欠点があります：

それは単なる当て推量である： AIは、一見リアルに見えるものの、実際には単なるランダムなノイズに過ぎないパターンを見つけ出してしまう可能性があります。
信頼するのが難しい： もしAIに「なぜその決定を下したのか」と尋ねても、それは単に統計的な運に従っているだけで、生物学的なルールに基づいているわけではないため、説明することが困難です。

解決策：scTransformer

著者たちは、scTransformerと呼ばれる新しいモデルを作成しました。このモデルを、ただ推測するだけでなく、学習を始める前に**「ルールブック」**を与えられた学生だと考えてください。

このルールブックは、既知の生物学的関係のマップです。それはAIにこう伝えます。「おい、遺伝子Aはボス（転写因子）であり、遺伝子Bを制御している。しかし、遺伝子Aは遺伝子Cに対しては何の権限も持っていない。」

技術的な用語で言えば、彼らはこのルールブックをAIの「アテンション（注意）」メカニズムの中に直接組み込みました。通常のAIでは、すべての遺伝子が他のすべての遺伝子を「見ることが」できます。しかし、scTransformerでは、AIはルールブックに存在しないつながりに注目することを物理的にブロックされます。AIは、科学者がすでに確認済みの関係性にのみ、注意を払うことができるのです。

仕組み（比喩）

パズルを解こうとしている教室の場面を想像してください。

従来の方法（標準的なTransformer）： すべての生徒が他のすべての生徒にささやきかけることができます。彼らは、たとえ共通点がなくても、たまたま隣に座っていたという理由だけでグループを形成してしまうかもしれません。もし彼らに「なぜグループになったのか」と尋ねたら、彼らは「なんとなくそう感じたから」と答えるかもしれません。
新しい方法（scTransformer）： 教師が家族のつながりに基づいた座席表を配ります。生徒A（ボス）は、特定の兄弟（ターゲット遺伝子）にしかささやきかけることができません。生徒B（普通の遺伝子）は、自分自身か、あるいは自分自身の家族にしか話すことができません。AIは、ランダムな座席配置ではなく、真の家族構造を学習することを強制されます。

彼らが発見したこと

研究者たちは、特定の疾患に関連する脳細胞のデータセットを用いて、この新しいモデルをテストしました。その結果、以下のことが起こりました。

少ないデータでも賢い： AIが学習するためのデータが非常に少ない場合（全細胞のわずか1%しかない場合など）、新しいモデルは古いモデルよりも正確に細胞タイプを推測することができました。「ルールブック」のおかげで、不可能なつながりを推測することに時間を浪費する必要がなくなり、より速く学習できたのです。
一貫性がある： もし古いAIモデルを10回実行すると、たとえ精度が同じであっても、毎回異なる遺伝子のグループを選んで決定を下すかもしれません。それは、テストで正解は出すものの、毎回異なるランダムな方法を用いる学生のようなものです。しかし、新しいモデルは、毎回同じ遺伝子グループを選択します。これは信頼できるものです。
理にかなっている： AIは生物学的なルールブックに従うよう強制されているため、AIが見つけ出したつながりは、生物学者がすでに知っている事実と一致します。AIが払う「アテンション（注意）」は、ランダムな混乱ではなく、実際の制御プログラムのように見えるのです。

結論

論文は、AIに既知の生物学的ルールを尊重させることで、単に精度を少し上げただけでなく、それをより信頼できるものにしたと結論付けています。

データが乱雑で不完全なことが多い世界において、このアプローチは、AIの「思考」が現実に基づいていることを保証します。AIは単に答えを予測するのではなく、生物学の言語を用いて答えを説明します。著者たちは、自然の法則によって厳格に導かれつつも柔軟性を持つ強力なAIを持つことが可能であり、それが細胞の仕組みを理解するためのより優れたツールになることを示しています。

技術要約: scTransformer – TransformerのAttentionへの遺伝子制御プライアの統合

問題提起

シングルセルRNAシーケンシング（scRNA-seq）データは、高次元性、スパース性、および技術的ノイズを特徴としており、表現学習において重大な課題をもたらす。Transformerベースの基盤モデル（scGPTやGeneformerなど）は、数百万個の細胞を用いた事前学習によってスケーラビリティを示してきたが、これらは通常、遺伝子を独立したトークンとして扱い、制約のない自己注意（self-attention）を用いる。この設計では、任意の遺伝子が他の任意の遺伝性に注目することを許容するため、依存関係の発見を統計的な共変動のみに依存することになる。その結果、これらのモデルは以下の問題に直面することが多い：

限定的な解釈可能性: Attentionのパターンをメカニズム的な生物学的プロセスにマッピングすることが困難である。
不安定性: 低データ領域やバッチ効果が存在する場合、制約のないモデルはデータセット固有の相関に過学習し、予測精度は高いものの、特徴量選択において不安定な結果（すなわち、異なる訓練実行ごとに異なる遺伝子セットが選択される現象）をもたらす。
生物学的知識の無視: 既存のアプローチは、転写因子（TF）と標的遺伝子（TG）のキュレートされた制御ネットワークをほとんど無視しており、これらは転写制御における妥当な因果構造を符号化しているものである。

手法: scTransformer アーキテクチャ

著者らは、キュレートされたTF–TG制御ネットワークをハードマスキングを介して自己注意メカニズムに直接統合する、生物学的に情報を与えられたTransformerエンコーダであるscTransformerを提案する。

1. 入力表現と埋め込み:

遺伝子トークン埋め込み: 細胞内の各遺伝子は、学習可能な遺伝子アイデンティティ埋め込み（ $e^{id}$ ）と連続的な発現符号化（ $e^{expr}$ ）を組み合わせた $d$ 次元のトークンにマッピングされる。
連続正弦波符号化: 離散的なビン分割とは異なり、発現値は連続的な正弦波スキーム（ $\sin(x \cdot \omega_k), \cos(x \cdot \omega_k)$ ）を用いて符号化される。これにより、scRNA-seq測定のダイナミックレンジ全体にわたって定量的情報を保持し、滑らかさと有界性を確保する。
プーリング: 類似度ベースのプーリングメカニズムにより、可変長のトークンシーケンスを固定次元の細胞埋め込みへと集約する。コンテキストベクトルはトークン埋め込みの平均として計算され、トークンシーケンスに対するクロスアテンションのクエリとして使用される。

2. プライア・ゲーテッド・アテンション・メカニズム:
核心となる革新は、制約のないアテンションを**プライア・ゲーテッド（prior-gated）**メカニズムに置き換えた点にある：

制御ネットワーク: キュレートされたTF–TGネットワーク（CollecTRIより）は、十分な標的を持つTFおよびデータセット内に存在する遺伝子に絞り込まれるよう前処理される。
ハードマスキング: $M_{allow}(i, j) = 1$ となるのは、遺伝子 $i$ がTFであり、かつ遺伝子 $j$ がその標的である場合（または自己ループのために $i=j$ の場合）のみであるブール値の許可行列（ $M_{allow}$ ）が構築される。その他の相互作用は0に設定される。
アテンション制約: この行列は、禁止された相互作用に $-\infty$ を割り当てる加算マスク（ $\tilde{M}_{prior}$ ）に変換される。スケールド・ドットプロダクト・アテンションにおけるソフトマックス演算の前に、このマスクがアテンションスコアに加算される：
$A_h = \text{softmax}\left(\frac{Q_h K_h^\top}{\sqrt{d_k}} + \tilde{M}_{prior} + M_{pad}\right)$
これにより、情報は既知の制御エッジ（および自己ループ）に沿ってのみ流れることが保証され、実質的に仮説空間を生物学的に妥当な相互作用へと制約する。

3. 解釈可能性の指標:
学習されたアテンションの生物学的妥当性を定量化するために、著者らはモジュールレベルの指標を定義する：

集中スコア ( $\phi$ ): 正規化されたエントロピーを用いて、TFがいかに選択的に注釈付けされた標的にアテンションを集中させているかを測定する。エントロピーが低い（ $\phi$ が高い）ことは、集中した構造化されたアテンションを示す。
モジュール重要度: 集中スコアを標的に向けられた総アテンション質量と組み合わせることで、制御信号の強さを定量化する。

4. 実装の詳細:

データ: MSSM単一核RNA-seqアトラス（PsychADコホート）に基づき、17のサブタイプおよびTF–TGの遺伝子交差に限定して評価。
訓練: Pre-LNアーキテクチャを備えたAdamWオプティマイザを使用。大規模なデータセットを効率的に扱うため、圧縮疎行列（CSR行列）上で直接動作するスパースバッチングを採用。
評価: サンプル効率と堅牢性を評価するため、様々な訓練データレジーム（1%から100%）にわたってモデルをテスト。

主な貢献

プライア・ゲーテッド・アテンション: キュレートされたTF–TGネットワークをアテンションメカニズム内のハード制約として組み込み、制御知識を構造的な帰納バイアスへと変換した最初のTransformerフレームワーク。
連続発現符号化: scRNA-seqデータの定量的性質を離散化することなく保持する正弦波符号化スキーム。
スパース訓練パイプライン: CSR行列上で直接動作する効率的な実装により、大規模なシングルセルデータセットでのスケーラブルな訓練を可能にした。
形式的な解釈可能性指標: アテンションの集中度と制御重要度を定量化する一連の指標を提供し、事後解析を必要とせずに生物学的整合性を直接評価することを可能にした。
再現可能なプロトコル: 厳密に安定性を評価するために、制御されたデータパーティショニングとマルチシード評価を備えた分散訓練セットアップ。

結果

著者らは、細胞型分類タスクにおいて、scTransformerを制約のないベースラインと比較評価した：

低データレジームにおける性能: 限定的な訓練データ（1%および25%）の設定において、プライア・ゲーテッドモデルは、制約のないベースラインよりも有意に高い精度を達成した（例：1%のデータにおいて0.486 vs 0.464）。これは、サンプル効率の向上を示している。
フルデータレジームにおける性能: 100%のデータ利用可能性において、プライア・ゲーテッドモデル（TF–TG制限遺伝子のみを使用）は、全遺伝子を使用する制約のないベースラインと同等の精度を達成した（0.911 vs 0.917）。これは、はるかに小さな相互作用空間で動作しているにもかかわらずである。
安定性と再現性: 制約のないモデルは、訓練実行間で高い変動性を示し、互いに異なる遺伝子セットを選択した（Jaccard指数がゼロに近い、負のSpearman相関）。対照的に、プライア・ゲーテッドモデルは高い安定性を示し、一貫して同様の遺伝子サブセットを選択し、一貫した順位付けを行った。
生物学的整合性: プライア・ゲーテッドモデルのアテンションマップは、より高い集中スコア（ $\phi$ ）を示し、TFが特定の生物学的に関連する標的サブセットにアテンションを集中させていることを示した。これらのパターンは、既知のサブタイプ特異的な制御プログラム（例：内皮様集団における GRHL3 の濃縮、OPCsにおける NANOG の濃縮）と一致していた。一方、制約のないモデルは、拡散的で解釈性の低いアテンション分布を生み出した。

意義と主張

本論文は、制御プライアを統合する主要な価値は、単に予測精度を向上させることではなく、学習された表現の認識論的な信頼性と解釈可能性を高めることにあると主張している。

曖昧さの解消: 高次元でスパースなデータにおいて、同じ表現型を説明できる遺伝子の組み合わせは複数存在する。制約のないモデルは、任意で不安定な解に収束することがある。制御プライアは仮説空間を制約し、モデルを生物学的に根拠のある一貫した解へと導く。
帰納バイアス: 生物学的構造をアーキテクチャに直接組み込むことで、十分なデータが利用可能な場合には柔軟性を損なうことなく、ノイズやバッチ効果に対して堅牢な表現を学習する。
解釈可能性の基礎: このアプローチは、「生物学的に根拠のある基盤モデル」への原則的なステップを提供する。そこでは、アテンションの重みが直接的に制御プログラムとして解釈可能であり、事後解析を必要とせずに生物学的洞察を促進する。

著者らは、現在の限界として、ハードなバイナリマスクの使用（これにより新しい相互作用の学習が妨げられる）、教師ありタスクへの限定、および単一のデータセットでの評価を挙げ、謙虚な姿勢を保っている。今後の研究では、ソフトまたは学習可能なプライア、自己教師あり学習による事前学習、およびハイブリッドアーキテクチャの探索が可能であると示唆している。