Causal Circuit Tracing Reveals Distinct Computational Architectures in Single-Cell Foundation Models: Inhibitory Dominance, Biological Coherence, and Cross-Model Convergence

本論文は、遺伝子発現の基礎モデル（Geneformer V2-316M および scGPT）におけるスパース自己符号化器（SAE）特徴量間の因果的相互作用を解析する「因果回路追跡」手法を提案し、モデル間で生物学的整合性や抑制優位性が保存されていること、疾患関連ドメインの特定、および CRISPRi による検証を通じて共発現パターンの確認を実証したものである。

要約

🧬 研究のテーマ：AI の「頭の中」を覗き込む

最近、**「Geneformer（ジーネフォーマー）」や「scGPT（エスシージーピーティー）」**という、細胞のデータを学習したすごい AI が登場しました。これらは「基礎モデル」と呼ばれ、細胞がどう動くかを予測できます。

しかし、AI が「なぜその答えを出したのか」は、ブラックボックス（箱の中が見えない状態）でした。
この研究は、その箱を開けて、**「AI の頭の中で、どの情報（特徴）が、どの情報に『影響』を与えているか」**を、実際に手を加えて（実験して）調べました。

これを**「因果回路の追跡（Causal Circuit Tracing）」**と呼びます。

---

🔍 実験のやり方：「消しゴム」で消してみる

研究者は、AI の頭の中にある「特徴（例えば『DNA 修復』や『エネルギー代謝』といった概念）」を、一つずつ**「消しゴムで消す（無効化する）」**という実験を行いました。

• 実験： 「DNA 修復」の情報を AI から一時的に消す。
• 観察： その結果、AI の頭の中の他の部分（例えば「細胞分裂」の処理）がどう反応するかを見る。
• 結果： 「あ、DNA 修復を消すと、細胞分裂の処理も止まっちゃう！つまり、DNA 修復が細胞分裂に『原因』として影響してるんだ！」とわかるのです。

これを 9 万回以上も繰り返して、AI の頭の中の**「配線図（回路図）」**を描き出しました。

---

💡 発見された 3 つの驚きの事実

1. 「抑制（ブレーキ）」が主役だった

AI の回路図を見てみると、驚くことに**「8 割以上が『抑制（ブレーキ）』の配線」**でした。

• 例え話： 街の交通信号で、緑（加速）よりも赤（停止）の方が圧倒的に多いような状態です。
• 意味： AI は「何かを足して情報を増やす」よりも、「不要なノイズを消して（ブレーキをかけて）必要な情報だけを残す」ことで、細胞の仕組みを理解していることがわかりました。

2. 2 つの AI は「性格」が全然違う

同じ細胞を学習した 2 つの AI を比べると、その中身はまるで別人のようでした。

• Geneformer（ジーネフォーマー）：
  • 性格： 協調的で、依存し合うタイプ。
  • 中心： 「DNA の修復」や「RNA の処理」を重要視しています。まるで**「図書館の司書」**のように、遺伝子の情報を整理整頓することに長けています。
• scGPT（エスシージーピーティー）：
  • 性格： 競争的で、活発なタイプ。
  • 中心： 「ミトコンドリア（エネルギー生産）」を重要視しています。まるで**「工場の主任」**のように、エネルギー効率や生産性を最優先に考えています。
• 結論： どちらも細胞を理解していますが、**「見る視点（レンズ）」**が全く違うことがわかりました。

3. 「共通の真理」が見つかった

2 つの AI は全く違う設計なのに、**「細胞の重要な仕組み（病気に関わる部分など）」**については、驚くほど同じ回路図を描いていました。

• 例え話： 2 人の異なる料理人が、全く違うレシピ本を使っているのに、「お米を炊くには水が必要だ」という基本原則だけは、二人とも同じように理解していました。
• 意味： AI が偶然ではなく、**「本当の生物学的な法則」**を学習している証拠です。

---

🧪 現実世界との関係：どこまで正しいのか？

この研究で面白いのは、「AI が理解していること」と「現実の遺伝子の働き」のズレも発見した点です。

• 得意なこと： 「DNA 修復」と「細胞分裂」という**「大きな概念」**が繋がっていることは、AI は完璧に理解していました。
• 苦手なこと： 「A という遺伝子を消すと、B という遺伝子が必ず増える」という**「具体的な遺伝子レベルの因果関係」**を予測するのは、まだ 5 割程度しか当たりませんでした。
• 結論： AI は「細胞の全体図（地図）」は上手に描けていますが、「特定の道路（遺伝子）の細かな交通ルール」までは完璧には理解できていません。でも、**「病気に関わる重要な場所」**は、AI の地図でもハッキリと中心に描かれているので、病気研究には非常に役立ちます。

---

🚀 この研究のすごいところ（まとめ）

1. AI の「思考回路」を可視化した： 以前は「AI が何を考えているか」は謎でしたが、今回は「情報の流れ」を配線図として描くことに成功しました。
2. 生物学の「新しい地図」を作った： AI が発見した「DNA 修復→細胞分裂」といったつながりは、人間が知らなかった新しい生物学的な関係性を示唆しています。
3. AI 同士を比べることで「真実」を見つけた： 2 つの AI が同じ結論に達した部分は、間違いなく「生物学的な真実」である可能性が高いと証明しました。

一言で言うと：
「AI は、細胞の『全体像』を非常に上手に理解している『天才的な地図帳』を作ってくれた。でも、細かい『道案内』はまだ人間がチェックする必要があるよ」という、AI と生物学の新しい関係を明らかにした画期的な研究です。

技術概要

この論文「Causal Circuit Tracing Reveals Distinct Computational Architectures in Single-Cell Foundation Models: Inhibitory Dominance, Biological Coherence, and Cross-Model Convergence」は、単一細胞基礎モデル（Single-Cell Foundation Models）である Geneformer と scGPT における、スパースオートエンコーダ（SAE）特徴量間の因果的相互作用を解明するための新しい手法「因果回路追跡（Causal Circuit Tracing）」を提案し、その適用結果を報告した研究です。

以下に、問題意識、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 背景と問題意識

• 現状の限界: 近年、スパースオートエンコーダ（SAE）を用いて大規模言語モデルや生物学的基礎モデルの活性化を解釈可能な特徴量に分解する研究が進んでいます。しかし、既存の研究では「どの特徴量が存在するか（アトラス化）」は明らかになっていますが、ネットワークの深さ（レイヤー間）を跨いで特徴量がどのように因果的に相互作用しているか（計算グラフの構造）は不明でした。
• 既存手法の不足: 共活性化統計（相互情報量など）は相関を示すだけで因果関係や情報の流れの方向性・強度を区別できません。また、既存の因果介入手法（アクティベーションパッチング等）は主に言語モデルで用いられており、生物学的基礎モデルの SAE 特徴量レベルでの体系的な適用は行われていませんでした。
• 課題: 生物学的基礎モデルが内部でどのような計算論理（回路）を用いて遺伝子レベルの入力を文脈的な予測に変換しているのかを、メカニズム的に理解する必要性がありました。

2. 手法：因果回路追跡（Causal Circuit Tracing）

著者は、アクティベーションパッチングのロジックを生物学的ドメインに拡張した新しい手法を導入しました。

• プロトコル:
  1. ソース特徴量の選択: 各レイヤーから、生物学的注釈（GO, KEGG, Reactome など）が豊富に付与された特徴量（ソース特徴量）を選択します。
  2. アブレーション（除去）: ソースレイヤーにおいて、選択した特徴量の活性化をゼロにします（SAE のエンコーダ/デコーダを用いて隠れ状態を操作）。
  3. ダウンストリーム測定: 操作された状態からモデルを前方伝播させ、その後のすべてのレイヤーにおける SAE 特徴量の活性化変化を測定します。
  4. 統計的評価: 各ソース - ターゲットペアに対して、コヘンの d（効果量）と一貫性（細胞内で同じ方向に変化する割合）を計算し、有意な因果エッジを特定します。
• 対象モデルと条件:
  • Geneformer V2-316M: 18 レイヤー、K562 細胞および多組織（Tabula Sapiens）データを用いた SAE。
  • scGPT Whole-Human: 12 レイヤー、多組織データを用いた SAE。
  • 計 4 つの実験条件（K562/K562, K562/Multi, TS/Multi, scGPT TS/Multi）で合計 96,892 個の因果エッジを解析しました。

3. 主要な結果と発見

A. 計算グラフの構造的特徴

• 高密度かつ抑制優勢（Inhibitory Dominance）: 両モデルとも、因果エッジの約 65%〜89% が**抑制的（負の符号）**でした。これは、特徴量が「冗長な情報」ではなく「必要な情報」を符号化しており、ある特徴量を除去すると依存する下流の特徴量の活性化が低下することを示唆しています。
• モデル間のアーキテクチャの違い:
  • Geneformer: 協調的・依存ベースのアーキテクチャ（抑制：興奮 = 80:20）。特徴量あたりの平均効果量は中程度（|d| = 1.05）。
  • scGPT: 競争的・ダイナミックなアーキテクチャ（抑制：興奮 = 65:35）。特徴量あたりの平均効果量がより強く（|d| = 1.40）、よりバランスの取れたダイナミクスを示します。

B. 生物学的整合性（Biological Coherence）

• 高い整合性: 因果エッジの約 53%（多組織 SAE では 68.8%）で、ソースとターゲットの特徴量が共通の生物学的オントロジー用語（例：DNA 修復、細胞周期）を共有していました。これは偶然の期待値を大幅に上回ります。
• SAE に依存する性質: 生物学的整合性は、入力細胞の種類（K562 か TS か）には依存せず、SAE のトレーニングデータ（単一組織か多組織か）に強く依存することが判明しました。多組織 SAE はよりクリーンで普遍的な生物学的プログラムを捉えていました。

C. 具体的な生物学的回路の発見

• 既知の経路の再現: DNA 損傷応答（DDR）から細胞周期停止へのカスケード、神経発達とプロテオスタシスの結合、有糸分裂装置の組み立てなど、既知の生物学的経路がモデル内の因果回路として明確に再現されていました。
• スルー接続（Skip Connection）: 一部の回路では、中間レイヤーをバイパスして直接下流に接続する「スルー接続」的な構造が観察されました。
• モデル固有のハブ:
  • Geneformer: クロマチン修飾や RNA 処理がハブとして機能。
  • scGPT: ミトコンドリア電子伝達系（エネルギー代謝）が中心的なハブとして機能。これは scGPT が連続値のマスク予測タスクでエネルギー状態の変動を重要視しているためと考えられます。

D. 異種モデル間のコンセンサスと新規発見

• 1,142 の保存された回路: Geneformer と scGPT の両方で共通して発見された生物学的ドメイン間の因果ペアは 1,142 組あり、偶然の期待値の 10.6 倍（p < 0.001）でした。これは、モデルのアーキテクチャや学習データが異なっても、生物学的知識の構造が共通して学習されていることを示します。
• 疾患関連の中心性: 疾患に関連する生物学的ドメインは、回路グラフ内でより中心的な位置（ハブ）にあり、モデル間でより強く保存されていることが分かりました。
• 新規関係性: 既存のデータベースにない 29,864 個の因果エッジが候補として抽出されました（例：ミトコンドリアのエネルギー状態がタンパク質輸送に因果的に影響を与えるなど）。

E. 遺伝子レベルの検証と限界

• CRISPRi 検証: 回路から導き出された遺伝子間の因果関係を、Replogle の CRISPRi スクリーンデータで検証したところ、方向性の精度は 56.4%（偶然の 50% よりわずかに高い）にとどまり、効果量の相関はほぼゼロでした。
• 結論: これらのモデルは「どの生物学的プロセスが関連するか」を正確に学習していますが、「どの特定の遺伝子がどの遺伝子を因果的に制御するか」という微細なメカニズムまでは正確に符号化していない（共発現パターンを学習している）ことが確認されました。

4. 意義と貢献

1. メカニズム的解釈性の新たなパラダイム: 従来のコンポーネント（アテンションヘッドや MLP 層）レベルの分析ではなく、SAE 特徴量レベルでの因果回路追跡が、生物学的基礎モデルの内部計算構造を解明する有効な手段であることを実証しました。
2. 生物学的基礎モデルの普遍性と多様性: 異なるモデル（Geneformer と scGPT）間で、生物学的整合性や抑制優勢性といった普遍的な特性が確認された一方で、ハブの性質や効果量の強さなどモデル固有の計算戦略も明らかになりました。
3. 仮説生成の枠組み: 96,892 個の因果エッジの体系的な解析により、既知の生物学的経路の検証だけでなく、細胞内での機能関係（特にコンパートメントを超えた関係性）に関する新たな仮説を生成する基盤を提供しました。
4. SAE の重要性: モデルそのものよりも、SAE のトレーニングデータ（多組織か否か）が解釈性の結論（生物学的整合性など）に決定的な影響を与えることを示し、解釈可能性研究における SAE 設計の重要性を強調しました。

5. まとめ

この研究は、単一細胞基礎モデルが単なる統計的相関の学習を超えて、生物学的に整合性のある因果的な計算グラフを内部に構築していることを実証しました。特に、モデル間でのコンセンサスが見られる「疾患関連プロセスの中心性」や「抑制優勢な情報フロー」は、生物学的知識の構造化に関する重要な洞察を提供しています。一方で、遺伝子レベルでの因果予測精度の限界は、これらのモデルが「共発現」を主たる情報源としていることを示唆しており、将来的な因果推論モデルへの発展の余地を残しています。