Rotation, rescaling, or replacement? Decomposing organ adaptation in single-cell transformer representations

あなたは、超高性能なロボットがどのようにして世界を理解することを学ぶのかを突き止めようとしている探偵だと想像してください。生物学の分野では、科学者たちが「トランスフォーマー」と呼ばれるこれらのロボットを構築しており、彼らは細胞の中にある「指示書」を読み解こうとしています。これらの指示書は遺伝子の言語で書かれており、ロボットは膨大な細胞データのライブラリを用いて訓練され、体のさまざまな部位がどのように機能しているかを理解します。大きな疑問は、ロボットに脳や腎臓といった特定の臓器について教えるとき、それは単に古い事実を新しい角度から見ているだけなのか（回転）、それとも理解そのものを完全に書き換えてしまうのかという点です。これが重要なのは、もしロボットが視点を「回転」させているだけなら、脳について学んだことを腎臓を理解するために簡単に翻訳できるからです。しかし、もし視界全体を「置き換え」ているのであれば、臓器を切り替えるたびに最初からやり直さなければなりません。

この論文は、scGPTプロジェクトによって作成された特別な3つのロボットの脳を用いて、まさにこの謎を調査しています。研究者たちにはユニークな利点がありました。彼らは全く同じ設計図に基づき、全く同じランダムな数値の「シード（種）」から構築された、同じバージョンの3つのロボットを持っていたのです。唯一の違いは、その学習ライブラリでした。一つは全身の3,300万個の細胞を読み、もう一つは脳の1,320万個の細胞を読み、最後の一つは腎臓の81.4万個の細胞を読みました。これらを比較することで、著者は、データがロボットに何を教えたのか、そして何が誕生時に残された単なるランダムなノイズなのかを正確に見分けることができました。

偉大なる「あなたは何を学んだのか？」実験

これらのAIモデルを、同じ日に同じ席に座り、同じ白紙のノートと、余白に書かれた同じランダムな落書き（「初期化」）を持った3人の生徒と考えてみてください。

• 生徒Aは、あらゆる部位を網羅した3,300万ページの巨大な百科事典を読みました。
• 生徒Bは、1,320万ページの厚い教科書を読みましたが、それは脳についてのみでした。
• 生徒Cは、81.4万ページの薄いパンフレットを読みましたが、それは腎臓についてのみでした。

研究者たちは知りたかったのです。生徒Bと生徒Cが読み終えたとき、彼らは単に顔を傾けて同じ事実を異なる角度から見ていたのか（回転）、それとも言葉の大きさを変えていたのか（スケーリング/再調整）、あるいは、古い事実を捨てて全く新しい事実を書き込んでいたのか（置き換え）ということを。

機械の中に潜む「ゴースト」

大きな問いに答える前に、研究者たちは不気撃な手がかりを見つけました。3人の生徒全員のノートの中で、数千もの特定の行が、ビット単位で完全に一致していることに気づいたのです。これらは、どの生徒も実際に読んだり学んだりしたことのない行でした。ノートはランダムな落書きから始まったため、これらの行が変わらなかったということは、研究者たちはこう気づきました。「なるほど！3人の生徒全員が、全く同じランダムな落書きからスタートしていたのだ！」

これはゲームチェンジャーとなりました。これにより、研究者は「ノイズ」がどのようなものかを正確に把握できました。彼らは境界線を引くことができたのです。その線より下にあるものは単なるランダムな開始時の落書きであり、その線より上にあるものは真の学習である、と。

衝撃的な結果：それは「回転」ではなく「書き換え」だった

ノイズをフィルタリングした後、主要な問いへの答えは明確かつ驚くべきものでした。

1. 「腎臓」の生徒は、実はあまり何も学んでいなかった
腎臓のパンフレット（81.4万個の細胞）だけを読んだ生徒は、ノートをほとんど変えていませんでした。彼らが新たに学んだ可能性のある512の方向のうち、実際に新しいものはわずか12でした。残りはすべて、元のランダムな落書きでした。これは、たった一冊のコミックを読んで新しい言語を学ぼうとするようなものです。まだ言語を習得できていないのです。研究者たちは、この生徒にとって「学習」は非常に弱く、そのほとんどがノイズであったことを発見しました。

2. 「脳」の生徒は、角度だけでなく「地図」を変えていた
脳の教科書（1,320万個の細胞）を読んだ生徒は、より多くのことを学びました。約104の新しい方向です。しかし、ここにひねりがありました。彼らは単に地図を回転させたり、既存の道路を大きくしたりしただけではありませんでした。彼らは道路を置き換えていたのです。

研究者たちは、脳の生徒の地図を、全身の生徒の地図に「回転（地図を回す）」や「スケーリング（地図を伸ばす）」を使って当てはめようと試みました。しかし、うまくいきませんでした。

• 単純な回転では、変化の30%未満しか説明できませんでした。
• すべての道路に対して「引き伸ばし」を加えたとしても、わずかに増える程度でした。
• 地図を一致させるためには、複雑で乱雑な線形写像を用いる必要があり、それでも変化の約**57%**しか説明できませんでした。

これは、ロボットが特定の臓器について学ぶとき、生物学的な事実を異なる角度から見ているだけではないということを意味します。ロボットは古い「軸」（情報を整理する主な方法）の大部分を破棄し、新しい軸を書き込んでいるのです。脳の生徒と腎臓の生徒は、同じ方言に異なるアクセントがついているのではなく、異なる方言を話しているのです。

3. 「中間」にこそ魔法がある
研究者たちはまた、ロボットの脳の「どこ」で学習が起きているのかも調べました。学習は、ネットワークの中間層、具体的には「アテンション（注意）」を払う部分と「フィードフォワード（情報処理）」を行う部分に集中していることがわかりました。「ノーマライゼーション（正規化）」の部分（ロボットを安定させる部分）は、ほとんど変化していませんでした。まるで、生徒が教科書の中盤の章を書き換えたものの、導入部と結論部分は開始時と全く同じままにしているかのようです。

4. 大きさよりも「方向」が重要である
ロボットが脳について学んだのか腎臓について学んだのかを判断する際、変化の「大きさ」は教えてくれませんでした。大きく変化した遺伝子がどこから来たのかは特定できません。しかし、「方向」の変化は決定的な証拠となりました。もしある遺伝子が特定の方向に動いたなら、それはほぼ間違いなく脳の遺伝子でした。もし反対方向に動いたなら、それは腎臓の遺伝子でした。ロボットは、情報の量ではなく、情報が「どちらへ」シフトしたかによって、臓器を認識することを学んだのです。

未来の探求者への教訓

この論文は、これらのAIロボットを使って生物学を理解しようとするすべての人に向けて、いくつかの非常に実用的なルールを提示しています。

• ジェネラリスト（汎用モデル）を使い続けること： 生物学を理解したいのであれば、全身の細胞（3,300万個の細胞モデル）で訓練されたモデルを使用してください。それが最も多くの「学習された」方向と、明確な構造を持っています。
• 転用可能性を前提としないこと： 「脳」モデルで行われた発見を、単につまみを回すだけで「腎臓」モデルに適用することはできません。内部の地図はあまりにも異なります。もし脳モデルの知見を腎臓のために使いたいのであれば、ゼロから学び直す必要があります。
• 小さなデータセットに注意すること： もしモデルが（この研究における腎臓モデルのように）1,000万個未満の細胞で訓練されている場合、それは実際には何も学んでいない可能性があります。それは単に、自身のランダムな初期状態の落書きをエコーしているだけかもしれません。臓器特有のモデルを信頼する前に、それがノイズを超えて実際に何かを学んでいるかどうかを確認すべきです。

要約すると、ロボットは新しい臓器を見るために単に頭を「回転」させているのではありません。新しい頭を「成長」させているのです。そして、もし読む時間（データ）が十分に足りなければ、新しい頭を成長させることはできず、ただ最初に持っていたランダムな落書きをぼんやりと眺めているだけになってしまうのです。