Reading Mechanism off Biological Foundation Models: An Empirical Analysis of Genomic Neighborhood Structure in scGPT Gene Embeddings

あなたは、超スマートなロボット司書を構築したところだと想像してください。あなたは、最小の細菌から巨大なクジラに至るまで、生物がどのように機能するかについての何百万冊もの本をこのロボットに読み込ませました。科学者が「基盤モデル」と呼ぶこのロボットは、文章の次に何が来るかを推測したり、細胞が薬に対してどのように反応するかを予測したりすることにおいて驚異的な能力を持っています。しかし、ここで大きな謎があります。このロボットは本当に生物学を「理解」しているのでしょうか、それとも単に本を暗記した、非常に優れたパターン・マッチングを行っているだけなのでしょうか？

これを解明するために、科学者たちはしば der 頻繁に、ロボットがどのように「考えているか」を調べます。彼らは、ロボットが似たものをグループ化しているかどうかを確認します。例えば、ロボットに「リンゴ」と「オレンジ」について尋ねた場合、どちらも果物であるため、ロボットはそれらを自身のメンタルマップ上で近くに配置するはずです。生物学の世界には、「ゲノム近傍（genomic neighborhood）」と呼ばれるルールがあります。これは、遺伝子に関する不動産ルールのようなものです。細胞内の長くねじれたDNAの鎖上で、遺伝子がすぐ隣に住んでいる場合、それらはしばしば親友のように振る舞います。それらは同じ近隣環境を共有しているため、一緒にオンになったりオフになったりする傾向があります。大きな疑問は、私たちのロボット司書は、誰かが明示的に遺伝子がDNA上のどこに位置するかを教えなかったにもかかわらず、本を読んだだけでこの不動産ルールを偶然学習してしまったのか、という点です。

この論文は、研究者のリウ・チェン（Liu Chen）が、scGPTと呼ばれる特定のロボット司書を使用してこの謎を解こうとする探偵小説です。このモデルは、遺伝子がどのように振る舞うかを理解するために単一細胞データを用いて訓練されましたが、研究者たちはヒトゲノムの地図を提示していません。彼らは「遺伝子Aは位置100にあり、遺伝子Bは位置101にある」とは教えていないのです。ただデータを読ませただけです。研究者は、もしロボットの内部にある遺伝子のメンタルマップを見たとき、人体の中で物理的に近い隣人である遺伝子が、ロボットの脳内でも近くに配置されているかどうかを知りたいと考えました。

この調査では、ロボットの19,012個のヒト遺伝子の「静的な」記憶、つまり、特定の細胞データを見る前の各遺伝子の初期の512次元ベクトルを取り出しました。その後、研究者は遺伝子のペアを比較しました。彼らは「ローカル（局所的）」なペア（同じ染色体上で1メガベース、つまり1,000,000塩基対未満離れている遺伝子）と、「ファー（遠い）」ペア（同じ染色体上にあるが10メガベース以上離れている遺伝子）に着目しました。そして、コサイン類似性という数学的ツールを用いて、これらの遺伝子がロボットにとってどの程度似ているかを測定しました。これは、ロボットの心の中における距離の定規として機能します。

結果は、まるでかすかな指紋を見つけたかのようでした。研究の結果、物理的な隣人である遺伝子は、遠くに離れた遺伝子よりも、ロボットのメンタルマップ上ではわずかに近くに配置されていることが分かりました。具体的には、「ローカル」なペアの平均類似度スコアは0.0618であったのに対し、「ファー」なペアのスコアは0.0316でした。この差は小さいものの、一貫性があり、もしランダムなローカルのペアとランダムなファーのペアを選んだ場合、ロボットがローカルのペアの方が「近い」と予測できる確率は約59%（AUROCは0.589）でした。これはランダムな推測（50%）よりも優れていますが、完璧なマップではありません。この効果は、遺伝子が非常に近く（100キロベース未満）にある場合に最も強く、その際、類似度は0.1009へと跳ね上がり、距離が大きくなるにつれて減衰していきました。

しかし、研究者はこの発見を過大に宣伝しないよう、非常に慎重でした。彼らは、遺伝子のラベルの名前を入れ替える代わりに、ロボットの記憶自体はそのまま維持するという「破壊的コントロール（destructive control）」テストを実施しました。これを行ったところ、隣人同士の特別なつながりは消失し、スコアは0.500（純粋な偶然）へと戻りました。これは、ロボットが単に染色体の一般的なルールを学習したのではなく、どの遺伝子が隣人であるかという具体的な情報を実際に学習したことを証明しています。

しかし、ここには極めて重要なひねりがあります。論文は、これが「ロボットがゲノムの地図を使って予測を行っている」ことや、「ロボットがDNAの3次元構造の折り畳みや染色体のループを理解している」ことを意味するのではない、と明確に主張しています。ロボットは座標を与えられていないため、人間が地図を学ぶように座標を「学習」したわけではありません。むしろ、研究者は、ロボットはおそらく生物学的な副作用を拾い上げたのだと示唆しています。隣接する遺伝子はしばしば同じ化学的環境を共有したり、進化の過程で一緒にコピーされたりするため、トレーニングデータの中に頻繁にセットで現れます。そのため、ロボットの脳が自然にそれらをグループ化したのです。それは、もしあなたが「赤い帽子を被っている人が多い近所」に住んでいて、他の帽子を被った人を一度も見ることがなかったとしたら、誰からも通りの名前を教わっていなくても、あなたの脳が最終的に「赤い帽子」を「この通り」と結びつけてしまうようなものです。

結局のところ、この研究は、scGPTの内部幾何学が、線形ゲノムの「小さくても再現可能な」残響を保持していると結論付けています。それは微弱な信号であり、強力なものではありません。ロボットはDNAのGPSではなく、その記憶を使って遺伝子の位置を完璧に予測することもできません。しかし、それは、道路のルールを明示的に教えられなくても、ロボットが生命の隠れたパターンを吸収していることを示しています。これは、私たちが気づかないうちに、AIモデルがいかにして生命の微細なヒントを吸収していくかを示す、魅力的な一端なのです。