The Complex Geometry of Biological Knowledge in Artificial Intelligence: Manifolds, Spectra, and Concept Structure in Foundation-Model Representations

巨大な図書館がどのように本を整理しているのかを理解しようとしている場面を想像してみてください。人工知能の世界には、「基盤モデル」と呼ばれるものがあります。これらは、特定の主題のルールを学習するために、膨大な量のデータを用いて訓練された大規模なコンピュータプログラムです。一つの人気のあるタイプの基盤モデルは、細胞の遺伝コードやタンパク質の配列といった生物学的データに基づいて訓練されています。科学者たちは最近、これらのモデル、特に細胞データに基づいて訓練されたモデルが、非常に凝った内部マップを持っていることを発見しました。それらは情報を滑らかで湾曲した経路（「多様体」と呼ばれます）に沿って整理しており、美しく複雑な彫刻のような、多層的で複雑な構造を持っているように見えるのです。これはエキサイティングなことです。なぜなら、もしコンピュータが知識を複雑な彫刻のように整理しているのだとしたら、私たちはその思考プロセスを理解し、さらにはその構造を利用して新しい生物学を発見することさえ容易になるかもしれないからです。

しかし、ここで大きな疑問が生じます。すべての生物学的AIモデルが、このように知識を整理しているのでしょうか？例えば、タンパク質に関するモデルはどうでしょうか。タンパク質は、私たちの体の中でほとんどの仕事をこなす微小な機械であり、その「言語」はアミノ酸の長い文字列です。もしこれらのタンパク質モデルも、同じような複雑で湾曲した幾何学構造を持っているならば、それは生物学を解読しようとする科学者にとって大きな勝利となるでしょう。もしそうでなければ、私たちは宝の地図を探しているつもりで、実際にはただの平坦で開けた野原を見ていることになります。この論文は、虫眼鏡をこれらのタンパク質モデルに向けて、それらが細胞に特化したモデルと同じような秘密の複雑なアーキテクチャを持っているのか、それともその内部世界が全く異なる種類の論理に基づいて構築されているのかを検証することを目的としています。

---

タンパク質マップの大探索：曲線 vs 雲の物語

タンパク質言語モデル（pLM）をご紹介しましょう。彼らを、宇宙中のあらゆるレシピ（数億ものタンパク質配列）を味わい尽くし、完成した料理を一度も見ることなく調理のルールを学んだ、超スマートなシェフだと考えてみてください。彼らは非常に優秀で、タンパク質がどのように3D構造に折り畳まれるか、あるいは体内でどのような働きをするかを予測することができます。科学者たちはこう問い続けてきました。「このシェフは、脳内でどのように知識を整理しているのだろうか？」と。

しばらくの間、その答えは「複雑で湾曲した迷路の中にある」と思われていました。他の生物学的AIモデル（単一細胞に基づいて訓練されたもの）は、高次元の部屋の中をうねるリボンのように、滑らかで低次元の曲線上に知識を蓄積していることが判明していました。それらは「スペクトル構造」（虹のような明確な色の帯）や、「概念階層」（アイデアが整然と枝分かれしていく家系図のようなもの）を持っていました。これにより、ある大きな仮説が立てられました。「おそらく、すべての生物学的AIは、このような洗練された複雑な幾何学的形状の中に知識を整理しているのではないか」というものです。

研究者のリュー・チェン氏率いるこの論文は、その仮説を検証することに決めました。彼らは、ESM-2ファミリー（800万パラメータの極小モデルから30億パラメータの巨大モデルまで）や、ProtBERT、Ankhといった他のモデルを含む8種類の異なるタンパク質モデルの「脳」を検査するために、「3つのレンズによるバッテリー（検査セット）」を構築しました。彼らは単に観察しただけでなく、以下の3つの特定の要素を測定するために厳格なツールを使用しました。

1. 形状（多様体）： データは滑らかで湾曲した表面上に整理されているか？
2. スペクトル： データには、虹のように明確に分離された情報の帯があるか？
3. 概念： アイデアは整然とした階層や家系図のように配置されているか？

また、彼らはこれらのテストを、複雑な形状（ねじれたドーナツや螺旋など）を持つことが分かっている「合成コントロール（擬似データ）」に対しても行いました。もし彼らのツールが機能していれば、その擬似データの中に複雑な形状を見つけ出せるはずでした。

結論：それは曲がった迷路ではなく、平坦で線形な「雲」である

結果は少し意外なものでしたが、非常に明確でした。著者らは、タンパク質言語モデルは、細胞モデルが持つような複雑で湾曲した幾何学構造を持っていないことを発見しました。代わりに、彼らの内部知識は「実在するが、単純なもの」でした。

1. 形状：リボンではなく、雲である
研究者が、タンパク質データが存在する滑らかで湾曲した表面（多様体）を見つけようと試みたとき、彼らは空振りに終わりました。

• 発見： データが低次元の曲線（大きなモデルでは約26）上に存在するように見えますが、現実は異なります。データは実際には、非常に高次元な空間（線形次元は約131）に広がっています。
• 比喩： くしゃくしゃになった紙を平らにしようとしている場面を想像してください。もしそれが滑らかなリボンであれば、簡単に平らにできるでしょう。しかし、これらのタンパク質モデルは、巨大でふわふわとした綿菓子の雲のようなものです。遠くからは小さく見えますが、無理やり平らな形に押し込めようとすると、ただ広がってしまうのです。
• 証明： 研究者がデータの可視化のために（美しい2D画像を作るために人気のある）UMAPのような高度な曲線の数学を用いようとしたところ、結果は散々なものでした。モデルはタンパク質の特性を予測する能力を失ってしまったのです。しかし、単純な直線的な数学（線形プローブ）は完璧に機能しました。著者らは、タンパク質の知識の「幾何学」は、滑らかで湾曲した多様体ではなく、「近線形な高次元の雲」であると結論付けています。

2. スペクトラム：虹ではなく、一本の滑らかなスライドである
次に、彼らは歌の中の音の周波数を調べるような、データの「スペクトラム」を調べました。

• 発見： 彼らは、パワーロー（指数が1に近い特定の数学的曲線）に従う、単一の滑らかなデータのスライドを発見しました。異なる生物学的概念を分離するような、明確な「バンド」や隙間は存在しませんでした。
• 比喩： 細胞モデルが、赤、オレンジ、青の明確なバンドを持つ虹であるとするならば、タンパク質モデルは、単一の滑らかなグレーのグラデーションのようなものです。データの内部構造において、ある種類のタンパク質と別の種類を分ける鋭い境界線はありません。
• ニュアンス： 複雑な構造はなかったものの、その滑らかなスライドの「急峻さ（指数）」は、実は非常に有用でした。それは「品質スコア」のように機能しました。スライドが平坦であればあるほど（指数が1に近ければ近いほど）、モデルの実世界のタスクにおけるパフォーマンスは向上しました。つまり、構造は複雑ではありませんでしたが、それはモデルがいかに優れているかを示す信頼できる指標であったのです。

3. 概念：階層ではなく、フラットである
最後に、彼らはモデルが「これは膜タンパク質か？」や「その二次構造は何か？」といった「概念」をどのように整理しているかをチェックしました。

• 発見： モデルは、単純な直線を用いてこれらの質問に答えることに長けていました。もし線形プローブに対して「これは膜タンパク質か？」と問えば、高い精度で「はい」と答えました。しかし、これらの概念間の「関係性」はフラットでした。
• 比喩： 図書館を想像してください。複雑な階層構造においては、本は大陸、国、都市、そして通りという順序で整理されています。しかし、これらのタンパク質モデルでは、本は巨大で平らなテーブルの上にただ散らばっているだけです。正しい本を見つけることは簡単ですが（線形デコーダビリティ）、それらを結びつける整然とした家系図は存在しません。「類推」テスト（「AはBに対してCはDである」という関係を理解しているかのチェック）も失敗しました。関係性は弱く、言語モデルのように平行な方向には並びませんでした。
• 混同要因： 著者らはまた、見かけ上の構造のいくつかは、深い生物学的意味ではなく、タンパク質の長さや特定のアミノ酸の含有量といった基本的な特徴にモデルが反応しているだけであることも発見しました。

なぜ違いが出るのか？ データの性質

この論文は、なぜタンパク質モデルが細胞モデルと異なるのかについて、非常に興味深い理由を提示しています。

• 細胞データ： 細胞は連続的に変化します。幹細胞はゆっくりと血球細胞へと変化していきます。これが、データの中に滑らかでうねるような経路（多様体）を作り出します。
• タンパク質データ： タンパク質は離散的です。それらは20種類のアミノ酸の文字列で構成されています。考えられうるすべてのタンパク質の空間は巨大で「塊状」であり、滑らかな遷移ではなく、進化の歴史（相同性）によって整理されています。
• 結論： データ自体が離散的でクラスター状に散らばっているため、AIモデルは滑らかで湾曲したマップを構築する必要がありません。ただ、その知識を高次元の線形な雲として広げているだけなのです。細胞モデルで見られる「複雑な幾何学」は、タンパク質の世界には当てはまりません。なぜなら、基礎となる現実が異なるからです。

テイクアウェイ（要点）

著者らは、タンパク質モデルにおける生物学的知識は、実在し、アクセス可能であるが、幾何学的には単純であると結論付けています。

• 有効なもの： 単純な線形ツール（直線的なプローブやPCAなど）が、これらのモデルを読み解くための最良の方法です。
• 有効でないもの： これらのモデルを複雑な曲線の形状に無理やり当てはめたり、その内部構造の中に深い階層的な家系図を探したりすることは、行き止まりです。
• 明るい兆し： 知識が線形で単純であるということは、実は良いことです。それは、謎めいた曲がった迷路を解読する必要がなく、モデルからストレートな答えを得られることを意味します。「複雑な幾何学」という仮説は、細胞モデルには美しいものですが、タンパク質の世界には適合しません。この論文は、タンパク質にとって、マップはうねるリボンではなく、広大で開かれた、驚くほど単純明快な野原であることを裏付けました。