In Search of Manifolds Inside Protein Language Models: A Largely Negative Report

あなたは、巨大で混沌とした図書館を理解しようとしているのだと想像してください。この図書館では、すべての本がタンパク質、つまり生命を構築し、動かしている微小な分子機械です。長い間、科学者たちは「タンパク質言語モデル」と呼ばれる超スマートなコンピュータプログラムを使って、これらの本を読んできました。これらのプログラムは、数十億ものタンパク質配列を読み込み、それらがどのように折り畳まれ、どのような働きをし、どのように変化するかを予測することを学んだ、デジタル探偵のようなものです。

しかし、ここで大きな疑問が生じます。コンピュータは実際にタンパク質についてどのように「考えて」いるのでしょうか？コンピュータがタンパク質を見るとき、それはバラバラのデータの山を見ているのでしょうか、それとも隠された滑らかな形を見ているのでしょうか？科学者たちには、「多様体仮説（manifold hypothesis）」と呼ばれるお気に入りの考え方があります。これを次のように考えてみてください。巨大にクシャクシャになった紙が、広い3D空間の中に浮いている様子を想像してください。たとえその紙が3D空間に浮いていたとしても、もしあなたがその上を歩くアリであれば、世界は平らで2次元的なものに感じられるでしょう。「多様体仮説」は、たとえコンピュータの脳が巨大で複雑（高次元）であっても、タンパク質に関する重要な情報は、実は平らな紙のような、滑らかで低次元の表面に隠れている可能性があることを示唆しています。このアイデアは、細胞が成長したり変化したりする様子を研究する他の分野でもヒットしており、そこでは科学者たちが細胞が移動していく滑らかで低次元な「道」を見つけてきました。では、大きな疑問はこうです。これらのタンパク質を検知するコンピュータの内部にも、このような滑らかで隠された道が存在するのでしょうか？

オリビア・デンビスという研究者は、これらのタンパク質言語モデルの内部にある隠された道を見つけるための宝探しに出発することにしました。彼女は単に推測したわけではありません。彼女は、超高度な金属探知機と地図作成機を組み合わせたような、巨大な「検出バッテリー」を構築しました。彼女はこのツールを、有名なESM-2ファミリー（800万パラメータの極小サイズから30億パラメータの巨大なものまで含まれる）や、ProtBERT、ProtT5といった他のモデルに対してテストしました。彼女は、データが実際に滑らかな低次元の表面に乗っているのかどうかを確認するために、さまざまな巧妙なトリックを用いました。彼女は、データが特定の「固有次元」（これは、そのデータを記述するために本当に何方向が必要か、という問いの洗練された言い方です）を持っているかどうかを調べ、2Dマップ上にデータを押しつぶしてパターンが現れるかを確認し、さらには、データが特定の物体のような形状（ドーナツの穴のようなもの）を持っていることを証明するために、トポロジカルなループ（穴）も探しました。

この探索の結果は？ おおむじ、否定的な報告でした。宝探しは空振りに終わったのです。

デンビスは、これらのタンパク質モデルの中に滑らかで低次元の道があるという考えは、おそらく間違っていると結論付けました。滑らかな紙が3D空間に浮いているのではなく、データは実際には広大で高次元な空間に広がっていることを彼女は見つけました。彼女が「固有次元」（データを記述するために必要な方向の数）を測定したところ、それは2や3のような小さく扱いやすい数字ではありませんでした。中規模モデル（ESM-2 650M）では、次元は約63であり、巨大な30億パラメータのモデルでは、それは88へと跳ね上がりました。より明白なのは、モデルが大きく、よりスマートになるにつれて、次元も大きくなったことです。もし単一の滑らかな道が存在するなら、モデルが改善されるにつれて、次元は同じままか、あるいはより単純になるはずです。しかし、実際には、モデルはより多くの情報を保存するために、より多くの方向を利用しているようであり、構造が単純な曲線ではなく、複雑で「高次元」であることを示唆していました。

彼女はまた、シングルセルデータで行われるように、コンピュータの「地図作成」ツールを使ってデータを2Dに押しつぶそうと試みました。しかし、これを行ったとき、有用な情報は破壊されてしまいました。それは、複雑で多層のケーキをパンケーキに押しつぶそうとするようなものでした。つまり、「風味（生物学的情報）」が失われてしまったのです。彼女がこれらの押しつぶされたマップを用いて、タンパク質の安定性や構造などを予測できるかテストしたところ、結果は散々なものでした。実際には、最も単純な方法、つまり生の高次元データに対して直線を用いる「線形プローブ（linear probe）」が最も優れた結果を出しました。コンピュータは曲がった低次元の道など必要としておらず、数十の車線を持つ広くて平らな高速道路を必要としていたのです。

さらに、彼女はデータの中に「ループ」や「穴」があるかどうかを探しました。これは、ドーナツや円のような特定の形状を示します。しかし、彼女はそれらを一つも見つけませんでした。データはトポロジカルに「自明（trivial）」であり、つまり、興味深い形状を持たない、ただの大きな固体の塊であったということです。彼女はまた、2Dマップ上で整然としたグループを形成しているように見えたタンパク質のクラスターが、実は錯覚であったことも発見しました。タンパク質の長さや、基本的な成分（アミノ酸）の影響を取り除くと、そのグループは崩壊しました。人々が目撃したと思っていた「多様体」は、単にこれらの基本的で退屈な事実を反映していたに過ぎなかったのです。

彼女のツールが壊れていないことを確認するために、彼女は「スイスロール（Swiss roll）」形状の合成データや、実際の単一細胞データなど、滑らかな道があると分かっているものに対してテストを行いました。彼女のツールは完璧に機能し、低次元性とループを見つけ出しました。これは、彼女の手法が優れていたことを証明しています。問題はツールではなく、タンパク質データそのものだったのです。

では、これは何を意味するのでしょうか？ タンパク質言語モデルは、細胞の発達におけるような滑らかで連続的なマップとは異なるようです。むしろ、それらは、長さ、組成、そして家系（ファミリーの歴史）の複雑な混合物によって整理された、広大で高次元な図書館のようなものです。情報はそこに存在し、非常に有用ですが、それは単純な低次元の表面に隠されているのではありません。それは高次元の空間に広がっており、それを無理やり2Dマップに押し込めようとすることは、最も重要な詳細を捨て去ってしまうことになります。論文は、タンパク質モデルについては、滑らかで曲がった道を求めるのではなく、彼らが実際に走行している広大で高次元な高速道路を正しく評価すべきであると結論付けています。