PG-LLM: Benchmarking General-Purpose Language Models for Protein Variant Ranking

あなたは、新しいレシピを考案しようとしている熟練のシェフだと想像してください。あなたは、うまくいく基本の料理（タンパク質）を持っていますが、その味をさらに良くしたり、より長く持続させたり、あるいは別のキッチンでも使えるようにするために、材料（アミノ酸）を微調整したいと考えています。生物学の世界では、これを「タンパク質工学」と呼びます。長年、科学者たちは、これまでに書かれたあらゆるレシピを暗記している専門の料理評論家チームのような、特殊なコンピュータプログラムを使用して、どの微調整がうまくいくかを推測してきました。これらの専門家は、料理の家系図（進化データ）や、鍋の物理的な形状（タンパク質の構造）を見て、予測を行います。

最近、キッチンに新しいタイプの「シェフ」が登場しました。汎用言語モデル（LLM）です。これらは、詩を書き、数学の問題を解き、歴史についてチャットできる、同じAIの脳です。これらは言語やパターンの理解において非常に賢くなっています。大きな疑問は、これらの一般的なAIシェフは、特定の料理評論家として訓練されていないにもかかわらず、レシピと材料の入れ替えリストを見て、どの新しいバージョンが最高になるかを教えてくれるのだろうか？ということです。彼らには家系図も、鍋の3Dモデルもありません。彼らにあるのは、レシピのテキストと、言葉（この場合はアミノ酸）がどのように組み合わさるかという膨大な知識だけです。

「PG-LLM」と題されたこの論文は、大規模な味覚テストを設定して、それを確かめようとしています。研究者たちは、PG-LLMというベンチマークを作成しました。これは、巨大な料理コンテストのようなものです。彼らは217種類の異なる「レシピ」（タンパク質）を取り上げ、13種類の異なるAIシェフに対し、各レシピの50通りの異なるバージョンを、実際の実験でどれほどうまく機能するかという基準に基づいて「最高」から「最低」までランク付けするよう求めました。ここでの注意点は、AIシェフは、特別なタンパク質ツールや進化マップ、あるいは3D構造を使用することを禁止されたことです。彼らは、自分自身の広範な知識と、レシピのテキストだけに頼らなければなりませんでした。

結果は、「驚き」と「まだそこまでではない」が混ざり合ったものでした。トップのAIシェフであるClaude Opus 5は、0.406というスコア（1.0が完璧であるスケール）を獲得しました。これはかなり良いスコアです！これは、AIがどのタンパク質の微調整がうまくいくかを推測するのが実はかなり得意であり、長年存在してきた49種類の特化型プログラムを打ち負かしたことを意味しています。実際、それはほとんどの「配列のみ」の専門家（3Dモデルを見ずに材料のリストだけを見るもの）よりも優れた成績を収めました。

しかし、AIシェフたちはコンテスト全体に勝利したわけではありません。VenusREMと呼ばれるプログラムのような、非常に優れた特化型のタンパク質エキスパートは、依然として0.523という高いスコアを記録しました。これは、一般的なAIが、ベーキングコンテストの勝者を予想できる非常に才能のある家庭料理人である一方で、数十年の特定の訓練を受けたプロのパティシエの方が、より深く秘密を知っている、というような状態です。

この論文はまた、これらのAIシェフがどのように考えるかについての興味深い特性についても明らかにしました。研究者がAIにより深く、より長く考えさせたとき（テスト時計算量を増やしたとき）、スコアは向上しましたが、最終的には壁に突き当たりました。また、50個のレシピのリストが、AIの頭の中で扱うには多すぎると、AIは苦戦しましたが、特化型のエキスパートはリストの長さに関係なく性能を維持しました。興味深いことに、AIのパフォーマンスは、タンパク質に深い家系があるか浅いかにあまり左右されませんでした。これは、AIが進化論的なエキスパートとは異なる種類の論理を使用していることを示唆しています。

最後に、AIがインターネット上の答えを単に暗記しているだけではないことを確認するために、研究者たちは、AIの学習データによるカットオフ以降に発表された、全く新しいレシピを用いてテストを行いました。結果は同様でした。AIは新しいレシピについても推論することができ、単に古い答えを復唱しているのではなく、実際にゲームのルールを学んでいることが証明されました。

要約すると、この論文は、汎用AIが驚くほど有能な「生物学的推論器」になりつつあることを示しています。それはすでに確立されたツールの多くを凌駕しており、トップスペシャリストに近づいています。しかし、現時点では、まだ特化型のタンパク質に焦点を当てたエキスパートを置き換えるには至っていません。それはラボにおける強力な新しいツールですが、マスターシェフたちは依然としてゲームの中に留まっているのです。