Published benchmark AUROC does not predict generalisation: an independent evaluation of protein solubility predictors on native and heterologous E. coli proteins

あなたは完璧なケーキを焼こうとしているシェフだと想像してください。生物学の世界では、「ケーキ」とはタンパク質のことです。タンパク質は、私たちの体の中でほぼすべてのことをこなす、微小な分子機械です。しかし、科学者が工場（通常はE. coliのような細菌という「オーブン」）の中でこれらのタンパク質を作ろうとすると、タンパク質が正しく折り畳まれず、失敗してしまうことがあります。ふわふわのケーキの代わりに、使い物にならない硬い生地の塊、すなわち「封入体（インクルージョンボディ）」になってしまうのです。これは大きな問題です。もしタンパク質を溶かして機能させることができなければ、薬を作ったり生命を研究したりすることはできないからです。

この惨事を避けるために、科学者は「予測器」と呼ばれるコンピュータプログラムを使用します。これは、タンパク質の配列（材料のリスト）を見て、「おい、これはふわふわに仕上がるぞ！」とか「いや、これは岩のように硬くなるぞ」と推測する、魔法のレシピ本のようなものです。長い間、これらのレシピ本は「AUROC」と呼ばれる単一のスコア、つまり成績表の成績によって評価されてきました。成績が高いほど、その本が優れていることを意味していました。しかし、大きな疑問があります。もしあるレシピ本が特定のテストで「A」を取ったとしても、全く異なる材料を与えられたときに、それでも最高のシェフであり続けられるのでしょうか？ この論文は、それらの輝かしい成績表が、コンピュータ・シェフの現実世界での実力を本当に物語っているのかどうかを調査しています。

---

タンパク質・ベイクオフ・バトル：成績表が嘘をつくとき

この研究において、研究者のヤコブ・エシェイ（Jakob Oeschey）は、最も人気のあるタンパク質予測用「レシピ本」を、少しひねりを加えた方法でテストすることにしました。単に公式の成績表を見るのではなく、彼はそれらを2つの全く異なるキッチンで実際に焼いてみて、それらが熱に耐えられるかどうかを確認したのです。

2つのキッチン
2種類のベーキング・チャレンジを想像してみてください：

1. ネイティブ・キッチン（Native Kitchen）: これは、同じ庭で何世代にもわたって育てられた材料を使って焼くようなものです。ここにあるタンパク質は「ネイティブ（天然）」、つまりE. coli細菌の中に自然に存在する、改変されていないタンパク質です。これらは環境に慣れており、地元のパン屋がオーブンの仕組みを熟知しているような状態です。
2. ヘテロログス・キッチン（Heterologous Kitchen）: これは「外来」のキッチンです。ここでは、科学者が本来E. coliには属さないタンパク質（例えばヒトのタンパク質や、他の微生物由来のタンパク質など）を焼こうとしています。これらは「ヘテロログス（異種）」構成です。これは、地元のパン屋に、突然、異なる種類の小麦粉と新しいオーブンを使って複雑なフランス菓子を作るよう頼むようなものです。これは非常に難しく、失敗する可能性が高くなります。

対戦相手たち
エシェイは、強力なプレイヤーを呼び集めました：

• RP3Net と NetSolP: これらは「ディープラーニング」シェフです。これらは数百万ものレシピを読み込んだ、非常に賢く複雑なAIモデルです。タンパク質界のセレブリティであり、自身の公式テストで高いスコアを誇っています。
• シンプルな・ベースライン（Simple Baselines）: これらは「おばあちゃんの経験則（Heuristics）」です。これらは派手なAIではなく、基本的な化学（例えば、ミックスの中にどれくらい「粘着性」や「滑りやすさ」のある材料が含まれているかを数えるなど）に基づいた、シンプルで古風な経験則です。彼らは謙虚で、飾り気のないパン屋です。

衝撃の結果
エシェイがネイティブ・キッチン（地元の庭）でこれらのシェフをテストしたとき、結果は混沌とし、驚くべきものでした。

• NetSolPがスターシェフとなり、0.792を記録しました。これは、ネイティブなタンパク質がうまくいくかどうかを予測する上で最高の結果でした。
• セレブリティAIであるRP3Netは、自身の公式テストで0.83というスコアを主張していましたが、見事に崩れ落ちました。スコアはわずか0.709でした。
• ここが決定的なポイントですが、シンプルな、古風な「おばあちゃん」のルール（具体的には、溶解度加重指数、またはSWI）は0.745を記録しました。これは、単純なルールが派手なAIに勝ったことを意味します！ 最高のはずのAIが、実際には基本的な計算機よりも劣っていたのです。
• 最良のAI（NetSolP）と最悪のAI（RP3Net）の差は0.083でした。科学の世界では、これは非常に大きな差です。その差があまりに大きかったため、2つの「超スマート」なモデル同士さえも一致せず、スペクトルの両端に分かれてしまいました。

外来キッチンの惨劇
次に、エシェイはシェフたちをヘテロログス・キッチン（困難な外来の挑戦）へと移動させました。

• 突然、2人のAIシェフ（NetSolPとRP3Net）は同じような動きを見せ始めました。両者とも0.63前後を記録しましたが、これは悪くはないものの、素晴らしいとは言えません。
• シンプルなルールは彼らの後塵を拝しましたが、依然として戦いの中にいました。
• しかし、本当のドラマは、PLM_Solという第3のAIから起こりました。このモデルは、自身のテストで0.83というスコアを主張していました。しかし、エシェイが外来のタンパク質でテストしたところ、0.564へと崩壊しました。これは、ほぼコイン投げ（運任せ）と同じです！ それはシンプルなルールよりも成績が悪く、推測よりもわずかにマシな程度でした。モデルが「暗記」によって「カンニング」した可能性のあるタンパク質を取り除いた後でも、それでも失敗しました。失敗の原因はカンニングではなく、モデルが特定の種類のタンパク質のために訓練されており、異なる種類のタンパク質には汎用性がなかったことにありました。

これが何を意味するか
ここでの主な教訓は、輝かしい成績表（高いベンチマークスコア）は、シェフが新しい種類の料理ができることを保証しないということです。

• RP3Netは、その特定の仕事（ヒトの創薬ターゲットの予測）には優れていましたが、ネイティブな仕事には適していませんでした。
• NetSolPは、ネイティブな仕事には優れていましたが、外来の仕事にはそこまでの性能ではありませんでした。
• PLM_Solは、書類上は素晴らしく見えましたが、材料が変わると完全に失敗しました。

研究はまた、いくつかの言い訳を排除しました。彼らは、AIがトレーニングデータから答えを「暗記」してカンニングしていないかどうかを確認しました。テストセットから重複するタンパク質を削除して精査した後でも、結果は変わりませんでした。失敗はカンニングによるものではなく、モデルが特定の種類のタンパク質に合わせて訓練されており、異なる種類のタンパク質へは一般化できなかったために起こったのです。

まとめ
もしあなたがタンパク質を作ろうとしている科学者なら、箱に書かれた最も高い数字を選んではいけません。あなたのタンパク質が、そのツールが訓練されたものと異なる場合、その数字は嘘をついている可能性があります。時には、シンプルで古風な経験則が、派手で高価なAIよりも信頼できることがあります。ツールが機能するかを知る最善の方法は、単にヘッドラインの数字を信じるのではなく、まさにあなたが作ろうとしている種類のタンパク質でテストすることです。

要するに、タンパク質予測の世界では、コンテキスト（文脈・状況）こそが王様なのです。あるキッチンでは天才でも、別のキッチンでは災難をもたらすモデルがあり、条件が整っていれば、シンプルなルールがスーパーコンピューターを出し抜くことさえあるのです。