Quantifying the Provenance-to-Function Gap in Antidiabetic Peptide Prediction: Homology-Aware Evaluation and the ADP-Hybrid Baseline

糖尿病は、体が血糖値をうまく管理できなくなる状態であり、世界中で何億人もの人々がこの問題に直面しています。その治療のために、科学者たちはペプチドへの関心を高めています。ペプチドとは、生物学的なシグナルとして機能する、アミノ酸の非常に短い鎖のことです。これらのペプチドの中には血糖値を下げるのを助けるものもあり、研究者たちは新しい治療薬としての利用を目指して、新たなペプチドを見つけ出そうとしています。ペプチドの配列には数十億通りもの可能性があるため、それらすべてを実験室でテストすることは不可能です。そのため、科学者たちはコンピュータプログラムを使用して、どの配列が機能する可能性があるかを予測し、実験に時間と費用を投じる前に、役に立たないものを排除しようとしています。これらのプログラムは既存のデータから学習します。つまり、機能することが分かっているペプチドとそうでないものの例を見せられ、何が違いを生んでいるのかというパターンを見つけ出そうとするのです。目標は、コンピュータが生物学の真のルールを学習し、これまで見たことのない有望な新しいペプチドを見つけ出せるようになることです。

しかし、最近のある研究は、このタスクに使用されているコンピュータプログラムが、間違った教訓を学んでいる可能性があることを示唆しています。研究者たちは、これらの予測ツールをテストするために使用される標準的なデータセットである、よく知られたベンチマークを取り上げ、そのデータがどのように構成されているかを詳しく調査しました。その結果、コンピュータはペプチドがなぜ効果を発揮するのかという性質を学習しているのではなく、そのペプチドがどの大きなタンパク質に由来するかを認識することを学習しているのだということが判明しました。生物学の世界では、ペプチドはしばしば、はめ込み式のパズルのピースのように、より大きなタンパク質から切り出された小さな断片に過ぎません。研究では、訓練データにおいて、特定のタイプの糖尿病治療法が、特定のソースタンパク質由来のペプチドとほぼ常に結びついていることが発見されました。例えば、ある種の糖尿病に関連するペプチドは、ほぼ例外なくヒト・インスリンに由来しており、一方で別の種類の糖尿病に関連するペプチドは、牛の乳タンパク質に由来していました。コンピュータはこれらのパターンを繰り返し目にしたため、ペプチドを機能させる実際の化学的特性を理解するのではなく、ソースタンパク質を特定することによって答えを推測することを学習してしまったのです。

この問題は「プロベナンス・トゥ・ファンクション・ギャップ（起源から機能への乖離）」として知られています。これは、コンピュータがテストされている内容と、予測すべき実際の機能との間の距離が広すぎることを意味します。研究者たちは、データをランダムに分割してテストした場合、コンピュータが以前に見たことのあるソースタンパク質を容易に識別できるため、非常に高いスコアを記録することを発見しました。しかし、訓練グループとテストグループの両方に同じソースタンパク質が含まれないようにテスト方法を変更して再テストを行ったところ、スコアは大幅に低下しました。コンピュータは、ソースを認識するという手法に頼ることができなくなり、実際の化学的シグナルに頼らざるを得なくなったのです。この厳格なテストにおいて、かつて最先端として称賛されていた複雑で多層的なモデルの性能は、はるかに単純なモデルのレベルまで落ち込みました。実際、単一の単純なコンピュータモデルが、精巧な多部構成のシステムと同等の性能を示しましたが、それははるかに速く、はるかに少ない計算能力で実現されました。

また、この研究は、ペプチド自体の長さが、コンピュータが利用していた主要な手がかりであったことも明らかにしました。ある種の糖尿病に対して効果があるペプチドは、平均してもう一方のタイプのものよりもかなり短いものでした。ペプチドの長さだけを見る単純なモデルでも、約62パーセントのケースで糖尿病のタイプを正しく識別することができ、これは非常に基本的な特徴としては驚くほど高い数値です。このことは、複雑なモデルが必ずしも深く隠された生物学的な秘密を見つけているのではなく、長さやソースタンパク質のような、目につきやすく明らかな特徴に依存していたことを示唆しています。研究者たちが、細菌やウイルスと戦うといった他のペプチド活性に関する16のデータセットをテストしたところ、このソースタンパク質によるバイアスの問題は、ほとんどのデータセットに共通して見られることが分かりました。これは、データの収集方法によって、答えが機能ではなくソースに偶然結びついてしまうという、データ構築における一般的な欠陥であると考えられます。

研究者たちは単に問題を指摘しただけでなく、解決策も提示しました。彼らは、予測の各レイヤーに対して単一の決定木を使用する、ADP-Hybridと呼ばれる新しいシンプルなモデルを作成しました。このモデルは、最初のテストレイヤーにおいて、公開されている複雑なモデルと同等の精度に達しましたが、実行速度は20倍から38倍高速でした。さらに重要なことに、このシンプルなモデルは、ソースタンパク質の認識といった「簡単な近道」を取り除いた場合でも、より高い耐性を示しました。本研究は、過去数年間に報告された高いスコアは、データの分割方法によって膨らまされた可能性が高いと結論付けています。つまり、コンピュータが科学的な仕組みを学ぶのではなく、ペプチドの起源を暗記することを許してしまっていたのです。著者らは、将来の研究においては、これらの隠れたパターンをチェックし、訓練データとテストデータが生物学的な起源の観点から真に分離されていることを確認しなければならないと主張しています。そうすることで、科学者たちは、単にペプチドの由来を当てるのが得意なツールではなく、新しい薬の発見を実際に助けるためのツールを構築することができるのです。