Constructed negatives determine the population a benchmark can rank over
本論文は、負例の構築時におけるアノテーションが不十分なエンティティの除外がベンチマークのランキングを根本的に制限していると論じ、高い欠落率（W > 0.5）が厳密なモデルの順序付けを妨げることを示し、ターゲットの定義、サンプリングの支持、および比較のための根拠を透明に報告することをコミュニティに強く促すものである。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは査読を受けていないプレプリントのAI生成解説です。医学的助言ではありません。この内容に基づいて健康上の判断をしないでください。 免責事項の全文を読む
生物学的な発見の広大な風景の中で、科学者たちはタンパク質がどのように相互作用するか、あるいは化学的タグがどこに付着するかを予測するために、しばしばコンピュータモデルに頼っています。これらのモデルを教えるために、研究者たちは起こった事象（ポジティブ）の例と、起こらなかった事象（ネガティブ）の例を示す必要があります。課題は、起こっている事象については優れたリストを持っている一方で、起こっていない事象の完全なリストを持っていることは滅多にないという点です。その代わりに、科学者たちは、まだ発見されていない相互作用や修飾は、おそらく非イベントであると仮定することで、「ネガティブ」のリストを作成することがよくあります。この仮定は、新しいモデルがどれほど優れた性能を発揮するかを判断するために使用されるベンチマーク、すなわち標準的なテストの基礎となっています。もしテストに欠陥があれば、優れたモデルのランキングは信頼できないものとなり、研究者を新しい薬や生物学的知見の探索における誤った道へと導く可能性があります。
チューレーン大学の研究者、ジャスティン・リーは、これらのテストがどのように構築されているかに関する根本的な欠陥を明らかにしました。彼は、科学者が「ネガティブ」な例を選択する方法が、生物学的な世界の広大な部分を排除しており、実質的に、そのテストが評価していると主張する候補者の大部分に対して盲目になっていることを発見しました。リーの研究は、テストが候補者の半分を超える部分を除外している場合、たとえあるモデルがテストでより高いスコアを獲得したとしても、追加の仮定なしには二つのモデルの厳密な順序付けは特定できないことを示しています。この研究は、単に些細な誤りを指摘するだけではありません。ベンチマークが評価しようとしている対象（ポピュレーション）自体が、しばしば現実の極めて小さく、代表性のない断片であることを実証しており、これらのテストで見られる改善は、全体像に適用された際に消失したり、あるいは逆転したりすることさえあることを示しています。
問題の核心は、多くの研究者がデータを「クリーン」に保つために用いるルールにあります。実在する生物学的な事象を、単にまだ発見されていないという理由だけで誤って「ネガティブ」とラベル付けしてしまうことを避けるため、科学者は非常に高い基準を設定することがあります。彼らは、「既によく知られているタンパク質のみをネガティブな例として使用する」と言うかもしれません。これは正確性を確保するための安全な方法のように聞こえますが、リーは、このルールがほとんどのものを濾し取るふるいとして機能することを示しました。タンパク質への化学的修飾に関する8つの異なるタスクにおいて、このルールは候補となるタンパク質の60%から97%を排除していました。最悪の場合、テストはカバーすべきタンパク質のほんのわずかな部分しか見ていなかったのです。
リーは、ターゲットとなる集団のうち、どれだけの部分が欠落しているかを正確に測定する方法を開発しました。彼は、欠落している部分が全体の半分を超えると、排除された領域に関する仮定なしには、モデル間の厳密なランキングを保証する能力をテストが失うことを発見しました。図書館の質を判断しようとする際、上の棚の本だけを読んでいる状況を想像してみてください。もし下の棚に最高の書籍が入っていたら、あなたの判断は間違ったものになります。これらの生物学的テストにおいて、「上の棚」とは、よく注釈が付与された小さなタンパク質グループであり、「下の棚」とは、テストが無視している膨大な数のタンパク質です。無視された部分がこれほど大きい場合、モデルは、その小さな扱いやすいグループに対してうまく機能するという理由だけで、テスト上で最高のモデルであるかのように見えることがありますが、実際には世界の残りの部分に対しては惨めな失敗をしています。
これを証明するために、リーは、標準的なモデルと、タンパク質全体の追加情報を含むバージョンのモデルを比較するという特定の実験を行いました。標準的なテスト（既知の注釈付きタンパク質のみを見るもの）では、追加情報は役に立つように見えました。しかし、リーが以前に排除されていたタンパク質を含めるようにテストを再構成したところ、追加情報は7つのタスクにおいて、モデルのパフォーマンスを実際に低下させました。狭いテストにおいて有用なアップグレードに見えた特徴が、モデルが全範囲の候補に対処せざるを得なくなったときには、負債となったのです。この逆転現象は、初期のテストがモデルの真の汎化能力を測定していたのではなく、単にモデルが特定の狭いルールにいかに適合しているかを測定していたに過ぎないことを示しています。
この研究は、タンパク質がどのように結合するかを予測するために使用される、一般的なタンパク質相互作用のベンチマークについても調査しました。このベンチマークは、ネガティブな例を作成するために2段階のフィルターを使用しています。第一に、結合が多すぎるタンパク質全体を削除します。第二に、ネットワーク構造において近すぎるタンパク質ペアを削除します。リーは、第一のステップだけでもタンパク質全体を排除しており、一部のタンパク質にとってはネガティブな例が全く存在しない状態になることを発見しました。第二のステップは、他の多くのタンパク質にとって、ほぼすべてのペアを削除してしまいます。その結果、ネガティブな例があまりにも希薄で偏っており、現実のタンパク質相互作用の世界を代表していないテストとなっています。実際、このテストは、自らが定義する宇宙の73%のタンパク質を除外しており、テストが測定していると主張するものと、実際に目にしているものとの間に巨大なギャップを残しています。
リーの研究は、これらのモデルが無用であることを示唆しているのではなく、むしろ、それらが実際に何をテストしているのかについて正直にならなければならないと述べています。ベンチマークは、どの部分の生物学的世界をカバーしているのかを明確に述べ、何を排除しているのかを認めるべきです。もしテストが候補者の半分以上を除外しているなら、さらなる仮定なしに、全集団に対してあるモデルが他よりも優れていると証明することはできません。研究者は、含まれる候補数と排除される候補数を正確に報告すべきであり、テストがターゲットの大部分をカバーして公平な比較が可能であると確信できない限り、あるモデルが優れていると主張することについては慎重であるべきだと推奨しています。
これらの知見は、生物学的予測の分野に対する必要な修正として機能します。モデルが見ているデータと、モデルが見逃しているデータとを分離することで、リーはより明確な進むべき道を示しました。研究は、ネガティブな例を「クリーン」にするための厳格なフィルターを使用する現在の慣行が、意図した以上の害をもたらしている可能性があること、つまり、モデルが不完全で混沌とした生物学的データに直面したときに消えてしまうような、進歩の錯覚を作り出していることを示唆しています。解決策は、これらのテストを放棄することではなく、その限界を完全に理解した上で設計し、算出されるランキングが、テスト自体の癖ではなく、モデルの真の可能性を反映するようにすることです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。