Apparent sequence-model contribution depends strongly on negative-set construction: a calibration across 94 ENCODE eCLIP datasets

生命という広大な図書室において、DNAはマスター・インストラクション（主たる指示書）を保持していますが、RNAは能動的なメッセンジャーとして機能し、それらの指示をタンパク質を構築する機構へと運びます。この複雑なシステムを稼働させ続けるために、「RNA結合タンパク質」と呼ばれる特別なクラスのタンパク質が、交通管制官として機能します。彼らは特定のRNA配列に付着し、どのメッセージがアクションへと翻訳され、どのメッセージが破棄されるかを決定します。これらのタンパク質がどのようにして標的を見つけるのかを理解しようとしている科学者にとって、課題は、タンパク質が正確にどこに結合するかを予測できるコンピュータモデルを構築することです。そのようなモデルが機能するかどうかをテストするために、研究者は、タンパク質が実際に結合するRNA配列と、結合しない配列を区別できることを示さなければなりません。これには、「負の（ネガティブな）」例、すなわち、本物のように見えるが実際には空であると分かっている配列のセットを作成する必要があります。これらの空の配列の選び方は、長らく技術的な詳細事項として扱われ、プロセスにおける些細なステップとして見過ごされてきました。

ニルマルクマール・ティルパラリクリシュナン・ケサバンによる新しい研究は、この技術的な詳細こそが、実は実験において最も重要な部分であることを明らかにしています。研究者は、ヒト細胞の94種類もの異なるデータセットを用いて同じコンピュータモデルをテストすることで、負の配列の選択がモデルの測定された性能を6倍近くも変化させることを発見しました。この研究は、もし空の配列を簡単に選びすぎると、モデルは素晴らしく見えますが、新しいことを何も学習していないことを示しています。逆に、空の配列を厳格に選びすぎると、モデルの性能は低く見えますが、そのモデルが行うわずかな改善は、はるかに意味のあるものになります。研究は、テスト自体が「成功」の意味を定義しているため、全く同じ種類の空の配列に対してテストしない限り、異なるモデルの成功を比較することはできないと結論付けています。

問題の核心は、科学者が負のセットをどのように構築するかという点にあります。典型的な実験では、研究者はタンパク質が結合すると判明したRNAウィンドウのリストを持っています。モデルをテストするには、タンかったタンパク質が結合していないウィンドウのリストが必要です。一般的な方法の一つは、ゲノムからランダムにRNAの塊を単純に取得することです。もう一つの方法は、空の塊の化学組成を実際のものと一致させ、RNAの4つの構成要素のバランスを同じにすることです。3つ目のより洗練された方法は、他のタンパク質の結合部位を負の例として使用する方法であり、これは、あるタンパク質が存在する場合、別のタンパク質は存在できないという仮定に基づいています。本研究では、これら3つの方法を「同じ質問を異なる方法で投げかけている」として扱いましたが、結果は、それらが実際には全く異なる3つの質問を投げかけていることを示しました。

研究者がこれら3つの負の例のセットに対して同じコンピュータモデルを適用したとき、結果は驚くべきものでした。4文字の短いパターンに基づく単純なモデルを用いた場合、使用された負のセットによって、基本となるベースラインに対する改善度の測定値は5.42倍も変動しました。負の配列が緩やかに一致している最も簡単なシナリオでは、モデルは、単なる化学文字のカウントですでに予測できる以上の価値をほとんど加えていないように見えました。極めて精密に一致させた最も難しいシナリオでは、モデルの見かけ上の性能は低下しましたが、それが提供する実際の追加価値は大幅に跳ね上がりました。これはパラドックスを生み出しました。テストが容易なときほどモデルは良く見えましたが、実際には学習している内容は少なかったのです。研究は、テストの難易度とモデルの貢献度の測定値が逆方向に動くことを発見しました。

また、この研究は、これらの改善が通常どのように計算されているかという隠れた欠陥も明らかにしました。2段階の計算を含む標準的な成功測定法は、モデルが新しい情報を全く加えていない場合でも、小さく一貫した正の数値を算出してしまうことが分かりました。それは、何も置いていないにもかかわらず、常に5ポンドと表示される秤のようなものでした。研究者は、モデルがトレーニング中にテストデータを使用することを防ぐように計算を調整することで、この偽陽性の底（フロア）が消失することを示しました。この修正を適用すると、テスト手法間の真の差異はさらに明確になり、負の配列の選択こそが結果を左右していることが確認されました。これはモデルそのものではなく、負の配列が結果を駆動していたのです。

これらの発見が特定のデータを用いたことによるアーティファクト（人工的な現象）ではないことを確実にするため、研究者は別の研究グループからの別のデータセットを用いて、同じアプローチをテストしました。この外部テストにより、負の配列の選択が依然として結果を変化させることは確認されましたが、その変化の正確な大きさは、メインの研究よりも小さくなりました。しかし、メインの研究で見られた特定のパターン、すなわち「テストが困難になるほど、測定された貢献度が高くなる」という関係は、外部データでは成立しませんでした。このことは、負の配列の選択方法が常に重要ではあるものの、テストの難易度とモデルの性能との間の特定の関係性は普遍的な法則ではなく、実験の具体的な詳細に依存することを示唆しています。

研究はまた、ベースラインの複雑さがどのように影響するかについても探求しました。研究者は、単一の文字の頻度、次にペアの文字、そしてトリプレット（3連組）を考慮したベースラインに対してモデルをテストしました。ベースラインがより複雑になるにつれて、モデルが提供できる追加の価値は減少しました。これは、ベースラインがすでにパターンの大部分を説明している場合、モデルが実力を示す余地が少なくなるためであり、理にかなっています。しかし、これらのより複雑なベースラインを用いても、負の配列の選択は依然として結果を大きな要因で変動させていました。この研究は、モデルの性能とはモデル自体の固有の特性ではなく、どのように「誤った」答えが定義されるかを含む、テスト環境全体の産物であることを実証しました。

最終的に、この著作はRNA生物学の分野全体に対するキャリブレーション（校正）として機能します。研究者は、負のセットの構築を背景にある技術的な詳細事項として扱うことはもはやできないと主張しています。研究は、負の配列をどのように選んだかを明示し、かつ、同じルールを用いたベースラインに対してモデルがどのように機能するかを報告すべきであると推奨しています。この透明性がなければ、異なるモデルを比較することは、異なるコースでテストされた車の速度を比較することに似ています。平坦で直線的な道で勝った車が、曲がりくねった山道では負けることもあるでしょうが、その結果を決定したのは車ではなく、コースなのです。論文は、コミュニティがこれらの負の例を定義するための標準的な方法に合意するか、少なくとも完全な透明性を持って報告しない限り、報告されるいかなる新しいモデルの成功も曖昧なまま残ると結論付けています。負のセットは単なるコントロール（対照）ではなく、科学的な問いそのものの一部なのです。