From ceilings to corrected estimates: capture–recapture on reference networks rescales, but rarely reorders, gene regulatory network benchmarks

学生のエッセイを採点している場面を想像してみてください。しかし、教師の解答用紙には正解の半分が欠けています。もし学生が、解答用紙には載っていない素晴らしい文章を書いたとしても、教師はそれを間違いとしてマークします。学生の成績は下がりますが、それは学生の文章が拙いからではなく、解答用紙が不完全だったからです。これは、生命の「配線図」として知られる遺伝子制御ネットワーク（GRN）を解明しようとしている科学者たちが日々直面している苦闘です。これらのネットワークは、どの遺伝子が他の遺伝子をオンにするかオフにするかを示す、細胞の「取扱説明書」のようなものです。コンピュータプログラムがこれらのつながりを特定できるかどうかを確認するために、科学者たちはその推測を、既知のつながりのリストである「ゴールドスタンダード（標準指標）」と比較します。しかし、ここに落とし穴があります。そのゴールドスタンダードのリストは進行中の作業であり、数千もの実在するつながりが欠落しているのです。長年、科学者たちは、この欠損データのせいで自分たちのスコアが低すぎることを知っていましたが、それが「どの程度」低いのか、あるいは欠損データが特定のコンピュータプログラムに対して不当に不利に働いているのかどうかまでは分かっていませんでした。それは、テストのスコアが間違っていることは分かっているものの、自分が本当にトップの生徒なのか、それとも単に問題の欠落によって運が悪かっただけなのかが分からない、という状態に似ています。

「天井から修正された推定値へ（From ceilings to corrected estimates）」と題されたこの論文は、まさにその謎に取り組んでいます。著者であるLiu Chenは、「キャプチャ・リキャプチャー（捕獲再捕獲法）」と呼ばれる巧妙な統計的手法を用いています。これはもともと湖の魚や森の動物の数を数えるために設計された手法です。著者は、これら遺伝子のリストがどれほど不完全であるかを推定するために、この手法を用いました。3つの異なる遺伝子データベースを、同じ生物学的な真実という海に投げ込まれた3つの異なる「網」として扱うことで、この研究は「私たちはどれだけの魚を見逃しているのか？」と問いかけています。結果は、驚くほどの不確実性と、安心させるような安定性が混在したものとなりました。研究によれば、実在する遺伝子のつながりの総数は、我々の予想よりもはるかに多い可能性が高く、現在のリストは真実のわずか5%程度しか捉えていない（およそ3%から10%の間）ことが示されました。しかし、最も重要な発見は、コンピュータプログラムの「スコア」は極めて低くなっていたものの、どのプログラムが最も優れているかという「ランキング」は全く変わらなかったことです。欠損データを考慮して計算を修正した後でも、同じプログラムがトップに残り、同じものが最下位に留まりました。この論文は、「欠落したリスト」の問題が数字を悪く見せることはあっても、間違ったプログラムを最高であると誤認させることはないということを証明しています。

セットアップ：失われた地図

この物語を理解するには、科学者がどのように遺伝子を研究しているかを知る必要があります。細胞内のあらゆる遺伝子は、単独で機能するわけではありません。遺伝子同士は互いに影響を与え合います。一部の遺伝子はマネージャーのように機能し、他の遺伝子をオンにしたりオフにしたりします。科学者たちはこれを「遺伝子制御ネットワーク」と呼びます。これらのつながりのマップを作成するために、彼らは細胞のデータを見て、どの遺伝子がどの遺伝子と対話しているかを推測するコンピュータプログラムを使用します。

では、コンピュータが正しいかどうかをどうやって判断すればよいのでしょうか？ そのためには、既知のつながりをすべて列挙した参照マップ、すなわち「グラウンド・トゥルース（真実の基盤）」が必要です。科学者たちは、何千もの研究論文を読み、実験を行うことで、数十年にわたってこれらのリストを構築してきました。彼らはテストに使用する3つの主要なリストを持っています。一つはSTRING、もう一つはBioGRID、そして最後の一つはTRRUSTです。

問題は、これらのリストがほとんどの本が欠けている図書館のようなものであることです。ヒトの細胞には数百万のつながりがあることが分かっていますが、これらのリストには数千しかありません。コンピュータプログラムが、リストには載っていないが実際には存在するつながりを推測した場合、リストは「それは間違いだ！」と判定します。これにより、たとえコンピュータが素晴らしい仕事をしていても、その性能が悪く見えてしまいます。科学者たちはこれを「天井問題」と呼んでいます。リストが不完全であるため、どれほど賢いプログラムであっても、完璧なスコアを得ることは決してできないのです。

探偵の仕事：失われた魚を数える

この論文の著者は、推測をやめて数え始めることに決めました。彼らはキャプチャ・リキャプチャーという手法を用いました。池にどれくらいの魚がいるかを数えようとしている場面を想像してください。

1. あなたは一つの網（リストA）を投げ、100匹の魚を捕まえます。それらにタグを付け、放流します。
2. 次に二つ目の網（リストB）を投げ、100匹の魚を捕まえます。そのうち20匹に、最初の網のタグが付いていました。
3. 三つ目の網（リストC）を投げ、80匹を捕まえます。そこにはAのタグが付いたもの、Bのタグが付いたもの、そして両方のタグが付いたものが含まれています。

一つの網、二つの網、あるいは三つの網すべてに現れる魚の数を調べることで、どの網にもかからなかった魚が池に何匹いるかを推定することができます。

この研究において、「魚」とは遺伝子のつながりであり、「網」とは3つのデータベース（STRING、BioGRID、TRRUST）です。著者は、これら3つの網を、359,700組の可能な遺伝子ペアという特定の海に投げ入れました。

• 捕獲結果: これら3つのリストを合わせても、2,511のつながりしか見つけられませんでした。
• 重複: リスト間の重複は、偶然に予測されるよりもはるかに多くなっていました。例えば、STRINGとBioGRIDは、もし独立していた場合に予想されるよりも139倍も多くのつながりを共有していました。これは、両者がしばしば同じ人気のある研究論文からデータを抽出しているためです。

大きな数字：どれほど不完全なのか？

著者は、実在するつながりの総数（潜在的インタラクトーム）を推定するための計算を行いました。リスト同士が非常に強く依存しているため、結果には多少の不安定さがありました。

• 範囲: 重複のモデル化の仕方によりますが、実在する遺伝子のつながりの総数は、2,579から46,864の間になる可能性があります。
• 割合: これは、現在のリストが真実のわずか**5.4%から54.4%しか捉えていないことを意味します。著者の最善の推測では、私たちは実在するつながりの約5%**しか見ていないということです。

これは、「天井」が非常に低いことを裏付けています。もしコンピュータプログラムのスコアが0.013（これはひどい数値に見えます）であったとしても、もし完璧なリストがあれば、それは実際には0.245のレベルに相当している可能性があります。スコアは、欠損データによって押し潰されているのです。

展開：ランキングは変わるのか？

ここが最もエキサイティングな部分です。科学者たちは、欠損データが不公平になるのではないかと懸念していました。あるコンピュータプログラムは、リストから「欠落している」つながりを当てるのが得意で、別のプログラムはリストに既に載っている「簡単な」つながりだけを当てるのが得意なのかもしれない、という懸 તમને です。もしそうであれば、欠損データは私たちを欺き、悪いプログラムを良く見せ、良いプログラムを悪く見せてしまうことになります。

著者は、スコアに「補正」を適用することでこれをテストしました。彼らはキャプチャ・リキャプチャーのデータを用いて、有名な、よく研究されている遺伝子についてはリストがより完全であり、無名の遺伝子については不完全であることを突き止めました。そして、このバイアスを考慮してスコアを調整しました。

結果: 8つのコンピュータプログラムのランキングは変わりませんでした。

• 補正前に1位だったプログラムは、補正後も1位のままでした。
• 8位だったプログラムは、8位のままでした。
• スコア自体は、約14倍から20倍も跳ね上がったにもかかわらず、順位は全く同じでした。

著者は、もし全員のスコアに同じ数（例えば、完全性の5%で割るなど）を掛けるだけであれば、ランキングは変わらないということを数学的に証明しました。ランキングが変わる唯一のケースは、プログラムがそれぞれ異なる「タイプ」の欠落したつながりを推測している場合だけです。しかし、今回のケースでは、プログラムはすべて同じタイプのつながりを、精度が異なるレベルで推測していました。

シミュレーション：ツールの有効性を証明する

数学的な仕組みが壊れていないことを確認するために、著者は「正解」を知っている状況でのシミュレーションを行いました。彼らは、リストが特定のタイプのつながりに対してバイアスを持つような、偽のデータを作成しました。

• この仮想の世界では、補正前のスコアはランキングを誤っていました。
• しかし、補正を適用すると、ランキングは正しく修正され、真実に一致しました。

これは、バイアスが十分に強力であれば、彼らの手法が壊れたランキングを修正できることを証明しています。現実の世界でのランキングが変わらなかったということは、現実世界のバイアスが、ランキングを狂わせるほど強力ではなかったことを意味しています。

まとめ

この論文は、主に2つのことを伝えています。

1. 数字にはあまり意味がない: 遺伝子ネットワークのスコアが「0.013」という数値であっても、慌てないでください。それは壊れた定規に基づいた数字に過ぎません。実際のパフォーマンスは、おそらく15倍から20倍も高いはずです。
2. ランキングは安全である: たとえ定規が壊れていたとしても、それは全員に対して同じように壊れています。現在最高のコンピュータプログラムは依然として最高であり、最低のものは依然として最低です。欠損データは私たちの数字を悪く見せますが、誰が勝っているかという判断を誤らせることはありません。

また、この研究は、どのリストを選択するかが、どれほど不完全であるかよりも重要であることも明らかにしました。物理的なつながりのリスト（STRING）に対してプログラムをテストすれば、そのプログラムが勝つかもしれません。一方で、調節的なつながりのリスト（TRRUST）に対してテストすれば、負けるかもしれません。これは、科学者がどの「ゴールドスタンダード」を使用するかについて注意深くある必要があることを示唆しています。なぜなら、リストそのものが、欠損データよりも勝者を左右するからです。

要するに、生命の地図はまだ非常に不完全ですが、その地図を読み解くための最高の道具を見つけるためのコンパスは、十分に機能しているのです。