Evaluation Choices in Gene Regulatory Network Inference: An Empirical Analysis on DREAM4

生きている細胞の内部を、活気にあふれ、混沌とした一つの都市だと想像してみてください。この都市では、遺伝子が建物であり、都市がどのように運営されるかという指示は、巨大で複雑に絡み合った接続の網の中に書き込まれています。いくつかの建物（遺伝子）は市長として機能し、他の建物に対してライトを点けたり消したりするように命令を送ります。この目に見えない指揮命令のネットワークは、**遺伝子制御ネットワーク（GRN）**と呼ばれます。科学者たちは、このネットワークを解明しようと躍起になっています。なぜなら、誰が誰に命令を下しているのかを理解することは、疾患がどのように始まるかを突き止めたり、細胞を再プログラミングして傷を癒やしたりする助けになるからです。

しかし、この都市をマッピングすることは非常に困難です。私たちは建物を歩き回って、建物に何をしているのか尋ねることはできません。できるのは、異なる時点における都市の明かり（遺伝子発現）のスナップショットを撮ることだけです。それは、ある混雑した交差点の写真を一枚撮ることで、その都市の交通ルールを解明しようとするようなものです。データにはノイズが多く、考えられる接続の数も膨大なため、科学者たちは地図を推測するための様々な「探偵ツール（アルゴリズム）」を作り出してきました。しかし、ここが厄介な点です。ある探偵ツールが「犯人を見つけた」と言い、別のツールが「見つけられなかった」と言ったとしても、それが必ずしも一方が他方より賢いことを意味するわけではありません。単に、彼らが調べている容疑者のリストが異なっていただけかもしれません。

これは、まさに研究者のLiu Chen氏が最近の研究で取り組んだパズルです。彼らは世界最高の探偵ツールを見つけようとしたのではありません。代わりに、非常に具体的な問いを投げかけるための、制御された小さな実験を設定しました。**「誰を調査対象にするかという選び方を変えると、誰が勝者であるかという判断が変わってしまうのか？」**という問いです。

この問いに答えるため、Chen氏はDREAM4と呼ばれるコンペティションから提供された、5つの有名な「偽の」都市（シミュレーションされた遺伝子ネットワーク）を使用しました。これらの偽の都市には、誰が誰と接続されているかという完璧で既知のマップが存在します。これは実際の生物学では極めて稀なことです。研究者は、4つのシンプルで透明性の高い探偵ツール（単純な数学による、2つの遺伝子がどれほど一緒に「揺れる」かを測定する相関関係から、より複雑な決定木ベースの推測ゲームであるExtra Treesまで）を用い、異なる量のデータ（25、50、または100のスナップショット）を使用して、接続をマッピングするように命じました。

その後、Chen氏は巧妙なトリックを仕掛けました。彼らは全く同じ予測結果を、2つの異なるスコアリングシステムに通しました。

1. 「全員」テスト： ツールが、全9,900組の遺伝子のペアの中で、正しい接続を見つけ出せる能力に基づいて判定されます。
2. 「オラクル（神託）」テスト： ツールが、偽の都市において「市長」となる遺伝子が、実際に既知の制御因子である場合にのみ、その接続を見つけ出す能力に基づいて判定されます。これは、探偵に「この40人の容疑者だけを見て、残りの60人は無視せよ」というカンニングペーパーを渡すようなものです。

彼らは何を見つけたのでしょうか？

結果は、この分野に対する厳しい現実を突きつけるものでした。第一に、探偵ツールは全体として優れた仕事をしたとは言えませんでした。最良のデータを用いたとしても、彼らのパフォーマンスはランダムな推測とほとんど変わりませんでした。「全員」テストにおいて、彼らのスコアはベースライン付近を漂っており、本物の接続とノイズを区別するのに苦労していることを示していました。

第二に、これが大きな驚きなのですが、「オラクル」テストは、紙の上ではツールを非常に優秀に見せましたが、それは錯覚でした。容疑者のリストを既知の制御因子に限定したところ、生のスコア（AUPRCと呼ばれる）は大幅に上昇しました。まるでツールが突然、超知能になったかのように見えました。しかし、間違った答えを出す「悪い」容疑者が少なくなったことを考慮してスコアを調整すると、ツールのパフォーマンスは再び元の低いレベルへと戻りました。この「向上」は、誤った答えを排除したことによる統計的なトリックに過ぎませんでした。

最も重要な点は、ゲームのルールを変えると、ランキングが逆転したことです。研究者が「全員」テストから「オラクル」テストに切り替えたとき、**10.6%**の確率で、一方のテストで勝っていたツールが、もう一方のテストでは敗者となっていました。例えば、あるツールが1位にランクされたものが、候補者のリストが変わったというだけで、突然4位に転落することがあったのです。しかも、そのツールの予測内容自体は変わっていませんでした。

また、スナップショットの数（25から100へ）を変更するだけで、さらに混乱が生じ、ランキングの入れ替わりは**26%から32%**に達したことも研究では明らかになりました。

教訓

この論文の主な教訓は、どのツールが「勝者」で、どのツールが「敗者」かということではありません。実際、論文は、このような低シグナルでノイズの多い状況において、勝者を宣言することはしばしば無意味であると主張しています。この研究は、「ツールをどのように評価するか」が、ツールそのものと同じくらい重要であることを示しています。

もし候補者のリストを制限すれば、平凡なツールを天才に見せかけることができます。もしサンプルサイズを変更すれば、上位2つのツールを入れ替えてしまうかもしれません。著者らは、今後の研究において、単に「ツールXが最高だ！」と叫ぶのではなく、使用したルールについて正直であるべきだと提案しています。候補者は何組あったのか？ 本物の接続はどれほど一般的だったのか？ そして、データを少し変えただけで、そのランキングはどの程度安定しているのか？ 私たちがこれらに習熟するまでは、「最高の」遺伝子ネットワークマップとは、単にその日の特定のルールにたった今フィットしたものに過ぎないのかもしれません。