Scoring the downstream chain of small-n label-free proteomics against known ratios: search engine, match-between-runs, imputation, differential testing and enrichment background on a public three-species benchmark

細胞内の微小な世界では、数千ものタンパク質が協力し合って生命を維持しています。病気になった際や治療が効果を発揮した際に、これらのタンパク質がどのように変化するかを理解するために、科学者たちは「ラベルフリー・プロテオミクス」と呼ばれる手法を用います。群衆の写真を撮ることで、その集団の重さを量ろうとしている場面を想像してみてください。カメラは全員を捉えますが、一人ひとりの体重を知るためには、画像の明るさを測定しなければなりません。この科学的手法において、タンパク質の信号の「明るさ」は、研究者がその存在量を把握するための指標となります。健康な組織と疾患のある組織のように、異なる二つの条件間でこれらの信号を比較することで、科学者はどのタンパク質が増加し、あるいは減少したのかを見ることができます。しかし、正確なカウントを行うことは困難です。このプロセスには、タンパク質を特定するための複雑なコンピュータプログラムが含まれ、その後、欠損データをどのように扱うか、サンプルをどのように比較するか、そして何をもってランダムな変動ではなく真の変化とするかを決定するという、長い意思決定の連鎖が伴います。もしこれらの後半のステップが適切に処理されなければ、最終的な重要なタンパク質のリストはエラーで埋め尽くされ、研究者を誤った道へと導いてしまうことになります。

ある研究者が、これらの選択肢が最終的な結果にどのように影響するかを正確にテストするため、正解がすでに分かっている公開データセットを使用しました。このデータは、ヒト、酵母、そして一般的な腸内細菌である大腸菌（E. coli）の3種類のタンパク質を混合した、巧妙な実験から得られたものです。彼らは既知の割合を持つ2つの混合物を作成しました。最初の混合物では、ヒトのタンパク質が65パーセント、酵母が30パーセント、細菌が5パーセントでした。二つ目の混合物では、ヒトのタンパク質は同じまま、酵母を半分に減らし、細菌を4倍に増やしました。開始時の量が既知であったため、研究者はコンピュータが何を見つけるべきかを正確に把握していました。すなわち、ヒトのタンパク質は変化を示さず、酵母は半分になり、細菌は4倍になるはずでした。このセットアップは、完璧なテスト場、つまりツールが十分に鋭利であれば正解が見えるように設計された、制御された環境として機能しました。

研究者はこのデータを、現在この分野で使用されている最もポピュラーな3つのソフトウェアツール、MaxQuant、FragPipe、およびDIA-NNに通しました。これらのプログラムは、高性能なカメラの異なるブランドのようなもので、すべて生の画像を取り込み、タンパク質の鮮明な画像を生成しようとします。研究の結果、これら3つのツールはいずれもタンパク質を見つける能力については概ね優れていたものの、変化の測定精度においては異なっていたことが分かりました。変化しないはずのヒトのタンパク質について見ると、MaxQuantというツールは一貫して小さな偏りを示し、変化していないタンパク質を実際とはわずかに異なるものに見せてしまいました。もう一つのツールであるFragPipeは、これらの変化しないタンパク質に対して非常に精密でした。また、DIA-NNも非常に正確でしたが、そもそもデータのキャプチャに使用している機械の種類が異なっていました。最も衝撃的な発見は、どのソフトウェアが優れているかについてではなく、ソフトウェアの作業が終わった後に下される単純な決定によって、いかに最終結果が台無しにされ得るかということでした。

ソフトウェアがタンパク質を特定した後、研究者はデータを整理するために科学者が行う一般的な一連のステップをテストしました。その一つが「マッチ・ビトウィーン・ランズ（match-between-runs）」であり、これはあるサンプルにおけるタンパク質の欠損値を、類似した別のサンプルの値から借りることでコンピュータに補完させる機能です。研究によれば、この機能はより多くのタンパク質を見つけるのには役立ちますが、特に検出が困難な希少な細菌タンパク質に対しては、より多くのノイズをもたらすことも分かりました。もう一つの重要な決定は、データから完全に欠落しているタンキ質をどのように扱うかでした。研究者は、これらの欠損値を推測するためのいくつかの方法をテストしました。データが欠落している理由が単にタンパク質が希薄すぎて見えなかったためである場合、欠損がランダムであると仮定する一般的な手法は完全に失敗しました。この特定のケースにおいて、その手法は欠損値を平均値であると推測してしまい、結果として実際に起きていた細菌の4倍の増加を事実上消し去ってしまったのです。

最も劇的な変化は、データの有意性をテストする方法から生じました。科学者はしばしば、変化が真実であるかどうかを判断するために統計テストを用います。研究の結果、もし研究者が、変化の最小サイズを要求することなく、単に「違いがあるように見える」タンパク質を探すようコンピュータに命じた場合、偽陽性の数が爆発的に増加することが判明しました。あるソフトウェアの出力では、標準的なテストによって100以上のヒトタンパク質が変化したとフラグが立てられましたが、それらは既知の安定したタンパク質でした。しかし、研究者が「変化は一定のサイズ以上であること」という単純なルールを追加したところ、偽陽数の数は100超からわずかな数へと激減しました。この単一の決定により、エラー率は30倍以上減少したのです。逆に、データを「正規化」したり再バランスさせたりする、一般的によく行われる追加ステップを加えると、2つのソフトウェアツールにおいて状況が悪化し、存在もしなかった数千もの新たな偽陽性を生み出しました。

研究はまた、科学者が「濃縮解析（enrichment analysis）」と呼ばれるステップを通じて、タンパク質のリストを生物学的プロセスを理解するためにどのように解釈するかについても調査しました。研究者がリストを取り出し、データベースに対してそれらがどのような機能に関与しているかを尋ねる際、背景（バックグラウンド）の選択が極めて重要になります。もしリストを、起こりうるすべてのタンパク質の全ゲノムと比較した場合、リストが単なるランダムな集まりであっても、コンピュータは数百もの「有意な」機能を検出してしまいます。しかし、リストを実験で実際に検出されたタンパク質のみと比較した場合、偽陽性は消失します。このことは、比較のための背景がレンズのように機能することを示唆しています。間違ったレンズを通して見ることで、ランダムなノイズがシグナルのように見えてしまうのです。

この研究の究極の結論は、ソフトウェアエンジンの選択よりも、ソフトウェアが実行された後の選択の方が重要であるということです。フォールドチェンジの閾値を設定するといった単一の決定が、偽発見の数を最大34倍変える可能性があります。研究者は、他の人々が従うべきチェックリストを提供しました。すなわち、保持するデータに対して厳格なルールを使用すること、欠損値が発生した理由を理解していない限り推測を避けること、統計テストには最小の変化サイズの要件を組み合わせること、そして濃縮解析には検出されたタンパク質を背景として使用することです。これらのシンプルな安全策に従うことで、科学者は、自分たちの物語が自身のメソッドによるアーティファクト（人工的な産物）ではなく、実際の生物学的な変化に基づいていることを確実にできるのです。この研究は、分野におけるすべての問題を解決したと主張しているわけではありませんが、正解が分かっている場合、エラーへの道は、意図は善意であっても不必要なステップによって舗装されていることが多いということを明確に示しました。