PathwayBench: a multi-criterion benchmark of pseudobulk pathway activity scoring methods reveals rank-window competition as a mechanism of biological signal loss in single-cell RNA-seq

あなたは、活気ある都市である「人体」の中で謎を解こうとしている探偵だと想像してください：あなたの手がかりは、遺伝子と呼ばれる小さなメッセージです。あなたは、どの「近所」（パスウェイ）がパーティーを開催中（活性化）で、どの近所が眠っているのかを知りたいと考えています。シングルセルRNAシーケンシングの世界では、科学者たちはこれら5つのツールのうちの1つを使って、近所のパーティーの様子を測定します：ssGSEA、GSVA、z-score、AUCell、そしてUCellです。

長い間、研究者たちはこれら5つのツールを、同じ真実を照らし出す異なるブランドの懐中電灯のように扱い、すべてが同じ結果を示すと想定してきました。しかし、このPathwayBenchと呼ばれる新しい研究は、虫眼鏡を手に取り、驚くべき事実を発見しました。これらの懐中電灯は、単に照らし方が異なるだけでなく、時には真逆の方向を指していることもあるのです！

偉大なる懐中電灯対決

研究者たちは単に推測したわけではありません。彼らは、682人の実在する人々のデータと、8つの異なる疾患研究（アルツハイマー病、腎臓病、COVID-19を含む）を用い、これら5つのツールを厳格な「運転テスト」にかけました。彼らは5,923のサンプルを検証し、以下の5つの厳しいルールに基づいてツールを評価しました：

1. 生物学的妥当性（Biological Relevance）： 正しい方向を見つけたか？（パーティーは始まったのか、それとも終わったのか？）
2. 集約の安定性（Aggregation Stability）： データを異なる方法で混合しても、冷静さを保てるか？
3. 外れ値への感受性（Outlier Sensitivity）： 変なデータポイントが1つ現れただけで、パニックにならないか？
4. 正規化の安定性（Normalization Stability）： 測定方法（ボリューム）を変えても機能するか？
5. サンプルサイズの安定性（Sample-Size Stability）： 研究対象の人数が少なくても、耐えられるか？

判定はこうでした：単一のツールがレースに勝利することはありませんでした。 それはまるで、フェラーリ、ピックアップトラック、自転車のうち、どれが「最高の」乗り物かを問うようなものです。それは完全に、地形次第なのです。

• GSVAはスーパースターであり、5つのテストのうち4つに合格しました。
• UCellも5つのテストのうち4つに合格しましたが、小さなサンプルサイズに対して少し苦戦しました。
• z-scoreは正しい方向を見つける精度が最も高く（**77.3%**の確率で正解）、しかしデータが乱れると少し不安定になりました。
• AUCellとssG�EAはより苦戦し、AUCellは方向を正しく捉えられたのはわずか**60.5%**でした。

秘密の悪役：「ランク・ウィンドウ競争（Rank-Window Competition）」

ここからが最もエキサイティングな部分です。研究者たちは、なぜ一部のツールが失敗するのか、特に疾患によって身体に劇的な変化が起きる場合（腎臓病や心臓病のように）において、その理由を発見しました。彼らはこの悪役を**「ランク・ウィンドウ競争（Rank-Window Competition）」**と名付けました。

想像してみてください。あるVIPクラブがあり、「VIPルーム」（スコアリング・ウィンドウ）に入るには、厳格なルールとして**上位10%**のゲストしか入れません。

• 大きさ（マグニチュード）を意識するツール（GSVA、z-score）： これらは、各ゲストがどれくらい大きな声で叫んでいるかをチェックするドアマンのようなものです。もし「パスウェイ・パーティー」のゲストたちが大声で叫んでいれば、他に誰がいようとも、彼らは高いスコアを得ます。
• ランク（順位）に基づくツール（AUCell、UCell）： これらは、上位10%に誰がいるかだけに注目するドアマンです。彼らはゲストがどれほど大きな声を出しているかには関心を持たず、ただ列の先頭にいるかどうかだけを気にします。

問題点： 慢性腎臓病のような疾患では、街全体が狂乱状態になります。数千もの無関係な遺伝子（「競合者」）が、パスウェイの遺伝子と同じくらい大きな声で叫び始めます。すると突然、「パスウェイ・パーティー」のゲストたちは、「競合者」のゲストたちが前列を埋め尽くしてしまうため、上位10%の列から押し出されてしまうのです。

研究者たちは、これを証明するためにシミュレーションを行いました。ミックスの中に500個の競合遺伝子を加えたとき：

• **ランクベースのツール（AUCell）は完全に崩壊しました。テストの40%**において、彼らは単に信号を見逃しただけでなく、逆の結果を出してしまいました（パーティーが始まっているのに、終わったと報告したのです！）。
• 大きさ（マグニチュード）を意識するツールは、少し静かにはなったものの、機能を維持しました。

これは単なるコンピュータ上のゲームではありませんでした。研究者たちは、実際の**慢性腎臓病（CKD）のデータを確認しました。彼らは「ECMリモデリング」（組織修復の一種）がアップレギュレート（活性化）**されているはずであることを知っていました。

• マグニチュード・ツールは正しくこう言いました：「はい、活性化しています！」（効果量は0.33から0.40程度）。
• ランクベースのツールはこう言いました：「いいえ、不活性、あるいはむしろダウンしています！」（効果量は**-0.01から-0.03**程度）。

両グループの差は非常に大きく、特に「群衆（競合する遺伝子の集まり）」が最も厚い腎臓や心臓の組織において顕著でした。

では、どのツールを使うべきか？

単一の「最高の」ツールは存在しないため、著者たちは**決定木（Decision Tree）と、楽しいインタラクティブ・アプリ（PathwayBench Advisor）**を作成し、科学者が自分の仕事に適した懐中電灯を選ぶのを助けるようにしました。

• 最も正確な「方向」が必要で、多少のリスクを厭わない場合： z-scoreを選んでください。
• ほとんどの状況において、バランスの取れた安全な選択肢が欲しい場合： GSVAまたはUCellが最善の策です（どちらも5つのテストのうち4つに合格しました）。
• 大規模で広範囲な変化（線維化や炎症など）を伴う疾患を研究している場合： ランクベースのツール（AUCell、UCell）を避けてください。彼らは群衆に惑わされやすいのです。マグニチュードを意識するツールを使いましょう。

結論

この研究は単に数字を並べただけではありません。それは私たちに「地図」を与えました。生物学的な「ノイズ」が大きくなりすぎると、ランキングだけを見るツールは群衆の中で迷子になってしまうことを示したのです。ランク・ウィンドウ競争を理解することで、科学者は適切なツールを選択できるようになり、病状が悪化しているときに、誤って「病状が改善している」と報告してしまうミスを防ぐことができるのです。

著者たちは、これが永遠に続く最終回答ではないことも慎重に述べています。彼らは、新しい疾患や新しいツールが発見されるにつれて更新可能な、生きているフレームワークとして「PathwayBench」を構築しました。しかし、現時点では、なぜ懐中電灯が異なる方向を指していたのかという謎を、彼らは解き明かしました。原因は、単に群衆が大きすぎたことだったのです。