pre-miRBench: a multispecies benchmark and reference model for animal precursor microRNA prediction

技術要約：pre-miRBench：動物のプレマイクロRNA予測のためのマルチスピーシーズ・ベンチマークおよびリファレンスモデル

問題提起

前駆体マイクロRNA（pre-miRNA）の予測は、発現データが利用できない場合やゲノムアセンブリのみがリソースである場合に、注釈付けのためのゲノムヘアピンを優先順位付けするために極めて重要である。しかし、既存のpre-miRNA予測器の直接的な比較は、研究間における方法論的な不一致によって阻まれている。先行研究では、異なる注釈ソース（例：異なるバージョンのmiRBase）、不揃いなネガティブセットの構築（ランダムなゲノム断片から手選別の擬似ヘアピンまで）、および一貫性のない訓練・テスト分割が用いられている。決定的なことに、多くのベンチマークは、種とmiRNAファミリーの両方に対する汎化性能を同時に評価できていない。さらに、ランダムなレコードレベルの分割は、相同な配列が訓練セットとテストセットの両方に現れることを許容するため、性能推定値を膨張させる可能性がある。また、不均衡なクラス比率や代表性の低いネガティブセットは、楽観的または再現性のない指標を導く可能性がある。

方法論

著者らは、これらの不一致を厳格かつ再現可能なフレームワークを通じて解決するために設計された標準化されたベンチマーク、pre-miRBenchを導入する。

1. データセットの構築:

• 種と注釈: このベンチマークは、精査されたMirGeneDB 3.0の注釈に由来する71種の動物を対象としている。ポジティブ例は、注釈付けされたpre-miRNA遺伝子座を中心とした7,056個の200-ntゲノムウィンドウで構成される。
• ネガティブセットの生成: ネガティブ候補は、同一のゲノムからサンプリングされた。難易度を確保するため、著者らは「ハードネガティブマイニング」を採用した。候補は、予測されたヘアピン構造（MFE ≤ −10 kcal/mol、特定のステムループ制約）を持つもののみを保持するようにフィルタリングされたが、これらはpre-miRNAとしては注釈されていないものである。4ラウンドのランダムフォレストアンサンブルが種ごとに訓練され、「ハード」なネガティブ（前駆体ヘアピンに似ているが、機能していない可能性が高いゲノムウィンドウ）を特定した。
• クラスバランス: すべてのパーティションにおいて、一貫したクラス出現頻度を確保するため、固定された1:10のポジティブ対ネガティブ比率が維持された。
• 重複の除去: データ漏洩を防ぐため、生物学的分割の割り当て後に、モデル入力レベル（100 ntに正規化）での完全な重複が除去された。

2. 実験デザイン（分割戦略）:
本ベンチマークは、種およびmiRNAファミリーの表現の両軸において汎化性能を評価するために、クロスファクター分割デザインを採用している。これにより、4つの異なるテストセットが生み出される：

• Test 1: 既知の種 / 既知のファミリー（標準的な性能）。
• Test 2: 既知の種 / ホールドアウトされたファミリー（未知のmiRNAファミリーへの汎化）。
• Test 3: ホールドアウトされた種 / 既知のファミリー（未知の種への汎化）。
• Test 4: ホールドアウトされた種 / ホールドアウトされたファミリー（共同の汎化）。
• ホールドアウトされた種: ニワトリ (Gallus gallus) とキリギリス (Drosophila melanogaster) は訓練から除外された。

3. モデル評価:

• 再訓練: 公開されている6つのニューラル予測器（DeepMir, deepMiRGene, dnnPreMiR, mirDNN, miRe2e, および MuStARD）は、公平な比較を確実にするために、それぞれのネイティブなアーキテクチャと前処理パイプラインを用いてpre-miRBenchのパーティション上で再訓練された。
• リファレンスモデル: 新しいモデルである pre-miRBenchモデル は、自律型LLMエージェントシステムである Agentomics を用いて開発された。このアンサンブルは、3つのニューラルネットワーク（1つのPairMessageCNNと2つのSpeciesGraphGRU）で構成されている。このアーキテクチャは、配列、二次構造（RNAfold）、最小自由エネルギー（MFE）、および種の埋め込みを組み込んでいる。
• 指標: クラス不均衡に対処するために主に 平均適合率（AP） を用いて評価を行い、AUROC、精度（accuracy）、適合率（precision）、再現率（recall）、F1スコア、および固定閾値0.5におけるマシューズ相関係数（MCC）によって補完した。

主な貢献

1. 標準化されたベンチマーク: pre-miRBenchは、精査されたMirGeneDBの注釈を利用し、種とmiRNAファミリーの両方に対する汎化を同時にテストする、最初の統一されたデータセットおよび分割プロトコルを提供する。
2. 再現可能なベースライン: 著者らは、異なる訓練データや分割による変動を排除するため、同一条件下での6つの最先端の予測器の再訓練された重みと評価コードを提供している。
3. エージェンティックなモデル開発: 本論文は、手動の介入なしに競争力のあるリファレンスモデルを生成する上でのAgentomicsの有用性を実証しており、その結果として分野の新たなベースラインとなるアンサンブルが生み出された。
4. オープンデータ: すべてのソースコード、データセット、訓練された重み、およびレコードレベルの予測は、GitHubおよびZenodoを通じて公開されている。

結果

• 全体的な性能: pre-miRBenchモデルは、4つのテストセットすべてにおいて最高の平均適合率（AP 0.9809）を達成し、次に優れた再訓練済みモデルであるdnnPreMiR（AP 0.9719）を上回った。
• テストセットの詳細:
  • pre-miRBenchモデルは、Test 1（既知/既知）、Test 2（既知/ホールドアウトされたファミリー）、および Test 3（ホールドアウトされた種/既知のファミリー）でリードした。
  • 最も困難な Test 4 （ホールドアウトされた種/ホールドアウトされたファミリー）においては、dnnPreMiR が最高の点推定値（AP 0.9677）を達成し、pre-miRBenchモデル（AP 0.9659）を僅差で上回った。
  • Test 4におけるこれら2つのトップモデル間の差は統計的に有意ではなく、ペア化されたブートストラップ95%信頼区間は −0.0445 から 0.0341 であった。
• 二値分類: 固定閾値0.5において、pre-miRBenchモデルは精度と再現率の優れたバランスを示し、共同ホールドアウトテストにおいて最高の精度（0.988）、再現率（0.913）、F1スコア（0.933）、およびMCC（0.927）を達成した。対照的に、dnnPreMiRはより高い適合率（0.980）を示したが、再現率（0.710）は著しく低かった。
• 種の異質性: パフォーマンスはホールドアウトされた種の間で変動した。7つの予測器のうち6つが、G. gallus よりも D. melanogaster において性能が低下しており、種特有の課題を浮き彫りにした。

意義と主張

本論文は、pre-miRBenchが、不揃いなデータセット構築のために困難となっていたpre-miRNA予測器の比較問題を解決する 共通の評価フレームワーク を確立することを主張している。データ分割とクラス比率を固定することで、本研究は、モデルのランキングが特定の汎化タスク（例：未知の種 vs 未知のファミリー）に強く依存することを明らかにしている。

著者らは、pre-miRBenchモデルが将来の比較のための 再現可能なリファレンスモデル を提供すると断言している。自律的なAgentomicsによる開発はトップティアの性能を生み出したものの、論文内では、共同ホールドアウトの結果（Test 4）において、主要なモデル同士は統計的に同等であると謙虚に述べている。本ベンチマークは、単一の「勝者」を宣言するためのものではなく、先行文献で特定されたネガティブセットの構築、クラスバランス、およびクロススピーシーズ評価の障壁を具体的に解決し、将来の予測器が固定された標準に対して評価されるための、厳格かつ透明な環境を提供することを目的としている。この研究の真の価値は、標準化されたプロトコルと、コミュニティに提供される再訓練されたモデルおよびデータアーティファクトにある。