Redesigning the Eterna100 RNA design benchmark for the Vienna 2 folding engine

技術要約：Vienna 2 フォールディング・エンジンに向けた Eterna100 RNA デザイン・ベンチマークの再設計

問題提起
RNA分子の合理的設計は、標的となる二次構造へと折り畳まれる配列を生成する「逆フォールディング」アルゴリズムに依存している。これらのアルゴリズムは通常、Eternaのシチズン・サイエンス・コミュニティによって収集された、難易度の高い100個の標的構造のコレクションである Eterna100 ベンチマークを用いて評価される。しかし、これらのパズルは ViennaRNA 1（具体的にはバージョン1.8.5、Turner 1999パラメータを使用）を用いて設計されたものである。分野が ViennaRNA 2（Turner 2004などの更新された熱力学パラメータを使用）へと移行するにつれ、決定的なギャップが生じた。すなわち、Eterna100のパズルが新しい熱力学モデルの下でも解ける状態にあるのか、また、フォールディング・エンジンが変わった際にアルゴリズムの性能ランキングが維持されるのかが不明であった。さらに、Eterna100ベンチマークを「解決した」とする最近の主張は、一貫性のないフォールディング・エンジンの設定に依存しており、性能指標を不当に高めている可能性があることが判明した。

手法
著者らは、クラウドソースによる人間による設計、アルゴリズムのベンチマーク、および先行文献の厳格な再評価を組み合わせた多段階のアプローチを採用した：

1. 解決不能性の特定： 著者らは、Vienna 1とVienna 2の間の熱力学的な差異が、一部のEterna100パズルを解決不能にすると仮定した。彼らは、Eternaプラットフォームを介して、Vienna 2フォールディング・エンジンを用いて、全100個のEterna100-V1パズルの解をクラウドソースによって収集した。
2. ベンチマークの再設計 (Eterna100-V2)： Vienna 2において解決不能と特定された19個のパズルに対し、元の構造の複雑さを維持しつつ、最小限の修正（挿入/削除）を行ってVienna 2の下で解決可能にするよう、Eternaの参加者に標的構造の再設計を依頼した。これにより、Eterna100-V2 ベンチマークが誕生した。
3. アルゴリズムの評価： 6つの最先端のRNAデザイン・アルゴリズムを、Eterna100-V1（Vienna 1を使用）およびEterna100-V2（Vienna 2を使用）の両方でテストした。アルゴリズムには以下が含まれる：
   • 確率的/モンテカルロ法：RNAinverse, NEMO, DesiRNA.
   • ディープラーニング/強化学習法：EternaBrain, LEARNA, SentRNA.
     実験は、それぞれのベンチマーク・バージョンに対して意図された特定のフォールディング・エンジンを使用して実施された。
4. 既知の解の再スコアリング： Eterna100-V1を解決したと主張する最近の研究（具体的には DesiRNA と Montparnasse）によって公開された配列を、著者らは再評価した。これらは、厳格なオリジナルのVienna 1実行ファイルとパラメータ（特に、Vienna 2ではデフォルトが2であるがVienna 1では1であった --dangles 設定の確認）を使用して、再フォールディングを行った。

主な結果

• 熱力学的感受性： オリジナルの100個のEterna100パズルのうち、19個がVienna 2では解決不能であることが判明した。この解決不能性は、大きな内部ループに対する自由エネルギー・ペナルティの増加や、マルチヘリックス・ジャンクションおよび孤立した塩基対の安定性の変化を含む、特定の熱力学的シフトに起因していた。
• 設計の成功： Eternaの参加者は、最小限の構造変更（例：「Shooting Star」への3塩基対の追加、または「Teslagon」からの1塩基の削除）によって、問題となった19個のパズルを再設計することに成功した。結果として得られた Eterna100-V2 ベンチマークは、Vienna 2において人間によって解決可能であり、かつ大部分がVienna 1でも解決可能（100中99のパズル）であり、バージョン間の比較可能性を確保している。
• アルゴリズムの性能の変化：
  • ランキングはおおむね一貫していたが、絶対的な性能はフォールディング・エンジンに基づいて大きく変動した。
  • Vienna 1固有のヒューリスティックや学習データに強く依存しているアルゴリズム（例：EternaBrain, NEMO, SentRNA）は、Eterna100-V2をVienna 2で評価した際に性能が低下した。
  • DesiRNA はEterna100-V2において性能が向上し、その構成におけるトップパフォーマーとなったが、それでも100個すべてのパズルを解決するには至らなかった。
  • どちらのベンチマーク構成においても、100個すべてを解決したアルゴリズムは存在しなかった。6つのアルゴリズムを統合しても、Eterna100-V2（Vienna 2使用）において7つの問題が未解決のまま残っている。
• 先行研究の主張の訂正： 再スコアリングにより、Eterna100-V1を解決したとされる以前の発表内容は誤りであったことが明らかになった。
  • Vienna 1の実行ファイルに対して再スコアリングを行ったところ、公開されたDesiRNAの設計は、100の標的のうち正しくフォールディングしたのは69のみであった（主張されていた100から減少）。
  • Montparnasse の解は、100中わずか27を解決した。
  • この不一致は、これらの研究がTurner 1999パラメータを持つVienna 2の実行ファイルを使用しながら、--dangles フラグをVienna 1のデフォルトである1に設定していなかったために発生した。これは、異なる最小自由エネルギー（MFE）構造をもたらした。

意義と主張
本論文は、RNAデザインの困難さが、使用される熱力学モデルと本質的に結びついていることを確立している。著者らは以下のことを主張している：

1. Eterna100ベンチマークにはバージョン固有の定義が必要である： オリジナルのEterna100-V1と近代化されたEterna100-V2の両方は、意図されたフォールディング・エンジン設定で評価された場合、現在のアルゴリズムでは未解決のままである。
2. アルゴリズムの熱力学モデルへの依存性： デザイン・アルゴリズムの性能は、フォールディング・エンジンに対して敏感である。特定の熱力学モデル（Vienna 1）から派生したヒューリスティックに依存するアルゴリズムは、更新されたモデル（Vienna 2）に対してはうまく汎用化できない。これは、熱力学モデルに対して不可知（アグノスティック）であるか、あるいは迅速に再学習可能なアルゴリズムの必要性を示唆している。
3. 標準化の重要性： 本研究は、以前の文献における不整合な設定（特に --dangles パラメータ）が、アルゴリズムの性能を過大評価させる原因となったことを強調している。著者らは、将来の評価が再現可能かつ正確であることを保証するために、ベンチマーク、解、およびバリデータ・スクリプトの標準化されたリポジトリを提供している。

結論として、人間は熱力学的な変化に適応できる一方で、現在の自動化された手法はそうすることに苦慮しており、分野は、進化するRNA熱力学予測の景観を考慮したベンチマークとアルゴリズムへと移行する必要がある。