DNA-LLM2Vec: Architecture-Aware Task-Conditioned Adaptation of Decoder DNA Foundation Models

ヒトゲノムはしばしば、生命の設計図である4文字の化学アルファベットで綴られた、膨大な指示書に例えられます。数十年にわたり、科学者たちはこの説明書を読み解くためのコンピュータモデルを構築しようと試みてきました。コード内の微細な変化がいかにして疾患を引き起こすのか、あるいは特定の配列がいかにして身体の機能を制御しているのかを理解するためです。この取り組みにおける大きな課題は、指示が単なる単純なリストではなく、一つの遺伝子の活動がその配列の前後から来る信号の両方に依存するという、複雑な網の目構造になっていることです。さらに、DNAは二重鎖分子であるため、同じ情報がどちらの方向からも読み取ることができ、つまり、コンピュータモデルは、ある配列とその鏡像が同じ意味を持つということを理解しなければなりません。最近まで、DNAを読み取るための最も強力なコンピュータモデルは、本を左から右へと読む人のように、一方方向にのみ読むように設計されており、反対側から来る重要な文脈を見落としていました。

研究チームは、この限界を克服するための新しい手法を開発し、これらの一方向の読者を、ゼロから再構築することなく強力な双方向の解釈器へと変貌させました。彼らは、既存の高度に進化した2つのDNAモデル（短いチャンクを読み取るものと、非常に長い遺伝コードの領域を扱うもの）を取り上げ、それらが前後を同時に見ることができるように学習させました。そうすることで、彼らは、文章の真の意味を把握するために前後の段落をちらりと見ることができる読者のように、遺伝的な位置の全容を理解できるシステムを作り上げました。研究者たちは、この変換が、遠く離れたゲノムの部分がどのように互いに通信して遺伝子のオン・オフを切り替えるかといった、長距離の遺伝的相互作用を伴うタスクにおいて極めてうまく機能することを発見しました。しかし、モデルを適応させる最善の方法は、遺伝的タスクの具体的な種類や、元のモデルの設計に大きく依存することも判明しました。あらゆるものに完璧に機能する単一の「正解」は存在しないのです。

この研究の核心は、「因果的」なDNAモデル（直前の情報に基づいて配列の次の文字を予測するもの）を、全体像を一度に見る「双方向的」なモデルへと段階的に変換するプロセスにあります。まず、研究者たちはモデルのアテンション機構を開放し、過去だけでなく配列全体を見ることができるようにしました。しかし、これにより不一致が生じました。なぜなら、モデルは、この新しい読み方において必要となる「欠落した」情報の概念を扱うように訓練されていなかったからです。これを修復するために、彼らは周囲の文脈に基づいて隠れた文字を予測するようにモデルを訓練しました。この手法により、モデルは新しい双方向の視力を効果的に活用する方法を学ぶことができました。最後に、DNA配列とその逆の鏡像が根本的に同一であることを認識させるためのトレーニングステップを追加し、モデルが二重らせんの自然な対称性を尊重するようにしました。

チームがこれらの新たに適応されたモデルを幅広い生物学的タスクでテストしたところ、結果は驚くべきものでしたが、同時に微妙な差異も伴っていました。エンハンサー（遺伝子のスイッチ）が数百ヘクトベース離れたプロモーター（遺伝子の開始点）とどのように相互作用するかといった、長距離の理解を必要とするタスクにおいて、新しい手法は精度を劇的に向上させました。これらの長距離シナرリオにおいて、適応されたモデルは、オリジナルの一方向モデルと比較して最大27パーセントポイントの性能向上を示しました。これは、ゲノムが広範囲にわたって自己を制御する方法を理解するためには、全方位の文脈を把握する能力が極めて重要であることを示唆しています。特に、同じ長い配列のわずかに異なる部分をモデルに見せるという特定のトレーニング手法が、これらの拡張されたタスクにおいて最も効果的であることが証明されました。

しかし、より局所的な、短い遺伝的タスクに目を向けると、物語は変わります。スプライス部位（DNAが切断され結合する場所）の正確な認識や、特定の短いパターンへのタンパク質の結合を伴う問題において、恩恵は一様ではありませんでした。場合によっては、新しい双方向モデルがオリジナルの一方向モデルよりも性能が悪くなることもあり、特にモデルの元の設計が、短い範囲のタスクには適合しない方法で文字をグループ化する特定の種類のトークナイゼーションを使用していた場合にその傾向が見られました。この発見は極めて重要です。なぜなら、単にモデルを双方向にすることが魔法の杖ではないことを示しており、適応の成功は、問題の特定の構造とモデルの基礎となるアーキテクチャをいかに一致させるかにかかっていることを示しているからです。

研究者たちは、モデルの内部で実際に何が起きているのかを理解するために、モデルの内部を詳しく調査しました。彼らは、DNA配列に微小な変異をシミュレートする診断ツールを用い、モデルの内部的な理解が遺伝コードに対してどのように変化するかを確認しました。その結果、トレーニングプロセスによって、既知の調節パターンをより良く認識するようにモデルの内部構造が整理されていることが分かりました。また、DNAの二重鎖としての性質を尊重するように教えるトレーニングによって、提示されるストランドがどちらであっても、理解が一致するようになったことも確認されました。しかし、これらの内部的な改善が、必ずしも特定の外部タスクに対する最適なバージョンの予測に直結しないことも判明しました。例えば、DNAストランドの対称性を最もよく理解しているバージョンが、必ずしも長距離の遺伝子相互作用の予測において最高のパフォーマンスを発揮するわけではありませんでした。

この乖離は、本研究からの重要な洞察を浮き彫りにしています。すなわち、モデルが内部知識をどのように整理するかは、必ずしもすべてのダウンストリーム・アプリケーションにおける性能向上に直接つながるわけではないということです。研究者たちは、彼らの手法の価値が、双方向の文脈とストランドの対称性を捉えた、凍結された再利用可能なDNA表現を作成することにあることを実証しました。この表現は、特に長距離の相互作用を伴う特定のタスクにおいては非常に効果的ですが、それには特定の目標に基づいた適応戦略の慎重な選択が必要です。研究は、DNAモデルを変換するための単一の最善の方法は存在せず、代わりに、科学者は「問いかける生物学的な質問」と「使用するモデルの具体的な設計」の両方に合致する適応アプローチを選択しなければならないと結論付けています。

この研究の意義は、単に一つのアルゴリズムを改良することにとどまりません。それは、ゲノミクスAIの未来が、すべてを完璧にこなす単一の普遍的なモデルを構築することではなく、異なる生物学的問題の特定のニーズに合わせて調整できる柔軟なフレームワークを開発することにあることを示唆しています。既存のモデルを、DNAの複雑で双方向的な性質を扱うために再利用できることを示すことで、研究者たちは科学者がゲノムを探索するための新しいツールを提供しました。このアプローチにより、科学者はこれらのモデルの訓練に使用された膨大なデータを活用しながら、遺伝コードの全容を把握するという決定的な能力を加え、生命が分子レベルでどのように制御されているかを理解するための新たな扉を開くことができるのです。