🧬 biology

JEPA-DNA: Grounding Genomic Foundation Models through Joint-Embedding Predictive Architectures

JEPA-DNAは、結合埋め込み予測アーキテクチャを従来の生成目的関数と統合することで、ゲノム基盤モデルをトークンレベルの再構成から意味的整合へとシフトさせ、多様なゲノムベンチマークにおいて最先端の性能を達成する、モデルに依存しない継続的学習フレームワークを導入する。

原著者： Ariel Larey, Elay Dahan, Amit Bleiweiss, Raizy Kellerman, Guy Leib, Omri Nayshool, Dan Ofer, Tal Zinger, Dan Dominissini, Gideon Rechavi, Nicole Bussola, Simon Lee, Shane O'Connell, Dung Hoang, Mariss

公開日 2026-08-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ariel Larey, Elay Dahan, Amit Bleiweiss, Raizy Kellerman, Guy Leib, Omri Nayshool, Dan Ofer, Tal Zinger, Dan Dominissini, Gideon Rechavi, Nicole Bussola, Simon Lee, Shane O'Connell, Dung Hoang, Marissa Wirth, Alexander W. Charney, Nati Daniel, Yoli Shavit

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ⚕️ これは査読を受けていないプレプリントのAI生成解説です。医学的助言ではありません。この内容に基づいて健康上の判断をしないでください。免責事項の全文を読む

人間の体を、巨大で古めかしい図書館だと想像してみてください。その中には、人間を作り上げ、動かすためのあらゆる指示が、A、C、G、Tというわずか4つの文字で作られたコードで書かれています。これがDNAです。長い間、科学者たちはコンピュータにこの図書館を読ませる方法を模索してきました。もしコンピュータがDNAの「文法」を理解できれば、私たちの体がどのように機能しているのか、なぜ病気になるのか、あるいは遺伝的な不具合をどのように修正できるのかを予測できるのではないかと考えたのです。

これを行うために、研究者たちは「基盤モデル（Foundation Models）」と呼ばれるものを使用しています。これは、何百万冊もの本（DNA配列）を読み込み、その言語のルールを学んだ超優秀な学生のようなものだと考えてください。通常、これらの学生は「穴埋め問題」というゲームを通じて学習します。文章の中の単語を隠したとき、学生は周囲の単語に基づいて、そこにあった単語を推測しなければなりません。これは、単語がどのように組み合わさるかといった、局所的な文法のルールを学ぶには非常に効果的です。しかし、ここに問題があります。文法を知っていることが、必ずしもその「物語」を理解していることを意味するわけではないのです。学生は「猫が……の上に座った」の次には通常「マット」が来る、ということを知っているかもしれませんが、その猫が実は犬から隠れていることや、場面全体がより大きなミステリーの一部であることまでは理解していないかもしれません。DNAにおいて、これはコンピュータが小さなパターンを見つけることには長けているものの、異なるコードの断片がどのように連携して生命を制御しているかという、大きな全体像を見落としがちであることを意味します。

ここで、JEPA-DNAと呼ばれる新しい研究が登場します。NVIDIAとイスラエルおよび米国の医療センターのチームによる研究者たちは、このDNAを読む学生をアップグレードすることに決めました。彼らは、コンピュータに単に欠落した文字を推測させるのではなく、欠落した部分の「意味」を推測させるように強制する、新しい学習方法を導入しました。単に「ここにどの文字が入るか？」と問うのではなく、「このDNAの塊の役割は何であるか？」と問うのです。

チームはこの新しい手法を、遺伝子の開始点（プロモーター）の特定から、遺伝的変異が健康にどのように影響するかを予測することまで、17種類の異なるタスクでテストしました。また、この手法がすべての人に通用することを確認するために、3種類の異なるDNA読み取りコンピュータ（DNABERT-2、NTv3、HyenaDNA）で試行しました。結果は目覚ましいものでした。この新しい「意味重視」の学習を加えることで、コンピュータはほぼすべてのタスクにおいて性能が向上しました。例えば、「GUE Promoter」と呼ばれるタスクでは、性能が11%以上向上しました。疾患変異に関する別のタスクでは、問題を特定する能力が12%以上向上しました。

論文は、このアプローチが効果的な理由として、コンピュータに「木を見て森を見ず」ではなく、森全体を見るように教えているからだと示唆しています。従来の手法は局所的な構文（特定の文字の順序）を暗記することには優れていましたが、JEPA-DNAはグローバルな機能的コンテキスト（その配列が体の中で実際に何をしているのか）を理解するのを助けます。研究者たちは、この新しい学習方法が、コンピュータに単なる綴りではなく、生命のルールを理解させる「世界モデル（world model）」を作り出すことを発見しました。彼らは、この手法が現在の最高水準のモデルよりも優れていることを示し、これらのAIシステムが達成できる新たな高みを設定しました。それは、スペリングが得意な学生を、プロットや登場人物、そしてテーマまでも一度に理解できる文芸批評家に育て上げるようなものです。

技術要約: JEPA-DNA

問題提起

ゲノム基盤モデル（GFM）は、大規模言語モデル（LLM）のアーキテクチャをゲノムデータに適応させることで、DNA配列のモデリングを進展させてきた。しかし、現在のGFMは主に、マスクされた言語モデリング（MLM）や次トークン予測（NTP）といった生成的な自己教師あり学習の目的関数に依存している。これらは局所的な配列の構文（シンタックス）やモチーフの特定には効果的であるが、トークンレベルの再構成パラダイムは、しばしば高頻度の配列「ノイズ」（例：反復要素）を優先してしまい、グローバルな機能的コンテキストを軽視する傾向がある。その結果、モデルは構文的な忠実度は高いものの、ゲノム機能を支配する高次の調節ロジックや長距離相互作用を内部化できていない可能性がある。既存の生成的な目的関数は、ゲノムの構文と生物学的意味論（セマンティクス）の間に存在する決定的な溝を埋めることができていない。

手法: JEPA-DNA フレームワーク

この限界に対処するため、著者らは、Joint-Embedding Predictive Architecture（JEPA）を従来の生成的な目的関数と統合した、モデルに依存しない継続的学習フレームワークである JEPA-DNA を導入する。JEPA-DNAは、生のトークンを予測するのではなく、マスクされたゲノムセグメントの潜在的な機能表現を予測するようにモデルを強制する。

アーキテクチャの構成要素

本フレームワークは、標準的なGFMバックボーン（ $E_\theta$ ）を、以下のJEPAブランチによって拡張する：

コンテキストエンコーダー ( $E_\theta$ ): マスクされた入力配列 $x$ を処理し、コンテキスト的な潜在表現 $h_{ctx}$ を生成する。
ターゲットエンコーダー ( $E_{\bar{\theta}}$ ): 指数移動平均（EMA）を介して重みが更新される、コンテキストエンコーダーの構造的複製。未マスクのターゲット配列 $y$ を処理し、潜在ターゲット $z$ を生成する。
予測器ヘッド ( $P_\phi$ ): コンテキスト表現をターゲットの潜在空間へとマッピングし、コンテキスト由来の特徴量をターゲットエンコーダーの埋め込みに整合させることを学習する。
配列アグリゲーター ( $A$ ): グローバルな意味的整合性を促進するために、潜在配列をグローバルな表現（例：[CLS]トークン、最終トークン、または平均プーリング）へと圧縮する。

学習戦略

JEPA-DNAは、マルチオブジェクティブ（多目的）継続的学習手順を採用している：

デュアルマスキング: スパンベースのマスキング戦略を利用し、マスキング比率とスパンの長さを段階的に増加させるスケジューラを用いることで、モデルに長距離依存性の推論を強いる。
再マスキング: コンテキストエンコーダーの出力におけるマスクされた位置を学習可能な潜在 [MASK] 埋め込みに置き換え、自明なマッピングを防ぐ。
複合損失関数: モデルは、以下の4つのコンポーネントのバランスを取る全損失（ $L_{total}$ $L_{t o t a l}$ ）を最小化するように最適化される：
1. LLM損失 ( $L_{llm}$ ): トークンレベルの精度を維持するための標準的なMLMまたはNTP損失。
2. 潜在予測損失 ( $L_{jepa}$ ): 予測されたグローバルな潜在表現（ $\hat{z}_{glob}$ ）がターゲットのグローバルな潜在表現（ $z_{glob}$ ）と一致するように強制するコサイン類似度損失。
3. 分散損失 ( $L_{var}$ ): 埋め込み次元がバッチ全体で十分な分散を維持し、情報の崩壊を防ぐための損失。
4. 共分散損失 ( $L_{cov}$ ): 冗長な表現を防ぐために、埋め込み次元間の非相関を促す（VICRegに基づく）。

本フレームワークは、多様なアーキテクチャ（Transformer、HyenaDNAのような状態空間モデル）およびトークン化手法と互換性があるように設計されており、配列を潜在表現へと圧縮するためのアグリゲーション演算子のみを必要とする。

主な貢献

新規な学習フレームワーク: 学習の目的を、リテラルなトークン再構成から、JEPAを介した潜在的な特徴量への整合へとシフトさせる、継続的学習フレームワークの導入。
アーキテクチャに依存しない性質: JEPA-DNAが、主要なGFM（DNABERT-2、NTv3、HyenaDNA）およびMLMとNTPの両方の目的関数と互換性のある、普遍的な「表現力の向上（representational uplift）」メカニメントであることを実証。
最先端の性能: 生成的な精度と潜在的な意味論的接地（セマンティック・グラウンディング）を橋渡しすることで、教師あり線形プロービング・タスクにおいて新たな性能の天井を確立。
相乗効果の分析: 生成的な目的と潜在的な目的の相互作用を特性化し、ハイブリッドなアプローチが純粋な再構成法や純粋な対照学習法よりも優れていることを示す。

実験結果

本フレームワークは、線形プロービングおよびゼロショットプロトコルを用いて、17の多様なゲノムベンチマークタスクで評価された。

線形プロービング: JEPA-DNAは、テストされた3つのバックボーンアーキテクチャすべてにおいて一貫した向上を示した。
- DNABERT-2: 9つのタスク中6〜8つのタスクで性能が向上し、AUROCの利得は最大+8.0%に達した。
- NTv3: 9つのタスク中8つのタスクで性能が向上した。
- HyenaDNA: 9つのタスク中7つのタスクで性能が向上し、特にプロモーター認識（+11.22%）やスプライス部位分類（+10.28%）において顕著な利得が見られた。
- タスクの特異性: 利得は、より広い調節コンテキストに依存するタスク（プロモーター、スプライス部位、meQTL、因果的eQTL）で最も顕著であったが、微細な局所的変化に駆動されるタスク（コーディング病原性）では結果にばらつきが見られた。
ゼロショット評価: DNABERT-2を用いた場合、JEPA-DNAは、疾患変異予測における+12.06%のAUROC利得を含む、6つの臨床およびフィットネス・スコアリング・ベンチマークにおいてゼロショット性能を向上させた。
アブレーション研究:
- VICReg正則化: ハイブリッド・パラダイムの恩恵を引き出すために不可欠であることが特定された。
- 予測器アーキテクチャ: アテンションベースの予測器（4レイヤー）が、MLPやより深いアーキテクチャよりも優れた性能を示した。
- 損失の構成: 潜在空間の整合性は、トークン再構成単独（+2.06%）よりも、より情報量の多い信号（+3.86%の利得）を提供したが、最適な構成には両方のハイブリッドが必要であった。

重要性

本論文は、JEPA-DNAが、ゲノムを生物学的意味論に接地させることに成功することで、ゲノム基盤モデルの新たな最先端（SOTA）を確立すると主張している。学習信号をトークンの回復から意味論的な整合へとシフトさせることで、フレームワークはモデルに対し、低レベルの配列ノイズに左右されない抽象的かつ機能的な特徴を学習することを強制する。このアプローチは、ゲノムの構文と生物学的ロジックの間の溝を埋め、多配列アライメントの計算負荷や対照的なネガティブマイニングのデータ要件を必要とせずに、基盤モデルを接地させるためのスケーラブルな道筋を提供する。著者らは、JEPA-DNAを既存のGFMの代替品としてではなく、既存のあらゆるゲノム基盤モデルの表現の質を高める、汎用的な継続的学習フェーズとして位置づけている。