Tokenization to Transfer: Do Genomic Foundation Models Learn Good Representations?

この論文は、ゲノム基盤モデルの事前学習がランダム初期化モデルや適切なトークナイザ選択に比べて下流タスクで得られる利益が限定的であり、特に臨床的変異の検出において感度が低いことを示し、より生物学的に情報に裏打ちされたトークナイザや目的関数の必要性を提唱しています。

要約

この論文は、**「AI が遺伝子（DNA）を学ぶとき、本当に『勉強（事前学習）』が必要なのか？」**という、非常に重要な疑問に答えた研究です。

一言で言うと、**「AI に DNA を教えるために、何兆円もかけて『事前学習』をさせる必要は、実はあまりないかもしれません。むしろ、適切な『教材の書き方』さえすれば、何も教えていない素人の AI でも、すごい結果を出せることがわかった」**という衝撃的な発見が書かれています。

以下に、難しい専門用語を使わず、日常の例え話で解説します。

---

1. 背景：DNA を読む「天才 AI」を作ろうとしていた

最近、ChatGPT などの「言語モデル（文章を読む AI）」が大成功しました。これにヒントを得て、科学者たちは「DNA も言語（A, C, G, T という文字の羅列）だから、同じように AI を作れば、病気の原因や遺伝の仕組みがわかるはずだ！」と考えました。

これまでに作られた「遺伝子基礎モデル（GFMs）」は、膨大な DNA データを何十兆回も読み込んで「事前学習」を行い、その後、特定の病気や機能の予測に使われるという、非常に高価で時間のかかるプロセスを踏んできました。

しかし、疑問が湧きました。
「本当に、あれほど高価で時間のかかる『事前学習』は必要なの？単にランダムに作った AI でも、同じくらいできるんじゃない？」

2. 実験：「天才」vs「素人」の対決

研究者たちは、7 つの最新の DNA AI モデルを、**「事前学習を済ませた天才」と「何も学んでいない素人（初期状態のランダムな AI）」**の 2 パターン用意し、52 種類の遺伝子タスクで戦わせたのです。

結果の驚き

• 素人が負けていないどころか、勝っていることも！
  多くのタスクで、事前学習済みの「天才 AI」と、何も学んでいない「素人 AI」の性能はほぼ同じでした。場合によっては、「素人 AI」の方が圧倒的に強いこともありました。
• コストの無駄？
  事前学習には莫大な計算資源（電気代やサーバー代）がかかります。しかし、そのおかげで得られる性能向上は、せいぜい「2〜3%」程度。これは、**「何年もかけて勉強しても、テストの点数が 1 点しか上がらない」**ようなもので、コストに見合わない可能性が高いと指摘しています。

3. 最大の要因は「教材の書き方（トークナイザー）」

なぜ素人が勝てたのか？その秘密は**「DNA をどう区切って読むか（トークナイザー）」**という部分にありました。

• 悪い例（単語単位で読む）：
  「ATCG」という DNA を「ATC」「G」のように、意味のあるまとまり（単語）で区切って教えると、AI は混乱します。この場合、事前学習をしないと性能が出ません。
• 良い例（文字単位で読む）：
  「A」「T」「C」「G」を1 文字ずつ区切って教えると、AI は最初から非常に上手に学習できます。
  • アナロジー：
    • 悪い方法： 外国語の「熟語」や「慣用句」だけを暗記させて、意味もわからずにテストを受けさせる（事前学習が必要）。
    • 良い方法： 「A, B, C...」というアルファベットを 1 文字ずつ教えて、文法を自分で考えさせる（事前学習が不要）。

この研究では、**「1 文字ずつ教える（キャラクター・トークン化）」**方法を選んだ AI は、事前学習をしなくても、巨大な事前学習済み AI に匹敵する、あるいは凌駕する性能を発揮しました。

4. 残念な現実：「変異（ミューテーション）」には弱い

DNA の研究で最も重要なのは、**「たった 1 文字の間違い（変異）」**がどう影響するかを判断することです（例：がんの原因になるかどうか）。

しかし、実験の結果、どの AI もこの「1 文字の微妙な違い」を見つけるのが非常に苦手でした。

• アナロジー：
  本を 1 万ページ読んだ「天才 AI」でも、その中の「1 文字の誤字」を見つけると、**「あ、同じ本だ！」**と勘違いしてしまいます。
  • 元の DNA と、1 文字変えた DNA を AI に見せると、AI は「これは同じものだ」と判断してしまい、重要な病気のリスクを見逃してしまいます。
  • 臨床的な意味（病気になるかどうか）を判断するテストでは、AI の性能は**「サイコロを振るのと同じ（50% の確率）」**でした。

5. 結論と提言：「勉強」より「仕組み」を変えるべき

この論文は、現在の AI 開発のあり方に警鐘を鳴らしています。

• 今のやり方は非効率：
  単に NLP（自然言語処理）の技術を DNA に当てはめて、大量のデータで「勉強」させるだけでは、真の天才 AI は作れません。
• 必要なこと：
  1. 教材の書き方を変える： 1 文字ずつ丁寧に教えるなど、生物学の仕組みに合った読み方を工夫する。
  2. 目標を明確にする： 「1 文字の違い」を見逃さないように、AI の学習目標自体を生物学的に再設計する。
  3. 素人の力を信じる： 高価な事前学習に頼りすぎず、適切な設計をした「素人 AI」でも十分使えることを認める。

まとめ

この論文は、**「AI に DNA を読ませるには、莫大なコストをかけて『勉強』させる必要はない。むしろ、『教え方（設計）』を生物学的に正しく変えれば、もっとシンプルで安価な方法で、素晴らしい結果が得られる」**と伝えています。

これからの遺伝子 AI 研究は、「もっと大きく、もっと勉強させる」ことではなく、**「もっと賢く、生物学的に正しい仕組みを作る」**ことにシフトするべきだという、重要なメッセージが込められています。

技術概要

論文要約：TOKENIZATION TO TRANSFER: DO GENOMIC FOUN- DATION MODELS LEARN GOOD REPRESENTATIONS?

（ICLR 2026 発表論文）

1. 背景と問題提起

大規模言語モデル（LLM）の成功に着想を得て、ゲノム領域でも同様の事前学習（Pretraining）手法を用いた「ゲノム基盤モデル（Genomic Foundation Models: GFMs）」の開発が進んでいます。しかし、以下の重要な疑問が未解決のまま残されています。

1. 事前学習の有効性: ゲノム分野における事前学習の性能向上と、下流タスク（Downstream tasks）での効果との関係は明確ではありません。
2. コスト効率: 大規模なデータと計算資源を要する事前学習が、本当にランダム初期化のモデルよりも優れているのか、そのコスト対効果は疑問視されています。
3. 表現の質: 現在の GFMs が、臨床的に重要な遺伝子変異（単一塩基多型など）を適切に捉え、表現（Embedding）として学習できているのかどうかが不明確です。

本研究は、これらの疑問に対し、7 つの最新の GFMs を対象に、52 種類の多様なゲノムタスクを通じて体系的な評価を行いました。

2. 手法と実験設計

著者らは、事前学習済みモデルと、同一のアーキテクチャ・ハイパーパラメータを持つランダム初期化モデルを比較対照として設定し、以下の 3 つの主要な評価シナリオで実験を行いました。

• 評価対象モデル: Caduceus, HyenaDNA, Mistral (独自実装), Nucleotide Transformer (NT-500M, NTv2-50M), GENA-LM, DNABERT-2 の 7 種類。

• 評価タスク:

  1. ファインチューニング (Finetuning): Nucleotide Transformer Benchmark (NT), GUE, Genomic Benchmarks の 3 つのベンチマークに含まれる 52 件の分類タスク（ヒストン修飾、エンハンサー、プロモーターなど）。
  2. 特徴抽出 (Feature Extraction): モデルの重みを固定し、抽出した埋め込み表現（Embeddings）を用いて単純な分類器（XGBoost）を学習させるタスク（バイオタイプ分類など）。
  3. ゲノム変異の検出 (Genomic Variation):
     • 祖先推定: 1000 Genomes データを用いた集団分類。
     • 変異感度分析: 配列に SNPs（単一塩基多型）を導入した際、埋め込み表現がどの程度変化するか（コサイン類似度）を測定。
     • ClinVar 評価: 臨床的に重要な変異（良性 vs 病原性）を、対数尤度比（Log-Likelihood Ratio）を用いて識別できるかを検証。

• 重要な制御変数: トークナイザー（文字単位、k-mer、BPE）の違い、埋め込み次元、アーキテクチャ（エンコーダ/デコーダ）の影響を詳細に分析しました。

3. 主要な結果

3.1 ランダム初期化モデルの驚異的な性能

• トークナイザーの決定力: ランダム初期化モデルの性能は、トークナイザーの種類に強く依存します。
  • 文字単位（Character-token）モデル（Caduceus, HyenaDNA, Mistral）は、事前学習なしでも非常に高い性能を示し、多くの場合、事前学習済みの k-mer や BPE モデルを上回ります。
  • 一方、サブワードモデル（k-mer, BPE）は、事前学習による性能向上が見られる傾向がありますが、その恩恵はトークナイザー依存です。
• 事前学習の限界: 多くのタスクにおいて、事前学習による性能向上は限定的（通常 2-3% 以内）であり、計算コストに見合わないケースが多々ありました。特に、ランダム初期化の Caduceus（8M パラメータ）は、NT ベンチマークの難易度の高いタスクで、NT-500M（5 億パラメータ）などの大規模事前学習モデルを凌駕しました。

3.2 特徴抽出タスクにおける発見

• 重みの更新を行わない「特徴抽出」タスクにおいても、ランダム初期化モデルは競争力がありました。
• 特に、文字トークナイザーと大きな埋め込み次元を採用したランダム初期化モデルは、事前学習モデルを上回る性能を発揮しました。
• HyenaDNA におけるアーキテクチャ制御実験では、埋め込み次元が 128 以上になると、事前学習の優位性は消失し、ランダム初期化モデルが同等以上の性能を示しました。

3.3 トークナイザーの因果的影響（アブレーション研究）

• 同一の HyenaDNA アーキテクチャで、トークナイザーのみを「文字」から「6-mer」に変更して事前学習させた実験を行いました。
• 結果: 事前学習の損失（Perplexity）は文字モデルの方が低かったにもかかわらず、下流タスクの性能は 6-mer モデルの方が大幅に優れていました（平均 MCC で +0.187 の差）。
• 示唆: 事前学習の損失値は下流タスクの性能の代理指標として不適切であり、トークナイザーが持つ「帰納的バイアス（Inductive Bias）」が下流タスクの成否を決定づけることが示されました。

3.4 変異検出能力の欠如

• 変異感度の低さ: 配列の半分近くが変異しても、多くの GFMs は元の配列とのコサイン類似度が 0.99 以上を維持し、変異を検知できていませんでした。
• 臨床的有用性の欠如: ClinVar データを用いた病原性変異の識別実験では、モデルの AUROC 値が 0.5 前後（ランダム推測レベル）であり、臨床的に重要な変異を捉えられていないことが判明しました。

4. 主要な貢献と結論

主要な貢献

1. 事前学習の再評価: ゲノム分野における NLP 由来の事前学習戦略は、ランダム初期化の強力なベースラインに対して、限定的かつ条件付きのメリットしか提供していないことを実証しました。
2. トークナイザーの重要性の解明: 性能の大部分はアーキテクチャや事前学習ではなく、トークナイザーの選択とモデル容量によって決定されることを示しました。
3. 変異検出の課題提示: 現在の GFMs は、単一塩基レベルの微妙な変化を捉える能力が不足しており、臨床応用（変異の病原性予測など）には不十分であることを明らかにしました。

結論と提言

本研究は、ゲノム基盤モデルの開発において、単に NLP の手法を転用するだけでは不十分であることを示唆しています。今後の研究においては以下の点が重要であると提言されています。

• 生物学的に裏付けられたトークナイザー戦略: 単一塩基の信号を保持できるトークナイザーの設計。
• 変異を考慮した目的関数: 事前学習の目的関数を、変異検出や生物学的メカニズムの理解に最適化する。
• 厳格なベンチマーク: 事前学習の損失低下だけでなく、変異感度や生物学的メカニズムの理解度を直接評価する新しいベンチマークの確立。

総じて、現在の GFMs は「汎用的な基盤モデル」としての完全な実現には至っておらず、計算資源の投下よりも、生物学的知見に基づいたモデル設計の根本的な見直しが必要であるという結論に至っています。