🧬 biology

Entropy, Disagreement, and the Limits of Foundation Models in Genomics

この論文は、DNA 配列の高いエントロピーがモデル間の不一致や不安定な埋め込みを引き起こし、自然言語処理のような自己教師あり学習の手法がゲノムデータには適用できない可能性を示唆している。

原著者： Maxime Rochkoulets, Lovro Vrček, Mile Šikić

公開日 2026-04-07

📖 1 分で読めます☕ さくっと読める

原著者： Maxime Rochkoulets, Lovro Vrček, Mile Šikić

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ⚕️ これは査読を受けていないプレプリントのAI生成解説です。医学的助言ではありません。この内容に基づいて健康上の判断をしないでください。免責事項の全文を読む

遺伝子の「AI 先生」がなぜ失敗するのか？

～「予測」の難しさと「記憶」の罠～

この論文は、「自然言語（人間の言葉）」と「DNA（遺伝子）」を同じように AI に学習させると、なぜ DNA の方がうまくいかないのか？ という謎に迫った研究です。

結論から言うと、**「DNA というデータは、予測することが難しすぎる（情報量がバラバラすぎる）」**ため、AI が自信を持って答えを出せず、結果として「記憶力」ばかりが育ち、「文脈を理解する力」が育たないことがわかりました。

以下に、難しい専門用語を使わず、日常の例え話で解説します。

1. 実験の舞台：2 人の「双子の先生」

研究者たちは、全く同じ設計図（アーキテクチャ）を持った AI モデルを 2 組作りました。

A 組（言語モデル）： 英語の文章を大量に読み、次の単語を予測する練習をしました。
B 組（DNA モデル）： 遺伝子（A, T, G, C の並び）を大量に読み、次の遺伝子を予測する練習をしました。

「同じ先生が、同じ勉強量で教わっているのだから、同じくらい上手になるはずだ」と思いましたが、結果は**「言語モデルは天才、DNA モデルはボケボケ」**という大差がついてしまいました。なぜでしょうか？

2. 原因は「予測の難易度（エントロピー）」

ここが今回の最大の発見です。

英語の文章： 「今日は晴れ__」と言われたら、次は「です」や「でしょう」が来る可能性が高く、AI は**「あ、次は『です』だな！」と自信を持って予測**できます。
DNA の並び： 「A T G _」と言われたとき、次の文字は A, T, G, C どれでもあり得ます。文脈から「次はこれだ！」と確信を持てる場面がほとんどありません。

これを情報理論では**「エントロピー（不確実性）が高い」と言います。
DNA モデルは、「次は何が来るかわからないから、とりあえず全部同じ確率で『A, T, G, C どれもあり得るよ』と答える」という、「何とも言えない曖昧な答え」**を繰り返すことになります。

3. 先生たちの「意見の不一致」

この「予測の難しさ」が、AI たちの中に大きな混乱を生みました。

言語モデルの先生たち： 「次は『です』だ！」と全員が同じ答えをします。意見が一致し、安定しています。
DNA モデルの先生たち： 先生 A は「A かな？」、先生 B は「T かな？」、先生 C は「G かな？」と、同じ問題に対してバラバラの答えを出します。

さらに、AI が「単語の意味（埋め込み）」を記憶する場所を見ても、言語モデルは「言葉同士の関係性（例：王様と女王様）」を学んでいますが、DNA モデルは**「単に『A という文字』を暗記しているだけ」**の状態でした。

4. 驚きの発見：AI は「文脈」ではなく「暗記」をしていた

研究者は、AI の頭の中で「どの部分が最も重要な情報（フィッシャー情報）を持っているか」を調べました。

言語モデル： 文脈を理解する「思考部分（トランスフォーマー層）」に情報が集中していました。
DNA モデル： 思考部分ではなく、「単語を覚えるだけの部分（静的埋め込み層）」に情報が集中していました。

これは、**「DNA モデルは、文脈から『次は何が来るか』を推測する力（思考）を捨てて、ひたすら『この文字はこの文字だ』と暗記する力（記憶）だけを鍛えてしまった」**ことを意味します。

5. 結論：遺伝子の AI は「自習」だけでは育たない

この研究は、**「DNA だけで自習（自己教師あり学習）させても、AI が生物学的な深い知識を身につけるのは無理かもしれない」**と警告しています。

人間の言葉： 文脈から推測しやすいので、AI が「文法」や「意味」を自然に学べる。
遺伝子： 予測が難しすぎて、AI は「推測」をやめて「暗記」に頼ってしまう。

つまり、現在の「DNA だけを見て学習させる」という方法は、**「難しすぎるクイズを解かせようとして、AI が『答えを丸暗記する』という間違った勉強法に陥ってしまっている」**可能性があります。

まとめ

この論文は、「DNA というデータは、人間が考える以上に『予測しにくい』」という根本的な性質を指摘しました。
そのため、単に大量の DNA データを AI に読ませるだけでは、生物学的な「知恵」は生まれません。これからは、DNA だけでなく、タンパク質の構造や細胞の動きなど、「文脈（コンテキスト）」を補う別の情報を AI に教える新しいアプローチが必要だと示唆しています。

一言で言うと：
「DNA は『次は何？』と聞かれても答えが定まらず、AI が『とりあえず全部同じ確率で答える』状態に陥ってしまった。その結果、AI は『推測する力』を失い、『暗記する力』ばかりが育ってしまったんだね。」

論文サマリー：「Entropy, Disagreement, and the Limits of Foundation Models in Genomics」

（ゲノミクスにおけるファウンデーションモデルの限界：エントロピー、不一致、そして限界）

発表場所: ICLR 2026 LMRL ワークショップ
著者: Maxime Rochkoulets, Lovro Vrˇcek, Mile ˇSiki´c

1. 背景と問題提起

ゲノミクス分野におけるファウンデーションモデル（GFMs）は、自然言語処理（NLP）の成功に倣い、大規模な DNA 配列データを用いた自己教師あり学習（自己回帰やマスク言語モデル）を通じて、生物学的な隠れた関係性や「文法」を学習し、多様な下流タスクに応用できることを目指しています。しかし、NLP 分野での顕著な成功とは対照的に、GFMs の実用性や性能には疑問符が付けられており、特定のタスクに特化した小規模モデルの方が GFMs の埋め込み表現よりも優れているという報告も増えています。

本研究は、**「なぜ GFMs は NLP モデルほど効果的ではないのか？」という根本的な問いに答えることを目的としています。既存の研究ではその理由が十分に解明されていませんでしたが、著者らは「エントロピー（情報量）」**という情報理論的な観点から、DNA 配列と自然言語の根本的な違いがモデルの学習能力を制限していることを示唆します。

2. 手法 (Methodology)

本研究では、自然言語と DNA 配列の比較を公平に行うために、厳密に制御された実験を行いました。

モデル構成: 3 つのアンサンブル（それぞれ $N=5$ $N = 5$ の BERT 型トランスフォーマーエンコーダー）を訓練しました。
- アンサンブル 1: 英語テキスト（Byte-Pair Encoding トークナイザー使用）。
- アンサンブル 2: DNA 配列（BPE トークナイザー使用）。
- アンサンブル 3: DNA 配列（k-mer 非重複トークナイザー使用）。
制御変数: 全てのモデルは同一のアーキテクチャ（90M パラメータ）、同一のトークン数（50 億トークン）、同一の語彙サイズ（4096）、および決定論的なデータ順序で訓練されました。初期重みだけがランダムに異なります。
評価指標:
- 出力分布の不一致: KL 発散、Jensen-Shannon 距離（JSD）。
- 静的埋め込みの不一致: 近傍トークンの Jaccard 重なり、スピアマン相関、Procrustes 解析（アライメント後の分散とコサイン類似度）。
- 経験的フィッシャー情報 (Empirical Fisher Information): モデルのどの層（埋め込み層、トランスフォーマー層、ヘッド）がデータから情報を抽出しているかを層ごとに集計・正規化して分析。

3. 主要な結果 (Key Results)

3.1 高いエントロピーと出力分布の不安定性

DNA 配列は、未観測トークンの予測という観点から、自然言語に比べてはるかに高いエントロピー（不確実性）を持っています。

出力分布: DNA モデルは、テキストモデルに比べて出力分布がほぼ一様分布に近く、予測の不確実性が高いことが KL 発散の分析で示されました。
アンサンブル間の不一致: 核サンプリング（nucleus sampling）を用いて確率質量を絞り込むと、テキストモデルは安定して一致しますが、DNA モデルは $p$ を下げるにつれてモデル間の Jensen-Shannon 距離が急増します。これは、DNA モデルが「どのトークンが正解か」で合意しているのではなく、「すべてのトークンに同程度の確率を与えている」ため、見かけ上の一致しか生じていないことを示しています。

3.2 静的埋め込みの不安定性

同じデータセットとアーキテクチャで訓練されたモデル間でも、DNA モデルはテキストモデルに比べて静的埋め込み（Word Embeddings）の空間において大きな不一致を示しました。

定量的評価: Top-10 重なり、スピアマン相関、Procrustes 分散などの指標において、DNA モデルはテキストモデルよりも著しく低い一致度を示しました。
原因: 高エントロピーなデータでは条件付き分布が平坦であるため、異なる初期化や確率的な最適化経路をとるモデルが、同じ静的埋め込み状態に収束しにくいことが原因と考えられます。これは、GFMs における埋め込みベースの分析の再現性や信頼性の低さを示唆しています。

3.3 フィッシャー情報の偏り（層ごとの情報集中）

経験的フィッシャー情報行列（FIM）の対角成分を層ごとに分析した結果、驚くべき違いが明らかになりました。

テキストモデル: フィッシャー情報はトランスフォーマー層に集中しており、トークン間の意味的な関係性（アテンション機構）を適切に学習していることが示されました。
DNA モデル: フィッシャー情報は静的埋め込み層に集中しており、トランスフォーマー層やアテンション機構が十分に機能していない（トークン間の関係性を活用できていない）ことが示されました。
解釈: DNA モデルはトークン間の関係性を学習するのではなく、単にトークンのアイデンティティを記憶（暗記）する傾向にある可能性があります。

4. 結論と貢献

本研究は以下の重要な知見と貢献を提供します。

エントロピーの決定論的役割: DNA 配列の高いエントロピーが、モデルの予測不確実性、アンサンブル間での不一致、そして静的埋め込みの不安定性を引き起こす根本的な要因であることを実証しました。
アーキテクチャの限界: 同一のトランスフォーマーアーキテクチャであっても、データが DNA である場合、モデルはアテンション機構を活用できず、埋め込み層でのみ情報を処理する傾向があることをフィッシャー情報分析から示しました。
トークナイザーの影響のなさ: BPE と k-mer という異なるトークナイザーを用いても、上記の傾向はほとんど変化しませんでした。これは、問題がトークナイザーの設計ではなく、DNA データそのものの根本的な性質にあることを示唆しています。
方法論への提言: 未観測トークンの予測のみによる自己教師あり学習は、ゲノミクス分野においてファウンデーションモデルの能力を十分に発揮させるのに不十分である可能性が高いことを示し、現在の GFMs 訓練手法の前提条件に疑問を投げかけました。

5. 意義

この研究は、ゲノミクス分野における大規模言語モデルの適用可能性に対する批判的な視点を提供し、単にモデルを大きくするだけでなく、生物学的データの情報理論的特性（特にエントロピー）を考慮した新しい学習アプローチや、より適切な事前学習タスクの必要性を浮き彫りにしました。将来的な研究において、自己教師あり学習の限界を克服するための新たな手法開発の指針となる重要な論文です。