A leakage-controlled benchmark shows apparent codon-language-model advantages in synonymous-variant prediction are evaluation artifacts

あなたは、ロボットに生命の秘密の言語を理解させる方法を教えようとしていると想像してください。生物学において、DNAは4つの文字（A、C、G、T）で作られたコードで書かれており、これらは「コドン」と呼ばれる3つの組にグループ化されています。これらのコドンは、細胞に対してどの構成要素（アミノ酸）を使用してタンパク質を構築すべきかを指示します。ここでトリッキーなのは、自然界は文法において非常に経済的であるということです。64通りのコドンの組み合わせが存在しますが、それらはわずか20種類の異なる構成要素を作るために使われます。これは、多くの異なるコドンが、全く同じ構成要素を表現できることを意味します。それは、例えば「猫」という一つの概念に対して、「フェリーヌ」、「キティ」、「パッス」という3つの異なる言葉があるようなものです。

長い間、科学者たちは、これら同じものを指す異なる言葉は単なるランダムなノイズに過ぎないと考えてきました。しかし最近、「コドン言語モデル」と呼ばれる新しい波のAIモデルが登場し、これらは言葉の選択に隠された秘密の意味を読み取ることができると主張し始めました。彼らは、たとえ最終的なタンパク質が同一であっても、選ばれた特定の言葉（コドン）によって、メッセージの安定性やタンパク質の構築速度が変わると主張しました。これは、より優れた薬やワクチンを設計する上で大きな意味を持ちます。しかし、そこにはある疑念がつきまとっていました。これらのAIモデルは本当に秘密の言語を読んでいるのか、それとも間違った手がかりを記憶することでショートカット（近道）に頼っているだけなのではないか、という疑念です。

この論文は、まさにその問いを調査する探偵小説です。著者であるYuanqing Liang、Weimin Liang、およびそのチームは、これらのAIモデルがコドンの選択を読み取るスーパーパワーを持っているのか、それともその成功は単に欠陥のあるテストによって作られた錯覚なのかを検証するために、実験を行いました。彼らは、ショートカットを取り除いたときに何が起こるかを確認するために、CodonBenchと呼ばれる、より厳格な新しいテスト環境を構築しました。

大いなるショートカットスキャンダル

物語は、混乱を招く発見から始まります。以前の研究では、コドンベースのAIモデルは競合モデルを圧倒しているように見えました。DNAの特定の変化が有害かどうかを予測するように求められたとき、これらのモデルは、最終的なタンパク質のみを見るモデルよりも、2.3〜14.3パーセントポイント高い精度を示すことがよくありました。それは、コドンモデルにとっての圧倒的な勝利のように見えました。

しかし、著者らはそこにトリックがあるのではないかと疑いました。想像してみてください。あなたが、ある生徒が数学が得意かどうかを当てるテストを受けているとします。もし、その生徒の名前を見ることが許されているなら、あなたは実際にテストの解答を見たからではなく、その生徒が数学の天才であることを知っているから「はい」と答えるかもしれません。DNAの世界では、その「名前」にあたるのが**遺伝子（ジーン）**です。

著者らは、古いテストはAIに生徒の名前を見せているようなものだと気づきました。データをランダムに分割していたため、同じ遺伝子（同じ「生徒」）が、学習セット（AIが学ぶ場所）とテストセット（AIが採点される場所）の両方に現れていたのです。AIはコドンの選択に関する微妙なルールを学んでいたのではなく、単に「遺伝子Xは通常、悪い変異を持つ」「遺伝子Yは通常、良い変異を持つ」ということを記憶していただけでした。それはスキルではなく、ショートカットでした。

「遺伝子ホールドアウト」の罠

ショートカットを捕まえるために、著者らは厳格なルール、**「遺伝子ホールドアウト評価（Gene-Held-Out Evaluation）」**を導入しました。これは、一度も見聞きしたことのない生徒に対してテストを行うようなものです。名前を使って推測することはできません。実際に解答を読まなければなりません。

この厳格なルールを適用すると、魔法は消え去りました。

• コドンモデルの巨大な優位性は崩壊しました。
• コドンモデルとタンパク質モデルの差は、膨大な2.3〜14.3パーセントポイントから、わずか1.6〜2.2パーセントポイントへと縮まりました。
• 場合によっては、コドンモデルはタンパク質モデルよりも性能が低くなりました！

著者らは、この「スーパーパワー」が実際には記憶のトリックであったことを突き止めました。AIは、特定のコドンの生物学的な性質ではなく、遺伝子の家系を認識することを学んでいたのです。

「深さ」の錯覚

コドンモデルが本物であることを証明するかのような、最後のヒントがありました。研究者たちは、より複雑な脳（非線形プローブ）を使用することでAIを「より深く考えさせる」と、コドンモデルの性能がさらに向上することに気づきました。これは「深さのシグネチャ（depth signature）」と呼ばれました。まるでAIが秘密の信号を見つけるために、より深く掘り下げているかのように見えたのです。

しかし、著者ら自身がさらに深く掘り下げました。彼らは、この「深さのシグネチャ」もまたトリックであることを突き止めました。この「深さのシグネチャ」は、テストを構築するために使用された特定のソフトウェアツール（特定の乱数生成器やデータの整理方法など）が、偶然にもAIを助けていたことが原因でした。これらのソフトウェアの癖を取り除き、クリーンで標準的なセットアップを使用したところ、「深さのシグネチャ」は消滅しました。AIが得た追加のポイントは、生物学を理解した結果ではなく、テスト自体にわずかなバイアスがあったことによるものでした。

「ベスト・エポック」のショートカット

調査はそこで終わりませんでした。著者らは、AIが単に「良い」か「悪い」かを予測するだけでなく、数値（遺伝子がどれだけのタンパク質を作るかなど）を予測するように求められた際に、特に巧妙で卑怯な、二つ目のテストの不正を見つけました。

これらの数値予測タスクにおいて、古いテストでは、AIが学習している最中に最終的な答えを覗き見ることができていました。想像してみてください。ある生徒が模擬試験を受けていますが、問題に間違えるたびに、先生が次の問題に進む前に正解をささやくのです。その後、その生徒は、その模擬試験で最も高いスコアを出したバージョンの自分の脳を選び出し、自分が天才であると主張します。

著者らはこれを**「ベスト・エポック選択バイアス（Best-Epoch Selection Bias）」と呼びました。AIは、自分自身のどのバージョンが「ベスト」であるかを判断するために、テストセットを覗き見ることが許されていたのです。彼らが、実際のテストセットではなく、隠された練習用セット（バリデーションセット）に基づいて最高のバージョンを選ぶように強制することで、このショートカット**を阻止したところ、劇的な性能向上は消え去りました。実際、いくつかのタスクでは、AIの性能は大幅に低下しており、以前の「成功」が単にAIがテストの答えを暗記していたことの証明となりました。

最終判決：魔法ではなく、ただのノイズ

著者らは、真実が残っているかどうかを確認するために、最後の手を試みました。彼らはコドンをランダムに並べ替えました（タンパク質は同じに保ちつつ、それを綴るための「言葉」を変更しました）。もしAIが本当に秘密の言語を読んでいるのであれば、言葉を並べ替えるとスコアが下がるはずです。

最初、スコアは下がったように見えました。しかし、著者らが拡大鏡（プール統計）を用いてデータを精査したところ、その低下は単なるランダムなノイズであることが分かりました。その差は極めて小さく（0.3パーセントポイント）、統計的に無意味でした。それは、コインを投げて、3回連続で表が出たからといってパターンを見つけたと思い込むようなものです。

これが意味すること

この論文は、有害なDNAの変化を予測する上でのコドン言語モデルの明白な優位性は、テストの設定方法によって作り出されたアーティファクト（人工物）、つまり蜃気楼であると結論付けています。

• 主張： コドンモデルはDNAの秘密の言語を読み取るのが得意である。
• 現実： 厳格でリークのないテスト条件下では、そうではない。彼らが読み取っているとされる信号は非常に微弱（約0.04ビットの情報量）であり、現在のAIモデルやデータサイズでは、ノイズの中から確実にそれを見つけ出すことはできない。

著者らは、秘密の言語が存在しないと言っているわけではありません。ただ、現在のツールは、それを聞き取るにはノイズが多すぎるのだと言っています。彼らは、将来の科学者が幽霊を追いかけるのではなく、真の信号を探せるように、遺伝子の記憶や答えの覗き見といったショートカットを防ぐ、新しい公正なテスト環境であるCodonBenchを構築しました。

要するに、AIモデルは私たちが考えていたほど賢かったのではなく、テストが簡単すぎただけなのです。今、テストがより難しくなったことで、モデルは単に名前や答えを記憶するのではなく、コードを実際に読み取れることを証明しなければなりません。