🧬 biology

Mind the Gap No More: Achieving Zero-Gap Multimodal Integration via One Tokenizer

本論文は、すべての入力を統一されたトークン空間にマッピングすることで幾何学的なモダリティのギャップを解消し、DNA-テキストタスクにおいて従来のモジュラーアプローチを上回る優れた深層推論を可能にするネイティブなマルチモーダルアーキテクチャ「One Tokenizer」を提案する。

原著者： Yanan Li, Christina Yi Jin, Yuan Jin, Manli Luo, Tie Xu, Shuai Jiao, Wei He, Qing Zhang

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yanan Li, Christina Yi Jin, Yuan Jin, Manli Luo, Tie Xu, Shuai Jiao, Wei He, Qing Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ⚕️ これは査読を受けていないプレプリントのAI生成解説です。医学的助言ではありません。この内容に基づいて健康上の判断をしないでください。免責事項の全文を読む

「Mind the Gap No More: Achieving Zero-Gap Multimodal Integration via One Tokenizer」という論文を、平易な言葉と創造的な比喩を用いて解説します。

大きな問題：データタイプ間の「言語の壁」

完璧な英語を話す天才的な通訳者（大規模言語モデル、LLM）がいると想像してください。さて、この通訳者に同時に 2 つの非常に異なるものを理解させたいとします。

テキスト：英語で書かれた物語。
DNA：文字（A、C、T、G）で構成された生物学的なコード。

従来の方法（モジュラー型アーキテクチャ）：
現在、ほとんどの AI システムは、このタスクを 2 人の別々の専門家を採用することで処理しています。

専門家 A は DNA を読み、秘密のコードで要約を書きます。
専門家 B は英語の物語を読みます。
彼らはそれぞれ自分のメモを通訳者に渡します。

問題は何でしょうか？専門家 A と専門家 B は異なる「言語」を話し、異なるスタイルでメモを書きます。彼らがメモを通訳者に渡すとき、通訳者はその 2 つの異なるメモをどうやって組み合わせるか理解しようと、膨大な脳力を使わなければなりません。まるで四角い杭を丸い穴に無理やり嵌めようとするようなものです。AI は常にその違いを「調整」する必要があり、これはエネルギーの浪費につながり、しばしば誤解を招きます。この 2 つのメモの間の差異こそが、著者たちが**「モダリティギャップ」**と呼ぶものです。

新しい解決策：「ワン・トークナイザー」

著者たちは、過激な新しいアイデアを提案します。専門家を雇うのをやめ、最初から通訳者にすべてを同じ言語で読ませるように教えましょう。

彼らはワン・トークナイザーと呼ばれるシステムを構築しました。DNA を翻訳するために別々の専門家を使う代わりに、DNA の「単語」を直接通訳者自身の辞書に追加しただけです。

これで、AI が DNA 配列を見たとき、翻訳を必要とする外国のコードとしてではなく、「cat」や「run」という単語を見るのと同じように、ネイティブの単語として認識します。
DNA と英語のテキストの両方が、AI の脳内では全く同じ種類の「トークン（デジタル単語）」として入力されます。

「ゼロギャップ」の比喩：広間 vs 2 つの部屋

なぜこれが優れているのか理解するために、AI の脳を多くの階層（レイヤー）を持つ建物だと想像してください。

従来の方法（2 つの部屋）：1 階では、DNA は部屋 Aに、テキストは部屋 Bに住んでいます。その間には厚く、突破不可能な壁があります。情報が上層階へ移動するにつれ、AI は部屋同士をつなぐために橋を建て続けなければなりません。最上階に至っても、2 つのグループはわずかに分離したままであり、AI はその橋を架けようとするのに疲れ果てています。
新しい方法（1 つの広間）：ワン・トークナイザーでは、分離された部屋はありません。DNA とテキストは、最初のステップから巨大な広間のすべてに存在します。それらは自然に混ざり合います。同じ空間から始まったため、最上階に至るまで一緒に留まります。架けるべき壁がないため、AI は幾何学や翻訳にエネルギーを浪費するのではなく、物語と DNA の意味を理解することに完全に集中できます。

彼らは何を証明したか？

この論文は、数学と実験に基づき、2 つの主要な主張を掲げています。

数学的証明：著者たちは幾何学を用いて、2 つの別々の語彙（従来の方法）から始めれば、それらの間に常に閉じることが難しいギャップが存在することを証明しました。しかし、1 つの共有語彙（新しい方法）を使用すれば、ギャップは数学的に最初からゼロであり、AI の深い層を通じてゼロのまま維持されます。
実験：彼らはDNA とテキストを用いてこれをテストしました（DNA はテキストと同様に離散的な文字で構成されているため、完璧なテストケースとなります）。
- 彼らは従来の「専門家」方式に対して、自らの「ワン・トークナイザー」を比較しました。
- 結果：「ワン・トークナイザー」は推論において著しく優れていました。それは単に推測するだけでなく、2 つの異なる言語を無理やり合わせようとするという気晴らしに惑わされなかったため、生物学的な論理をより深く理解しました。

結論

この論文は、異なる種類のデータ（生物学と言語など）を組み合わせる真に賢い AI を作るためには、最後にそれらをパッチワークのように繋ぎ合わせるべきではないと主張しています。その代わりに、最初から単一の統合システムとして構築すべきです。AI にすべてのものに対する単一の辞書を与えることで、その速度を落とす「ギャップ」を取り除き、深く正確に推論することを可能にします。

要約すれば：2 つの島々の間に橋を架けるのではなく、すべてが自然に共存できる 1 つの大きな島を建設しましょう。

技術的サマリー：Mind the Gap No More：One Tokenizer によるゼロギャップ多モーダル統合の達成

問題定義

マルチモーダル大規模言語モデル（MLLM）の開発は、連続的な視覚信号や離散的な生物学的配列などの異質な入力を、統合された推論エンジンに効果的に統合するという中心的な課題に直面しています。現在のパラダイムは主にモジュラーアーキテクチャに依存しており、モダリティ固有のエンコーダが表現を抽出し、その後、クロスモーダル・プロジェクトアを介して LLM の共有潜在空間にマッピングされます。

著者らは、このアプローチにおける根本的なボトルネックとしてモダリティギャップを特定しています。モダリティ固有のエンコーダは独立して最適化されるため、データを潜在空間内の孤立した部分多様体に埋め込みます。この幾何学的な分離により、LLM は深いクロスモーダル推論を行うのではなく、「幾何学的な調和」（分離した空間の整合合わせ）に多大な計算容量を費やさざるを得なくなります。最近の「プラグアンドプレイ」アプローチはスケーリングを容易にしましたが、それらは本質的に深い相互作用を先送りし、強制整合化以前に厳密な表現境界を維持しています。

手法：One Tokenizer

モジュラー設計の幾何学的限界に対処するため、本論文はすべてのモダリティを統一された語彙を用いて直接共有トークン空間にマッピングするネイティブアーキテクチャであるOne Tokenizerを提案します。

理論的枠組み

著者らは、コヘンの d に着想を得た正規化ユークリッド距離に基づく統計的枠組みを用いてモダリティギャップを形式化しました。これは、2 つのモダリティの期待表現（重心）間の距離を、それらのモダリティ内分散で正規化したものとして定義されます。

補題 1（埋め込みレベルのギャップ）： 著者らは、モジュラーアーキテクチャが、独立した部分空間における独立した初期化に起因し、埋め込み層において本質的に厳密に正の初期ギャップを被ることを証明します。一方、統一語彙を採用するネイティブアーキテクチャは、すべてのトークンが単一の基礎分布を共有するため、語彙サイズが増加するにつれて期待される初期ギャップをゼロに駆動します。
定理 1（層ごとのギャップ保存）： LLM 層のリプシッツ連続性を仮定し、著者らは初期幾何学的状態が深い表現の挙動を決定することを示します。モジュラー設計における初期ギャップは順方向パス全体で厳密に保存され、持続的な計算負担を課します。対照的に、ネイティブアーキテクチャのゼロギャップ初期化は、すべての隠れ層にわたって本質的に統合された表現空間を保証し、事後の幾何学的整合合わせの必要性を排除します。

実証的テストベッド：DNA-テキストモデリング

連続データ（画像など）のトークナイズに伴う交絡ノイズなしにこれらの理論的主張を検証するため、著者らは本質的に離散的なモダリティであるDNA とテキストを利用します。

One Tokenizer の実装： この手法は、事前学習済み LLM の語彙（ $V_{text}$ ）を離散的な DNA $k$ -mer 語彙（ $V_{DNA}$ ）に拡張して、統一空間 $V = V_{text} \cup V_{DNA}$ を作成します。両方のモダリティは、単一の埋め込み層を介して直接共有潜在空間にマッピングされ、モダリティ固有のエンコーダや投影パラメータは一切不要です。
ベースライン： 本研究では、One Tokenizer を以下のベースラインと比較します：
1. モジュラーベースライン： 遺伝子特徴をテキストと整合させるために投影層または Q-former を使用する BioReason と ChatNT。
2. SeqCLIP： 生成前に明示的に意味的整合を強制するために DNA-テキストペアに対して対照学習（InfoNCE 損失）を適用する強化されたベースライン。

主な貢献

理論的保証： 本論文は、統一語彙を持つネイティブアーキテクチャがすべての層にわたってゼロギャップ状態を達成し厳密に保存することを数学的に証明しており、モジュラー設計に本質的に内在する幾何学的ボトルネックを根本的に排除します。
制御された評価： 著者らは、連続データに関連するトークナイズのアーティファクトからアーキテクチャの推論能力を分離するために、離散モダリティ（DNA とテキスト）を用いたノイズフリーのテストベッドを確立しました。
実証的優位性： 広範な評価により、ネイティブ統合が、複雑な対照整合メカニズムで強化されたものを含むモジュラーベースラインを一貫して上回ることを示しています。

実験結果

著者らは、モデルを 2 つのベンチマークで評価しました。ヌクレオチドトランスフォーマー（NT）ベンチマーク（分類）とKEGG 派生生物学的推論データセット（複雑な推論）です。

モダリティギャップ分析： 層全体にわたる潜在埋め込みの実証的分析は、理論的限界を確認します。モジュラーアーキテクチャは、初期層で著しいギャップを示し、それが深い層まで持続するため、モデルは幾何学的な調和に深さを費やさざるを得ません。一方、One Tokenizer は、ネットワーク全体を通じて大幅に減少した初期ギャップと高いクロスモーダル KNN 割合を維持し、シームレスな統合を維持します。
分類性能：
- NT ベンチマーク（18 タスク）において、One Tokenizer は平均 Matthews 相関係数（MCC）で0.62という最高値を達成し、モジュラーベースライン（BioReason: 0.54, ChatNT: 0.55）および対照的な SeqCLIP（0.56）を上回りました。
- KEGG ベンチマーク（37 疾患クラス）において、One Tokenizer は99.31%という最先端の精度と95.24の F1 スコアを達成し、精度と F1 スコアの間に不整合が見られたモジュラーベースラインを大幅に上回りました。
推論性能： LLM-as-a-judge プロトコルを用いて、One Tokenizer は10.53の推論スコアを達成し、モジュラーベースライン（例：SeqCLIP は約 8.55）と比較して、真値の上限（14.03）へのギャップを大幅に縮小しました。ケーススタディにより、モジュラーモデルはドメイン一貫性の欠如した推論や表面的な関連付けへの依存に苦しむことが多く、One Tokenizer は一貫した段階的な生物学的推論を促進することが明らかになりました。

意義と主張

本論文は、「モダリティギャップ」が単なるより良い整合モジュールで解決可能なエンジニアリング課題ではなく、モジュラーアーキテクチャの根本的な構造的限界であると主張しています。統一語彙パラダイムへの転換により、MLLM はネイティブ潜在幾何学内で「シームレスな統合」を達成できると著者らは論じます。

この研究の意義は、離散配列の場合、複雑な整合モジュールを構築するよりもネイティブ統合の方がより単純かつ強力な経路であることを実証した点にあります。結果は、共有トークン空間の幾何学的統一性が、LLM に事前学習されたゼロショットおよび論理的推論能力を生物学的配列に直接拡張させ、「翻訳」を必要とする「異質な」実体として扱うのではなく、可能にすることを示唆しています。著者らは、統一されたトークナイズ空間が、深い生物学的推論のための本質的に優れた枠組みを提供すると結論付けています。

限界： 著者らは、本研究が視覚のような連続信号に内在するトークナイズノイズを回避するために離散記号モダリティを利用したことを指摘しています。重要な将来の方向性は、連続モダリティのベクトル量子化アーティファクトを処理する際に、このシームレスな統合が維持されるかどうかを調査することです。さらに、理論的限界はギャップの進化を特徴付けていますが、大規模スケールの事前学習レジームにおける潜在幾何学をまだ完全に探求しているわけではありません。