SemHiTok: A Unified Image Tokenizer via Semantic-Guided Hierarchical Codebook for Multimodal Understanding and Generation

本論文は、セマンティックな高次元特徴とピクセルレベルの低次元特徴をそれぞれ独立した階層的なコードブックで表現する「SemHiTok」という新しいユニファイド画像トークナイザーを提案し、マルチモーダルな理解と生成の両方のタスクにおいて優れた性能を実現することを示しています。

要約

セムヒトック（SemHiTok）：画像を「意味」と「細部」の両方で理解する新しい翻訳者

この論文は、AI が画像を「見る（理解する）」ことと「描く（生成する）」ことの両方を、たった一つの仕組みで非常にうまくやる方法を紹介しています。

タイトルは**「SemHiTok」**。これは「意味（Semantic）」と「階層的（Hierarchical）」を組み合わせた名前です。

🎨 従来の問題：「大まかな意味」か「細部まで正確」か、二者択一だった

これまでの AI には、画像を扱う際に大きなジレンマがありました。

1. 理解する AI（CLIP など）：

   • 得意なこと： 「これは犬だ」「これは夕日だ」といった大まかな意味をすぐに理解する。
   • 苦手なこと： 犬の毛並みの質感や、空のグラデーションのような細かなピクセル情報は捨ててしまう。
   • 例え： 料理のレシピの「味」や「雰囲気」は完璧に理解できるが、実際に料理を作ると、具材の形が崩れていたり、味が薄かったりする。

2. 描く AI（VQGAN など）：

   • 得意なこと： 写真のように細部まで正確に描き出す。
   • 苦手なこと： 「これは何の絵か？」という意味を理解するのが苦手。
   • 例え： 職人技で超リアルな料理を再現できるが、「これは何の料理か？」と聞かれると「わかりません」と答えられない。

これまでの研究では、この 2 つを無理やり合体させようとしましたが、まるで「水と油」を混ぜようとして、どちらの性能も中途半端になってしまうことが多かったのです。

💡 解決策：SemHiTok の「辞書と辞書」の仕組み

SemHiTok は、この問題を**「意味の辞書」と「細部の辞書」を階層的に組み合わせる**という、とても賢い方法で解決しました。

📚 アナロジー：「料理のレシピ」と「材料の袋」

SemHiTok の仕組みを料理に例えてみましょう。

1. 第一段階：意味の辞書（Semantic Codebook）

   • まず、AI は画像を見て「これは鶏肉だ」という大まかな意味を特定します。
   • これに対応する「意味の辞書」から、「鶏肉」のコードを選びます。
   • この段階では、まだ「どんな鶏肉か（皮がパリパリか、柔らかいか）」までは決まっていません。

2. 第二段階：細部の辞書（Pixel Sub-codebook）

   • ここが SemHiTok のすごいところです。
   • 「鶏肉」という意味のコードが決まると、AI は自動的に**「鶏肉専用の細部辞書」**を開きます。
   • この辞書には、「鶏肉のパリパリした皮」「柔らかい身」「焦げ目」など、鶏肉に関連する細かなテクスチャ（質感）の選択肢が詰まっています。
   • AI はこの中から、画像に合う最も適切な「質感」を選びます。

つまり、SemHiTok は「何の絵か（意味）」を決めた後で、その意味に合った「細かな描写（質感）」を、専用の辞書から選び取るのです。

🚀 なぜこれが素晴らしいのか？

1. 訓練がスムーズ（水と油を混ぜない）

従来の方法は、意味と細部を同時に学ぼうとして混乱していましたが、SemHiTok は**「まず意味を覚え、その後に細部を覚える」**という順番（段階的な訓練）で学習します。

• 例え： まず「料理の名前と基本の味」を完璧に覚え、その後に「盛り付けの細かなコツ」を学ぶようなものです。これにより、両方の能力が最大限に発揮されます。

2. 無駄がない（辞書のサイズを節約）

もし「意味」と「細部」を別々の辞書として持っていたら、辞書のサイズが膨大になりすぎて AI が重たくなってしまいます。

• SemHiTok は、「意味の辞書」の各項目に、小さな「細部の辞書」をくっつける形をとっています。
• これにより、辞書の総サイズは大きくならず、AI の頭脳（メモリ）を圧迫することなく、高品質な画像を扱えます。

3. 理解も生成も最強

実験の結果、SemHiTok を使った AI は：

• 画像認識： 「これは何？」という質問に、従来の最高峰のモデルに匹敵する正解率で答えます。
• 画像生成： 「犬の絵を描いて」という指示で、写真のようにリアルな犬を描き出します。
• 統一性： 理解と生成の両方を、同じ「単語（トークン）」の並びで処理できるため、AI の設計がシンプルで効率的になります。

🌟 まとめ

SemHiTok は、AI に**「大まかな意味」と「細かな質感」の両方を、自然で効率的に学ばせる**ための新しい「翻訳辞書」です。

これまでは「意味を理解する AI」と「絵を描く AI」は別々の専門家でしたが、SemHiTok は**「意味も細部も完璧に理解し、描き出すことができる万能な芸術家」**を誕生させました。これにより、未来の AI は、私たちがイメージするものをより正確に理解し、より美しい形で表現できるようになるでしょう。

技術概要

SemHiTok: 意味導出階層的コードブックによるマルチモーダル理解と生成のための統一画像トークナイザ

本論文は、ICLR 2026 にて発表された「SemHiTok（Semantic-Guided Hierarchical Codebook）」という新しい統一画像トークナイザを提案するものです。マルチモーダル大規模言語モデル（MLLM）において、「高レベルの意味理解」と「低レベルのピクセル生成」の両立という長年の課題を解決し、両タスクで卓越した性能を発揮するアーキテクチャを構築しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

---

1. 背景と問題定義

近年、自己回帰モデルを用いたマルチモーダル理解と生成の統合（Unified MLLM）が注目されています。しかし、既存のアプローチには以下のような根本的な課題が存在します。

• 特徴の乖離:
  • 理解タスク: CLIP などのテキスト整合型視覚エンコーダは高レベルな意味情報を捉えるが、ピクセルレベルの詳細（テクスチャや色）を失いやすい。
  • 生成タスク: VQGAN などのモデルはピクセル再構成に優れるが、高レベルな意味特徴の抽出が不十分である。
• 既存の統合手法の限界:
  • 意味損失とピクセル再構成損失を同時に最適化する「Joint Training（共同学習）」を行う手法（例：VILA-U, SDE）は、異なるレベルの特性を同時に学習させるため、最適解に収束しにくく、サブオプティマルな結果になりがちです。
  • 意味と生成を完全に分離する Dual-Encoder 方式（例：Janus）は、トークン数の倍増や語彙の爆発的な増加を招き、計算コストと実用性の面で課題があります。

核心的な課題: 意味レベルとピクセルレベルの情報を、MLLM フレームワークへの統合を損なうことなく、どのように効果的にバランスさせるか。

2. 提案手法：SemHiTok

SemHiTok は、**意味導出階層的コードブック（Semantic-Guided Hierarchical Codebook: SGHC）**を中核としたユニークな階層構造を採用しています。

2.1 階層的コードブック（SGHC）の設計

従来の単一のコードブックではなく、以下の 2 段階の構造を構築します。

1. 意味コードブック（Semantic Codebook）:
   • 事前学習されたテキスト整合型エンコーダ（SigLIP など）から抽出された連続的な意味特徴を離散化します。
   • これにより、高レベルな意味情報（物体の種類、シーン文脈など）を保持します。
2. ピクセルサブコードブック（Pixel Sub-Codebooks）:
   • 重要な洞察: 同じ意味コードに割り当てられる画像パッチは、ピクセルレベルの特徴（色、パターン、形状）も類似しているという観察に基づいています。
   • 各意味コードに対して、専用の「ピクセルサブコードブック」を割り当てます。
   • 意味量子化の結果（インデックス $k$）に基づいて、対応するサブコードブック $C_{pix}^k$ を選択し、その中でピクセル特徴を量子化します。

2.2 トレーニング戦略：段階的最適化（Phased Training）

Joint Training の弊害を回避するため、段階的なトレーニングを採用します。

1. 第 1 段階（意味コードブックの学習）:
   • 意味特徴の離散化に特化し、意味蒸留損失（Semantic Distillation Loss）のみで最適化します。
2. 第 2 段階（ピクセル再構成の能力付与）:
   • 意味コードブックを固定（または凍結）し、ピクセルサブコードブックとデコーダのみを、再構成損失（L1, 知覚損失, 敵対的損失）で最適化します。
   • これにより、意味情報を損なうことなく、高周波数詳細（テクスチャ）を学習できます。

2.3 統一 MLLM への統合

• フラット化: 意味コードとピクセルサブコードを次元方向に結合し、単一の離散トークン系列として扱います。
• アダプタ層: 意味特徴とピクセル特徴をそれぞれ投影し、結合して LLM に投入する「Dual-MLP アダプタ」を導入し、2 段階の情報を効果的に統合します。
• 結果: 既存の MLLM アーキテクチャ（LLaVA や Qwen など）に、特別な構造変更なしにシームレスに統合可能です。

3. 主要な貢献

1. 新しい統一トークナイザの提案:
   • 意味情報とピクセル情報のトレードオフを成功させ、画像再構成とマルチモーダル理解の両方で SOTA（State-of-the-Art）性能を達成しました。
2. 高性能な統一 MLLM アーキテクチャ:
   • SemHiTok を搭載した MLLM は、理解タスクと生成タスクの両方で、専門特化モデルや既存の統一モデルを上回る汎用性を示しました。
3. 分散学習戦略の検証:
   • 意味とピクセルの構造と学習戦略を分離することで、Joint Training が抱える最適化の難しさを回避し、より効率的な表現能力を実現しました。

4. 実験結果

4.1 画像再構成性能（ImageNet-50k）

• SemHiTokは、rFID 1.16（256 解像度）を記録し、VILA-U や SDE などの既存の統一トークナイザを凌駕しました。
• 解像度を 384 に上げると rFID 0.66 まで改善し、専門的な再構成モデル（IBQ など）と同等かそれ以上の性能を示しました。
• 語彙サイズは約 196k ですが、これは構造的な効率性（SGHC）によるものであり、単なる語彙の爆発的増加によるものではありません。

4.2 マルチモーダル理解性能（LLaVA-v1.5 セットアップ）

• POPE, MME-P, SEED, GQA などの主要ベンチマークにおいて、離散トークナイザの中では SOTA 性能を達成しました。
• 連続入力モデル（SigLIP 等）に匹敵する性能を達成し、離散トークンと連続トークンの間の性能ギャップを埋めました。
• 既存の統一モデル（VILA-U, TokenFlow）や、より強力なベースモデルを使用する TokLIP とも比較され、SemHiTok が優位であることを示しました。

4.3 テキストから画像への生成性能

• GenAI-BenchとMJHQ30Kでの評価において、専門的な拡散モデル（SDXL など）や他の統一モデル（Liquid, UniTok）と競合する、あるいは上回る性能を示しました。
• 特に MJHQ30K における gFID は 5.40（256 解像度）で、自己回帰生成モデルとして SOTA を更新しました。

5. 意義と結論

SemHiTok は、マルチモーダル大規模モデルの分野において、「理解」と「生成」の両立という難問に対する画期的な解決策を提供します。

• 技術的意義: 意味とピクセルの階層的な分離と、段階的学習戦略の組み合わせにより、従来の Joint Training が抱える「トレードオフのジレンマ」を回避しました。
• 実用性: 既存の MLLM フレームワークに容易に統合でき、トークン数の増加や複雑なアーキテクチャ変更を必要としないため、スケーラビリティに優れています。
• 将来展望: 画像編集や多回会話など、より複雑なタスクへの適用や、モデルの圧縮率の向上など、今後の研究の基盤となる可能性を秘めています。

本論文は、離散トークンベースのマルチモーダルモデルが、連続モデルに匹敵する、あるいはそれ以上の能力を持つことを実証し、今後の研究の方向性を大きく前進させるものです。