UniWeTok: An Unified Binary Tokenizer with Codebook Size $\mathit{2^{128}}$ for Unified Multimodal Large Language Model

本論文は、$2^{128}$ の巨大なバイナリコードブックと独自のトレーニング手法を組み合わせることで、高忠実度な再構成、複雑な意味抽出、生成適性を同時に実現し、多様なマルチモーダルタスクにおいて最先端のパフォーマンスを達成する統合バイナリトークナイザー「UniWeTok」を提案するものである。

要約

UniWeTok：画像を「超コンパクトなデジタルの粒」に変える魔法の技術

こんにちは！今日は、ByteDance（バイトダンス）などの研究チームが発表した**「UniWeTok（ユニウェトック）」**という画期的な技術について、難しい専門用語を使わずに、わかりやすく解説します。

🎨 何ができるの？「3 つの仕事を 1 つの道具で」

これまでの AI 画像技術には、こんな悩みがありました。

1. 高画質に復元したい（元の写真と見分けがつかないくらい）
2. 意味を理解したい（「猫が寝ている」という内容を理解する）
3. 新しい絵を描きたい（「猫が宇宙にいる絵」を描く）

これらは、それぞれ「別の道具」や「別の技術」が必要で、バラバラに扱われることが多かったんです。でも、UniWeTok は**「高画質」「意味理解」「描画」の 3 つを、たった 1 つの技術で完璧にこなす**という、まるで「瑞士軍刀（マルチツール）」のような存在なんです。

---

🔍 仕組みの核心：「巨大な辞書」と「デジタルの粒」

UniWeTok の魔法の正体は、**「画像を、小さなデジタルの粒（トークン）に変えること」**にあります。

1. 巨大な辞書（コードブック）

普通の辞書が 1 万語なら、UniWeTok が使う辞書は**「2 の 128 乗」**という、想像もつかないほど巨大な数の言葉（コード）を持っています。

• イメージ： 普通の辞書が「赤」「青」「丸」といった単語しか載せていないのに対し、UniWeTok の辞書は「夕焼けのオレンジ色」「猫の毛並みの質感」「遠くの山のかすみ」といった、**細部まで表現できる数百万の「色と質感の粒」**をすべて持っています。
• これのおかげで、画像を極限まで小さく圧縮しても、元の美しさを失わずに済みます。

2. 75% もの圧縮率

UniWeTok は、画像を**「32 倍」も小さく**圧縮します。

• 例え話： 100 枚の写真を 1 枚のアルバムに収めるようなものです。しかも、中身はくっきりと残っています。
• これにより、AI が画像を処理する時の計算量が激減し、非常に高速で効率的になります。

---

🏗️ 3 つの魔法のテクニック

このすごい性能を実現するために、研究チームは 3 つの工夫をしました。

① 先生と生徒の「二重の勉強法」（Pre-Post Distillation）

• 状況： 画像を「粒」に変える際、ただ形を保存するだけでは、AI が「これは猫だ」という意味を理解できません。
• 解決策： すでに賢い「先生 AI（意味を理解するモデル）」を用意し、UniWeTok を「生徒」として教えます。
  • 勉強前： 先生が「これは猫の形だ」と教える。
  • 勉強後： 先生が「これは猫の『意味』だ」と教える。
• この「前と後」の両方を教えてあげることで、UniWeTok は**「形」だけでなく「意味」も同時に覚える**ようになります。

② 未来を予知する「先回り学習」（Generative-Aware Prior）

• 状況： 画像を「粒」に変えるだけなら簡単ですが、その粒から「新しい絵」を描くのは難しいです。
• 解決策： 訓練中に、**「この粒の次に来る粒は何か？」**というゲームをさせます。
• イメージ： 将棋の棋士が、次の手を予測して指すように、UniWeTok も「次にどんな粒が来るか」を予測する癖をつけさせます。これにより、後から新しい画像を描くのが非常にスムーズになります。

③ 特殊な「活性化関数（SigLu）」とハイブリッド構造

• 問題： 通常、画像の形を保存しようとすると意味が崩れ、意味を理解しようとすると形が崩れるという「板挟み」が起きます。
• 解決策：
  • SigLu（シグル）： 出力を「-1 から 1」の範囲に優しく抑える特殊なフィルター。これにより、意味と形のバランスが崩れなくなります。
  • ハイブリッド構造： 画像の「細かい模様（CNN）」と「全体の雰囲気（Transformer）」の両方を得意とする、二刀流の構造を採用しました。

---

🚀 どれくらいすごい？（実績）

この技術を使うと、以下のような驚異的な結果が得られました。

• 画像生成： 従来のトップモデル（REPA など）と比べて、画質は同等かそれ以上なのに、必要な計算量は 1/8 以下（330 億トークン vs 2620 億トークン）で済みます。
  • 例え話： 高級レストランで同じレベルの料理を出せるのに、材料費が 1 割で済むようなものです。
• 画像編集・理解： 「背景を海に変えて」「この文字を読み取って」といった指示にも、非常に高い精度で答えます。
• 多様なサイズ： 256 画素の小さな画像から、1024 画素以上の大きな画像まで、サイズを変えずにそのまま処理できます。

---

🌟 まとめ

UniWeTok は、**「画像を極限まで小さく圧縮しながら、その中に『形』『意味』『描画のヒント』をすべて詰め込んだ、究極のデジタルの粒」**を作る技術です。

これにより、これまでは別々の AI がやっていた「画像を見ること」と「画像を描くこと」を、1 つの AI が完璧にこなせるようになりました。これからの AI 画像生成や、ロボットが視覚を認識する世界において、非常に大きな一歩となる技術です。

まるで、**「1 つの小さな箱に、世界全体の景色と物語、そして新しい絵を描く魔法までを詰め込んだ」**ような技術だと言えます。

技術概要

UniWeTok: 統一バイナリトークナイザ（コードブックサイズ 2^128）による統合マルチモーダル大規模言語モデル

本論文は、ByteDance、上海交通大学、香港中文大学（MMLab）などの共同研究チームによって提案された、UniWeTok という新しい視覚トークナイザに関するものです。この技術は、高忠実度な再構成、複雑な意味抽出、そして生成タスクへの適応性という、従来は矛盾していた 3 つの目標を単一のフレームワークで達成することを目的としています。

以下に、論文の技術的要点を問題定義、手法、主要な貢献、実験結果、そして意義の観点から詳細にまとめます。

---

1. 問題定義 (Problem)

統一マルチモーダル大規模言語モデル（Unified MLLM）の構築において、視覚表現（トークナイザ）は以下の 3 つの要件を同時に満たす必要があります。

1. 高忠実度な再構成: 画像の細部を失わずに復元できること。
2. 複雑な意味抽出: 画像のセマンティックな情報を理解できること。
3. 生成への適応性: 生成モデル（次のトークン予測など）において安定して動作すること。

既存の課題:

• 連続トークナイザ: 誤差の蓄積や自己回帰生成時のモード崩壊（mode collapse）の問題があり、ロバスト性に欠ける。
• 離散トークナイザ（VQ 系）: 再構成品質が低く、情報損失が大きいという歴史的な批判があった。
• 大規模コードブックの限界: 最近の LFQ や BSQ などの手法でコードブックサイズを 2^128 まで拡大する試みはあるが、これらは主に再構成に特化しており、下流の生成タスクやマルチモーダル理解タスクへの適応性が不十分であった。また、テキストから画像への生成（Text-to-Image）におけるコードブックサイズは依然として 2^32 に制限されているケースが多い。

2. 手法 (Methodology)

UniWeTok は、32 倍の空間ダウンサンプリングを実現しつつ、2^128 という巨大なバイナリコードブックを維持する離散トークナイザです。以下の 3 つの主要な技術的革新によって実現されています。

A. 学習フレームワークの革新

1. Pre-Post Distillation (PPD):
   • 事前学習済みのセマンティックエンコーダ（教師モデル）を用いて、エンコーダの出力（Pre）とデコーダの再構成後の特徴（Post）の両方を教師のセマンティック特徴に一致させる蒸馏損失を導入しました。
   • これにより、離散トークンが単なる画素の圧縮ではなく、意味的な概念を抽出できるようになります。
2. Generative-Aware Prior (GAP):
   • 離散トークンの生成タスクへの適応性を高めるため、軽量な生成モデル（BitDance のようなもの）を併用し、トークン列の次のトークン予測（Diffusion タスク）を学習させる損失を導入しました。
   • これにより、モデルは学習段階で「生成」の目的を認識し、下流の生成タスクで高性能を発揮する潜在空間を形成します。

B. モデルアーキテクチャの革新

1. ハイブリッド・バックボーン:
   • 畳み込み（CNN）の局所的な帰納的バイアスと、トランスフォーマー（Attention）の広範な受容野を組み合わせるハイブリッド構造を採用しました。
   • これにより、テクスチャの詳細（CNN の得意分野）とグローバルな文脈（Attention の得意分野）の両方を効率的に捉えます。
2. SigLu 活性化関数:
   • 従来の Commitment Loss（符号化された値への厳密な拘束）と Token Entropy Loss（分布の均一化）の間の最適化の矛盾を解決するため、SigLu(x) = (1 - e^x) / (1 + e^x) という活性化関数をエンコーダの最終層に導入しました。
   • SigLu はエンコーダの出力を [-1, 1] の範囲に自然に制限し、Commitment Loss を不要にすると同時に、Token Entropy Loss との整合性を保ち、セマンティックな蒸馏を安定して行えるようにします。

C. 3 段階のトレーニングパイプライン

1. Stage 1: 大規模な一般ドメインデータ（256x256）での事前学習。
2. Stage 2: 多解像度（Multi-resolution）での継続学習。
3. Stage 3: 知覚的に敏感な領域（顔、テキストなど）に特化したアンニリング学習。
   • この段階的なアプローチにより、可変解像度や複雑なシーンへの頑健な適応を可能にしています。

3. 主要な貢献 (Key Contributions)

• 統一された離散トークナイザの提案: 2^128 という巨大なコードブックサイズを持ちながら、再構成、意味理解、生成の 3 つを同時に達成する初のフレームワーク。
• SigLu 活性化関数の導入: 離散化における最適化の矛盾を解決し、大規模コードブック下でのセマンティックな意味抽出を可能にした。
• 高効率なトレーニング: 既存の SOTA モデル（REPA など）と比較して、はるかに少ないトレーニングトークン数（33B トークン vs 262B トークン）で同等以上の性能を達成。
• オープンソース化: コードとモデルを公開し、コミュニティでの統一トークナイザと MLLM の研究を促進。

4. 実験結果 (Results)

UniWeTok は、ImageNet での生成タスク、一般ドメインでの再構成、そして統合 MLLM としての多様なタスクにおいて SOTA を達成しました。

• ImageNet での画像生成:
  • FID: 1.38（REPA の 1.42 を上回る）。
  • トレーニング効率: トレーニングトークン数が 33B と、REPA（262B）に比べて約 1/8 以下で済む。
• 再構成性能:
  • 256x256 画像を 64 トークン（32 倍ダウンサンプリング）に圧縮し、rFID 0.79 を達成。他の主要なトークナイザと比較してトークン数を 75% 削減しながら高品質な再構成を実現。
• 統合 MLLM の性能:
  • 理解タスク: SEED-Bench, POPE, VQAv2 などで競合モデルと同等以上の性能。
  • 生成タスク (Text-to-Image): DPG-Bench で 86.63（FLUX.1 [Dev] の 83.84 を上回る）。
  • 編集タスク (Image Editing): GEdit ベンチマークで 5.09（OmniGen の 5.06 を上回る）。
  • 従来の拡散モデルベースのモデルや、他の自己回帰モデルを凌駕する性能を示しました。

5. 意義と結論 (Significance)

UniWeTok は、単一の最適化されたトークナイザが、複雑な統合 MLLM の課題（理解、生成、編集）をすべて解決し得ることを実証しました。

• 効率性の飛躍的向上: 巨大なコードブックサイズ（2^128）を維持しつつ、計算コストを劇的に削減することに成功しました。
• アーキテクチャの汎用性: 畳み込みと Attention のハイブリッド、および SigLu 活性化関数といった設計は、今後の離散トークナイザや生成モデルの設計指針となる可能性があります。
• 未来への展望: この研究は、テキスト、画像、編集を単一の自己回帰モデルで統一的に処理する「真の統一マルチモーダルモデル」の実現に向けた重要なマイルストーンです。

要約すると、UniWeTok は「高品質な圧縮」「深い意味理解」「柔軟な生成」のジレンマを解消し、計算効率を大幅に向上させた画期的な視覚トークナイザです。