UniCom: Unified Multimodal Modeling via Compressed Continuous Semantic Representations

離散化による情報損失や連続表現の学習不安定性という課題を克服するため、チャネル次元圧縮とトランスフュージョン・アーキテクチャを採用し、高品質な生成と優れた制御性を両立する統合マルチモーダルモデル「UniCom」を提案する論文です。

要約

UniCom：画像と文章を「1 つの言語」で話す新しい AI の仕組み

この論文は、**「UniCom（ユニコム）」**という新しい AI の仕組みについて紹介しています。

これまでの AI は、「画像を見る（理解する）」ことと、「画像を描く（生成する）」ことが、まるで**「日本語とフランス語」のように、別々の仕組みで動いていました。UniCom は、この 2 つを「1 つの共通言語」**でスムーズに繋げ、より高品質で、かつ指示通りに動く画像生成を実現する画期的なアプローチです。

以下に、専門用語を避け、身近な例え話を使って解説します。

---

1. 従来の問題点：「高画質」か「理解力」か、どちらかしか選べなかった

これまでの AI 画像生成モデルには、2 つの大きなジレンマがありました。

• 方法 A（離散トークン化）：
  画像を「レゴブロック」のように小さな断片（トークン）に分解して処理する方法です。

  • メリット： 文章の生成と同じように扱いやすく、計算が安定する。
  • デメリット： レゴに分解する過程で、「微細な質感」や「細かい情報」が失われてしまう。まるで高画質の写真を縮小してピクセル化してしまうようなもので、文字がぼやけたり、肌の質感がなくなったりします。

• 方法 B（連続ベクトル）：
  画像を「滑らかな油絵の具」のように、連続したデータとして扱う方法です。

  • メリット： 高画質で、細部まで忠実に再現できる。
  • デメリット： データが**「重すぎて扱いにくい」**。AI が「この油絵の具から新しい絵を描いてね」と言われても、あまりに複雑すぎて、描き始めに時間がかかったり、絵が崩れたりします。

UniCom は、この「レゴ（失われる情報）」と「油絵（重すぎるデータ）」の中間に、「高圧縮された高品質なデジタルデータ」という新しい解を見つけました。

---

2. UniCom の核心：「圧縮」の魔法

UniCom の最大の特徴は、**「チャンネル圧縮（Channel Compression）」**という技術です。

🧊 氷の例え

想像してください。

• 元の画像は、巨大な**「氷山」**です。
• 従来の「離散化」は、氷山を**「砕いて小さな氷のかけら」**にするようなもので、形は残りますが、氷の「冷たさ（質感）」や「透明感（微細な情報）」が失われます。
• UniCom の「圧縮」は、**「巨大な氷山を、圧縮して小さな氷のキューブに凝縮する」**ようなものです。

「形（サイズ）」は小さくても、「中身（情報）」はほとんど失われません。
UniCom は、画像のデータを「チャンネル（情報の太さ）」を細く圧縮することで、**「重さを減らして扱いやすくしつつ、高画質の情報をすべて保持する」**ことに成功しました。

• 従来のやり方： 画像の「枚数（トークン数）」を減らす → ぼやけてしまう。
• UniCom のやり方： 画像の「情報の太さ（チャンネル数）」を減らす → 鮮明さを保ったまま軽量化！

これにより、AI は**「軽いデータ」で「高品質な絵」**を描くことができるようになりました。

---

3. 2 つの道：どちらが勝った？

UniCom は、この圧縮されたデータを使って画像を描く際、2 つの異なるアプローチを試しました。

1. トランスフュージョン（Transfusion）方式：
   • 例え： 文章と画像を**「1 つの長い物語」**として、最初から最後まで一貫して読み書きする方法。
   • 特徴： 文脈を深く理解し、画像の細部まで一貫性を持って描ける。
2. クエリ（Query）方式：
   • 例え： 文章の意味を**「要約メモ」**にして、それを元に画像を描く方法。
   • 特徴： 意味は理解できるが、細かい配置や構造が崩れやすい。

結果：
「トランスフュージョン方式」が圧倒的に勝利しました。
「要約メモ」だけでは、複雑な指示（例：「左の犬を右の猫と入れ替え、背景の空を夕焼けに」）を正確に実行するのが難しく、位置関係が崩れてしまうことが分かりました。一方、「物語のように一貫して処理する」方式は、**「どこに何があるか」**という空間的な理解が深く、指示通りの画像を正確に描けます。

---

4. UniCom が実現したすごいこと

この仕組みのおかげで、UniCom は以下のような驚異的な性能を発揮します。

• 📝 文字の描画が完璧：
  従来の AI は画像の中に文字を書かせると崩れがちでしたが、UniCom は「高圧縮データ」のおかげで、看板の文字や本の内容まで鮮明に描けます。
• 🎨 画像編集が自由自在：
  「背景の人物を消して」「服の色を変えて」といった指示に対し、「元の画像の質感や顔の輪郭」を崩さずに、必要な部分だけを正確に書き換えることができます。
• 🧠 知識に基づいた編集：
  「この動物を、その国の国鳥に変えて」といった、「世界の知識」が必要な指示にも対応できます。これは、画像の「見た目」だけでなく、「意味」を深く理解しているからこそできることです。

---

まとめ：なぜこれが重要なのか？

UniCom は、「理解（見る）」と「生成（描く）」を、同じ「高品質な言語」で話せるようにしました。

これまでは、画像を理解する AI と、画像を描く AI が別々の「方言」を話して、通訳を介してやり取りするだけで、情報ロスや誤解が起きていました。UniCom は、**「高圧縮された共通言語」を導入することで、「失われることなく、かつ軽快に」**画像を理解し、描き出すことを可能にしました。

これは、AI が単に「絵を描く」だけでなく、**「人間の意図を深く理解し、クリエイティブな作業のパートナーとして活躍する」**ための大きな一歩と言えるでしょう。

技術概要

UniCom: 圧縮された連続的意味表現による統合型マルチモーダルモデリング

技術的サマリー（日本語）

本論文は、2026 年 3 月に発表された「UniCom: Unified Multimodal Modeling via Compressed Continuous Semantic Representations」について、その課題、手法、主要な貢献、結果、および意義を詳細に解説します。

1. 背景と課題 (Problem)

現在の統合型マルチモーダルモデル（理解と生成の両方を行うモデル）は、主に離散化された視覚トークナイザー（Vector Quantization など）に依存しています。しかし、このアプローチには以下の根本的な問題があります。

• 情報損失: 連続的な視覚特徴（CLIP や SigLIP など）を離散トークンに変換する過程で、微細な空間情報やテクスチャなどの詳細な意味情報が失われ、高忠実度な画像生成や編集において性能が限界に達します。
• 表現の分断: 離散トークンを用いる場合、理解（意味解析）と生成（画像合成）が異なる特徴空間に依存してしまうため、真の「統一」が困難です。
• 連続表現の生成難易度: 一方で、離散化を避け連続的な高次元特徴（ViT 埋め込みなど）を直接生成するアプローチは、高次元多様体の複雑さにより、生成モデルの学習が不安定で収束が遅いという課題を抱えています。

核心となる問い: 「離散化による情報損失」を避けつつ、「高次元連続表現の生成難易度」を克服し、理解と生成を単一の空間で統合する方法は何か？

2. 手法 (Methodology)

UniCom は、**「圧縮された連続的意味表現（Compressed Continuous Semantic Representations）」**を用いることで、このジレンマを解決する新しいフレームワークを提案しています。

2.1 全体アーキテクチャ

モデルは以下の 3 つの主要コンポーネントで構成されます。

1. 意味圧縮器 (Semantic Compressor): 高次元の視覚特徴（SigLIP2 など）を、情報損失を最小限に抑えつつ、生成に適したコンパクトな連続潜在空間（$\tilde{Z}$）に投影します。
2. 生成事前知識モジュール (Generative Prior Module): テキスト条件に基づき、圧縮された潜在表現を予測する生成モデル（トランスフォーマー）。
3. 拡散デコーダー (Diffusion Decoder): 予測された潜在表現から高解像度画像を復元するモジュール。

2.2 主要な技術的革新

• チャネル次元での圧縮 (Channel-wise Compression):
  • 従来のアプローチはトークン数（空間解像度）を削減して圧縮していましたが、UniCom はチャネル次元（特徴の深さ）を圧縮する方が、画像の細部（テキストや顔の同一性など）を保持しつつ生成を安定させるのに優れていることを実証しました。
  • 具体的には、1024 トークン×1152 次元の SigLIP 特徴を、1024 トークン×64 次元に圧縮します。
• アテンションベースの圧縮器:
  • 単純な MLP ではなく、Multi-Head Attention (MHA) を用いた圧縮器を採用しました。これにより、画像パッチ間の長距離依存関係や構造的な意味情報を保持し、離散的なトークン化や単純な圧縮では失われがちなセマンティックな整合性を保ちます。
• Transfusion アーキテクチャの採用:
  • 生成経路として、テキストと画像の潜在表現を単一のシーケンスとして統合的に予測する「Transfusion」方式を採用しました。
  • 比較対象である「クエリベース（LLM がクエリを生成し、それをデコーダに渡す）」方式よりも、収束が速く、画像編集時の一貫性が高いことを実証しました。
• フローマッチング (Flow Matching):
  • 圧縮された連続空間における生成タスクを、フローマッチングの目的関数を用いて学習します。これにより、高次元空間での不安定さを回避し、効率的なサンプリングを実現しています。

3. 主要な貢献 (Key Contributions)

1. 新しいパラダイムの確立: 離散化ではなく、「連続的かつ圧縮された意味埋め込み」を予測することで、視覚理解と生成を統合する有効な手法を確立しました。
2. 圧縮戦略の発見: 特徴の「チャネル次元の圧縮」が「シーケンス長さの削減」よりも情報保持に優れており、アテンション機構を用いたプロジェクターがセマンティック構造の維持に不可欠であることを明らかにしました。
3. VAE 非依存の高性能統合モデル: 従来の VAE（変分オートエンコーダー）の潜在空間に依存せず、SigLIP2 などの意味エンコーダーを直接活用しながら、画像再構成、テキスト画像生成、画像編集において最先端（SOTA）または競争力のある性能を達成しました。

4. 実験結果 (Results)

UniCom は、再構成、生成、編集のすべてのタスクで卓越した性能を示しました。

• 画像再構成 (Image Reconstruction):
  • ImageNet 検証セットにおいて、専門的な VAE（Flux.1-dev など）と同等かそれ以上の再構成精度（PSNR, SSIM, rFID）を達成しました。
  • 特に、高周波数成分（小さな文字、顔の細部）の復元において、従来のセマンティックベースの手法よりもはるかに優れており、離散化による劣化が見られません。
• テキスト画像生成 (Text-to-Image Generation):
  • GenEval、DPG-Bench、WISE（世界知識に基づく評価）などのベンチマークで、既存の統合モデル（OmniGen2, Show-o2 など）と同等かそれ以上の性能を記録しました。
  • WISE ベンチマークでは、文化的、生物学的、物理的な知識を要するタスクで高いスコアを達成し、意味的理解の深さを示しました。
• 画像編集 (Image Editing):
  • ImgEdit-Bench、GEdit-Bench、KRIS-Bench、WorldEdit において、SOTA を記録しました。
  • 重要な点: 従来の編集モデルが参照画像の VAE 潜在変数を必要とするのに対し、UniCom はVAE を使用せず、参照画像のセマンティック特徴とテキスト指示のみで、高い一貫性（Identity Preservation）を維持した編集を可能にしました。
  • 複雑な知識推論を要する編集タスク（例：「動物の好きな食べ物を入れる」「生物学的な変化を加える」）でも他モデルを凌駕する性能を示しました。

5. 意義と将来展望 (Significance)

• 表現の統一: 「離散（言語）」と「連続（視覚）」の間の表現の断絶を埋め、両者をシームレスに扱う単一の「ユニファイドトークン」の概念を、連続圧縮空間を通じて実現しました。
• 効率性と安定性: 高次元特徴を直接扱う難しさを、チャネル圧縮とアテンション機構によって克服し、学習の安定性と計算効率を大幅に向上させました。
• 制御性の向上: VAE に依存しないため、生成プロセスがより直感的で、テキスト指示に対する制御性（特に複雑な編集や知識推論）が飛躍的に向上しました。

結論:
UniCom は、マルチモーダル AI の進化において重要なマイルストーンです。離散化の弊害を避けつつ、連続表現の生成難易度を下げる「圧縮された連続意味表現」というアプローチは、今後の高品質な画像生成、精密な画像編集、そして深い意味理解を必要とするマルチモーダルタスクの標準的な基盤となる可能性があります。将来的には、この圧縮モジュールのさらなる最適化や、動画生成への拡張が期待されます。