InternVL-U: Democratizing Unified Multimodal Models for Understanding, Reasoning, Generation and Editing

本論文は、理解・推論・生成・編集を統合した軽量な 40 億パラメータのマルチモーダルモデル「InternVL-U」を提案し、大規模モデルを凌駕する性能と効率性のバランスを達成したことを報告しています。

要約

紙一重の天才「InternVL-U」：見る、考える、描く、直すをすべてこなす新世代 AI

この論文は、**「InternVL-U」**という新しい AI について紹介しています。

これまでの AI は、「画像を見て内容を理解する専門家」と「指示通りに絵を描く専門家」が別々でした。しかし、InternVL-U は**「見る・考える・描く・直す」をすべて一つの頭脳でこなす、超万能な AI**です。しかも、その頭脳のサイズは非常にコンパクト（40 億パラメータ）で、巨大なモデルよりも賢く、速く、安価に動きます。

これをわかりやすく説明するために、いくつかの比喩を使ってみましょう。

---

1. 従来の AI との決定的な違い：「二刀流」vs「万能職人」

• 従来の AI（二刀流）：
  昔のシステムは、**「学者」と「画家」**を別々に雇って、二人で手を取り合うようなものでした。

  • 学者が「これは猫だ」と教えても、画家が「じゃあ猫を描くね」というときに、学者の言葉が画家に正しく伝わらず、**「猫の耳が逆さま」や「文字がぐちゃぐちゃ」**といったミスが起きがちでした。
  • また、二人を連携させるには巨大な事務所（計算資源）が必要で、コストも高くつきました。

• InternVL-U（万能職人）：
  InternVL-U は、**「絵を描くのが得意な天才的な職人」**です。

  • この職人は、**「見る目（理解力）」と「描く手（生成力）」**が最初から一体化しています。
  • **「頭（理解）」と「手（生成）」を別々の部屋で動かすのではなく、「頭で考えながら、同時に手が動く」**という仕組みです。
  • しかも、この職人は**「4B（40 億）」という小さなサイズなのに、「14B（140 億）」もある巨大な職人チーム（BAGEL など）よりも、絵の質や指示の理解度が上回ります。まるで、「小さなバイクで、大型トラックより速く、賢く走っている」**ようなものです。

2. 3 つの秘密兵器：なぜこれほど優秀なのか？

この AI がこれほどまでに「賢く、器用」になったのには、3 つの設計上の工夫（秘密兵器）があります。

① 「統一された会議室」と「専門の作業場」

• 比喩： 会社の会議室と、工場の作業場を分けたような仕組みです。
• 解説：
  • 会議室（理解）： 画像を見て「これは何だ？」「どうなっている？」と考えるときは、すべての情報を一つにまとめて深く議論します（統一コンテキスト）。
  • 作業場（生成）： 絵を描くときは、その会議で得た「アイデア」を、絵を描くための**「専用の機械（MMDiT）」**に渡します。
  • これにより、「理解する脳」が「描く作業」で疲弊したり、逆に「描く作業」が「理解の邪魔」をしたりするのを防ぎ、「理解力」も「描画力」も両方とも最高レベルに保たれています。

② 「思考のステップ」を教える（CoT：Chain-of-Thought）

• 比喩： 料理のレシピを「材料を混ぜて焼く」だけでなく、「まず卵を割り、次に牛乳を注ぎ、最後に 180 度のオーブンで 10 分」と手順を細かく教えることです。
• 解説：
  • ユーザーが「面白い絵にして」とだけ言うと、AI は何をどうすればいいか迷います。
  • InternVL-U は、**「思考の連鎖（Chain-of-Thought）」という技術を使って、ユーザーの曖昧な指示を「具体的なステップ」**に変換します。
  • 例：「2026 年の馬の絵」→「まず 2026 年は馬の年だ。次に、馬のポーズを考えよう。背景は朝日で、文字は『新春』だ」と、頭の中でシミュレーションしてから絵を描くため、論理的なミス（例：足が 5 本ある馬など）が起きにくくなります。

③ 「高品質な食材」を大量に用意した（データ合成パイプライン）

• 比喩： 料理人が、ただの「野菜」だけでなく、**「数学の図形」「化学の分子式」「面白いネタ画像（ミーム）」まで、あらゆる分野の「高品質な食材」**を自ら作って用意したことです。
• 解説：
  • 従来の AI は、ただの「美しい風景画」ばかり見て育ったため、**「文字が書かれた看板」や「複雑な図形」**を描くのが苦手でした。
  • InternVL-U は、**「文字が正確に書ける絵」「科学の知識が正しい絵」「空間の回転が正しい絵」など、「頭を使う必要がある」**データで徹底的に鍛えられました。
  • その結果、**「数式を書いた黒板」や「化学の分子構造図」を描くときも、他の AI が「ぐちゃぐちゃ」にするところを、「完璧に正確」**に描き出すことができます。

3. 具体的に何ができるの？

この AI は、以下のようなことを「まるで魔法のように」こなします。

• 文字の書き込み： 「この看板の文字を『カフェ』から『喫茶店』に変えて」と言えば、文字の形や背景を壊さずに、きれいに書き換えます。
• 論理的な編集： 「この図形を右に 30 度回転させて、影も合わせて変えて」と言えば、物理法則や幾何学ルールに従って正しく変形します。
• 知識に基づいた生成： 「光合成のプロセスを描いて」と言えば、植物の細胞や光の動きを科学的に正しく表現します。
• 面白いネタ（ミーム）： 「疲れた猫の絵を作って」と言えば、人間の感情やユーモアを理解した、クスリと笑える絵を描きます。

まとめ：AI の民主化（Democratization）

この論文のタイトルにある「Democratizing（民主化）」とは、**「これまで巨大な会社や大金持ちしか持てなかった『超高性能な AI』を、誰でも手軽に使えるようにした」**という意味です。

InternVL-U は、「小さくて、安くて、なのにすごく賢い」という、夢のような AI です。
これまでは「絵を描く AI」と「考える AI」を別々に使う必要がありましたが、これからは「一つの AI」で、複雑な推理から美しい絵の生成、そして写真の編集まで、すべてをスムーズに行える時代が来たことを示しています。

まるで、**「ポケットに入るサイズの天才助手」**が、あなたの隣に常備されるようなものです。

技術概要

InternVL-U: 理解、推論、生成、編集を統合したマルチモーダルモデルの民主化に関する技術サマリー

本論文は、上海AIラボを中心とした研究チームによって発表されたInternVL-Uについて記述したものです。これは、画像の「理解」「推論」「生成」「編集」という4つの能力を単一の軽量モデル（4Bパラメータ）で統合的に実現し、高性能かつ効率的な統一マルチモーダルモデル（UMM）を構築する画期的なアプローチを提案しています。

以下に、問題定義、手法、主要な貢献、実験結果、そして意義について詳細にまとめます。

---

1. 背景と課題 (Problem)

近年、GPT-4o などのクローズドソースモデルが示すように、自然言語による複雑な視覚タスクの実行や、世界モデルの構築に向けた統合マルチモーダルモデル（UMM）への関心が高まっています。しかし、既存のUMMには以下の大きな課題が存在します。

• ネイティブ型 UMM の限界: 理解と生成をゼロから同時に学習させるアプローチは、異なるモダリティ（テキストと画像）のデータ分布の矛盾により、学習コストが膨大で、既存の最先端理解モデル（SOTA MLLM）の能力を活かしきれないリスクがあります。
• アンサンブル型 UMM のトレードオフ: 事前学習済みの理解モデルと画像生成モデルを後から結合するアプローチでは、生成品質を高めるために生成ヘッドを巨大化するとコストが跳ね上がり、逆に小型化すると指示従順性や高次な推論能力が低下するジレンマに陥ります。
• データ分布の乖離: 従来の生成モデルは「美的・視覚的忠実度」に特化した自然画像で学習され、理解モデルは「高密度な意味情報（テキスト、図表、OCR）」を含むデータで学習されています。この目的とデータの不一致が、AGI（汎用人工知能）指向のUMM開発を阻害しています。

2. 手法 (Methodology)

InternVL-U は、**「統一コンテキストモデリング」「モダリティ固有のモジュール設計」「視覚表現の分離」**という3つの設計原則に基づいています。

2.1 モデルアーキテクチャ

• ベースモデル: 強固な理解能力を持つオープンソースの MLLM（InternVL 3.5-2B）をベースに採用。
• 生成ヘッド: 画像生成のために、**MMDiT（Multimodal Diffusion Transformer）**に基づく専用ヘッド（1.7Bパラメータ）を統合。
• 視覚表現の分離 (Decoupled Visual Representations):
  • 理解タスク: 高レベルな意味特徴を抽出するための事前学習済み ViT エンコーダを使用。
  • 生成タスク: 低レベルな画素詳細を保持し、合成に適した潜在空間へ変換するための専用 VAE を使用。
  • これにより、理解と生成の最適化トレードオフを解消し、両方の能力を最大化しています。
• ハイブリッド学習目標: テキスト生成には自己回帰（AR）損失、画像生成にはフローマッチング（Flow Matching）を用いた連続確率分布モデルを採用し、両者を統合的に学習します。

2.2 学習戦略 (3段階のキュリキュラム)

1. 生成ヘッドの事前学習: MLLM を固定し、生成ヘッドのみをテキスト・画像両方の条件で学習。
2. 任意解像度の継続学習: 可変解像度（512〜1024px）での学習を行い、視覚忠実度を向上。
3. 統合教師あり微調整 (SFT): 全体をアンロックし、推論データ（CoT）と生成・編集データを混合して学習。これにより、抽象的な指示を具体的な視覚実行プランに変換する能力を強化します。

2.3 データ構築と「推論中心 (Reasoning-centric)」パラダイム

モデルの能力を高めるため、高意味密度（High Semantic Density）のタスクに特化した大規模な合成データパイプラインを構築しました。

• テキスト中心データ: 複雑な文字レンダリングや画像内のテキスト編集のためのデータ合成。
• 科学・知識中心データ: 物理、化学、コンピュータサイエンスの図解や論理的な編集タスク（SVG やコード生成を活用）。
• 空間・ユーモア中心データ: 3D 回転、幾何学変換、ミーム（ネットスラング）生成のためのデータ。
• Chain-of-Thought (CoT) の導入: ユーザーの抽象的な指示（例：「驚きの表情のミームを作って」）を、モデルが実行可能な具体的なステップ（計画、制約、視覚的詳細）に変換する CoT データを生成。これにより、指示の意図と視覚的実行のギャップを埋めています。

3. 主要な貢献 (Key Contributions)

1. 効率的な UMM アーキテクチャの提案:
   4B パラメータという軽量サイズでありながら、理解と生成を両立する「InternVL-U」を提案。MMDiT ベースの生成ヘッドと分離された視覚表現により、高品質な生成と強力な理解能力を両立しました。
2. 高意味密度タスク向けの包括的データパイプライン:
   テキスト描画、科学的推論、空間操作、ユーモア生成など、従来のモデルが苦手とする領域に特化したデータ合成パイプラインを構築。特に、CoT を活用した「推論中心」のデータ合成により、抽象的な指示への対応力を飛躍的に向上させました。
3. 評価基準の整備:
   画像生成・編集の評価を効率化する GenEditEvalKit と、テキスト編集に特化した新しいベンチマーク TextEdit を公開し、コミュニティの発展を支援しました。

4. 実験結果 (Results)

InternVL-U は、パラメータ数が 3 倍以上大きい既存の統合モデル（例：BAGEL 14B）や、専門的な生成モデルと比較しても卓越した性能を示しました。

• マルチモーダル理解・推論:
  • MME-P や OCRBench などのベンチマークで、同規模の UMM（Janus-Pro, Ovis-U1）を大きく上回り、理解専用モデル（InternVL 3.5）と同等の性能を維持しました。
  • 推論能力（MMMU など）においても、7B+7B の BAGEL と同等レベルの性能を達成。
• テキスト・画像生成 (Text-to-Image):
  • 一般生成: GenEval や DPG-Bench で、BAGEL や Qwen-Image などの大規模モデルに匹敵、あるいは上回るスコアを記録。
  • テキスト描画: LongText-Bench や CVTG-2k で、既存の統合モデルが抱えていた「文字の崩れ」や「読みづらさ」の問題を劇的に改善。英語・中国語ともに高品質な文字描画を実現しました。
  • 知識注入: WISE や GenExam などの知識ベースのタスクにおいて、CoT を活用することで大幅な性能向上（Overall 0.46 → 0.58 など）を達成。
• 画像編集 (Image Editing):
  • 一般編集: GEdit-Bench で、BAGEL や Ovis-U1 を上回るスコアを記録。
  • テキスト編集: 新規ベンチマーク TextEdit において、F1 スコア 0.71 を達成し、クローズドソースの Nano Banana Pro と同等、他のオープンソースモデルを大幅に凌駕する性能を示しました。
  • 推論に基づく編集: RISEBench において、CoT 戦略を導入したことでスコアが 3.6 から 9.4 へと劇的に向上。複雑な論理制約（日付変更、アルゴリズムの可視化など）を含む編集タスクで、専門モデルに匹敵する性能を発揮しました。

5. 意義と結論 (Significance)

InternVL-U は、**「理解」「推論」「生成」「編集」**という多岐にわたる能力を、4B という軽量なパラメータ数で統合的に実現した点において画期的です。

• 民主化: 大規模な計算リソースを必要とせず、オープンソースで利用可能な高性能 UMM を提供し、研究コミュニティにおける AGI 指向モデルの開発を加速させます。
• 実用性の向上: 単なる「絵を描く」だけでなく、論理的な推論や正確なテキスト処理、科学的な知識の可視化まで可能にするため、教育、研究、コンテンツ制作など、実社会での応用範囲が広がります。
• アーキテクチャの指針: 「統一コンテキスト」と「モダリティ固有のモジュール化」を両立させる設計原則は、今後の大規模マルチモーダルモデル開発の重要な指針となります。

結論として、InternVL-U は、高レベルな知能と視覚的生成能力の統合という課題に対し、データ合成と推論の強化、そして効率的なアーキテクチャ設計によって、性能と効率のバランスにおいて新たな基準を確立しました。