Dynin-Omni: 技術概要（日本語）

本論文は、テキスト、画像、音声の理解・生成、および動画理解を単一のアーキテクチャで統合する、世界初の**マスクド拡散（Masked Diffusion）ベースのオムニモーダル基盤モデル「Dynin-Omni」**を提案しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 背景と問題定義

現在のマルチモーダル大規模モデルには、主に以下の課題が存在します。

• 自己回帰（AR）モデルの限界: 従来の統一モデルの多くは自己回帰（左から右への逐次生成）に基づいています。画像や音声など、厳密な左から右の順序に依存しないモダリティに対して、AR モデルは非効率的なシリアライズ（直列化）を強要し、並列処理やグローバルな一貫性の維持を困難にします。
• 構成型（Compositional）モデルの複雑さ: 拡散モデルやフローマッチングを外部のデコーダとして組み合わせるアプローチは存在しますが、これらはモダリティ固有の生成器を必要とし、訓練目標の不一致やオーケストレーション（調整）のボトルネックを生み出します。結果として、深いネイティブな統合が実現されていません。
• オムニモーダル拡散モデルの未成熟: マスクド拡散モデルは双方向の文脈を扱えるためオムニモーダルに適していますが、既存の研究は主に「テキスト - 画像」の範囲に留まっており、音声や動画を含む真のオムニモーダル統合には至っていませんでした。

2. 手法（Methodology）

Dynin-Omni は、単一のバックボーン内ですべてのモダリティを共有された離散トークン空間上でマスクド拡散として定式化することで、これらの課題を解決します。

2.1 アーキテクチャ

• ネイティブ統一マスクド拡散: 外部の生成器に依存せず、単一の Transformer バックボーン上でテキスト、画像、音声、動画のすべての理解と生成を行います。
• オムニモーダルトークン化:
  • テキスト: LLaDA などの既存のトークナイザを使用。
  • 画像・動画: MAGVIT-v2 風のベクトル量子化トークナイザを使用。動画は画像トークナイザを時系列に適用することで、追加のトークナイザなしに統一空間を維持します。
  • 音声: EMOVA の音声単位（S2U）トークナイザを使用。意味的エンベディングを離散化し、スタイルは別途モデル化します。
  • これらすべてのトークンは、単一の共有語彙（Vocab）にマッピングされ、同じ埋め込みテーブルと Transformer を通じて処理されます。
• 推論プロセス: 入力コンテキストに基づき、マスクされたトークンを反復的に予測・更新します。テキストや音声にはブロック単位並列デコーディングを、画像には完全並列デコーディングを採用し、モダリティの構造的特性に適応させます。

2.2 多段階トレーニング戦略

モデルの安定した学習と能力拡張のために、3 つの段階でトレーニングを行います。

1. ステージ 1（モダリティ適応）:
   • 既存の基盤モデル（MMaDA）に新しいモダリティ（動画、音声）を適応させます。
   • テキスト中心のアライメント（キャプション生成、ASR、TTS）を行い、新しいモダリティを言語のセマンティクスに結びつけます。
   • この段階では <EOS>（終了トークン）の予測を回避し、セマンティックな整合性のみを学習させます（Scheduled Padding Learning）。
2. ステージ 2（オムニモーダル SFT とモデルマージ）:
   • モダリティ分離型モデルマージ: ステージ 1 で生じた語彙拡張によるパラメータ次元の不一致を解決するため、既存のバックボーン知識と新しいモダリティ能力を分離してマージする戦略を採用します。これにより、既存の能力（テキスト・画像）の忘却（Catastrophic Forgetting）を防ぎつつ、新しい能力を統合します。
   • 全モダリティ（テキスト、画像、動画、音声）の監督微調整（SFT）を単一のタスクで実行し、クロスモーダルな最適化を行います。
3. ステージ 3（能力拡張）:
   • 高度な推論（CoT）、高解像度画像生成、長文脈音声（最大 21 秒）の生成能力を強化します。
   • 高品質な推論データや合成データを用いて、推論能力と生成の質をさらに向上させます。

3. 主要な貢献

1. ネイティブなオムニモーダルマスクド拡散バックボーン: テキスト、画像、音声、動画を単一のアーキテクチャでネイティブに統合した、オープンソースの 80 億パラメータ規模のモデルを初めて提案しました。外部生成器や複雑な多段階ハンドオフを不要にしています。
2. モダリティ分離型多段階トレーニング: 語彙拡張と能力スケーリングを明示的に分離するトレーニング手法と、モデルマージ戦略を提案しました。これにより、既存の知識を維持しつつ新しいモダリティを安定して統合できます。
3. 強力かつバランスの取れたクロスモーダル性能: 単一のバックボーンでありながら、専門的なモダリティ固有モデルに匹敵する性能を達成し、統一モデルと専門家モデルの間の性能ギャップを大幅に縮小しました。

4. 評価結果

19 のマルチモーダルベンチマークで評価が行われました。

• 推論能力: GSM8K で 87.6、MATH で 49.6 を達成し、既存の統一モデル（Show-o2, HyperCLOVAX-Omni など）を凌駕し、テキスト専門モデルと同等の性能を示しました。
• マルチモーダル理解:
  • 画像理解（MME-P）で 1733.6、VideoMME で 61.4 を記録し、統一モデルの中で最高レベルの性能を達成しました。
• 生成能力:
  • 画像生成: GenEval で 0.87、DPG-Bench で 86.3 を達成し、専門的な画像生成モデル（FLUX など）に匹敵する性能を示しました。
  • 画像編集: ImgEdit で 3.77 のスコアを記録し、既存の統一モデルを上回りました。
  • 音声: LibriSpeech test-clean で ASR 誤り率（WER）2.1、TTS においても専門モデルに迫る性能を達成しました。

これらの結果は、マスクド拡散が「任意から任意（Any-to-Any）」のモデリングにおいて、自己回帰モデルや構成型モデルに代わる強力なパラダイムとなり得ることを示しています。

5. 意義

Dynin-Omni は、単一のアーキテクチャ内ですべてのモダリティをネイティブに統合する可能性を実証しました。

• リアルタイム性: 反復的なリファインメントが可能でありながら、画像や音声に対しては少ないステップで高品質な生成が可能であり、リアルタイムシステムへの応用が期待されます。
• エージェント基盤: 強力な推論能力とマルチモーダル生成能力を兼ね備えているため、次世代の自律型 AI エージェントやユニバーサル AI インターフェースの基盤として極めて重要です。
• アーキテクチャの単純化: 外部の生成器や複雑なオーケストレーションを排除し、単一の拡散モデルで全てを完結させることで、システム全体の複雑性を大幅に削減しています。

本論文は、マルチモーダル AI の未来において、マスクド拡散がスケーラブルで効率的な統一パラダイムとなり得ることを示す重要なマイルストーンです。