Qwen3.5-Omni 技術報告書の日本語要約

本報告書は、アリババクラウドの Qwen チームによって発表された、最新かつ包括的なオムニモーダル（全モーダル）大規模言語モデル「Qwen3.5-Omni」の技術詳細を記述したものです。本モデルは、テキスト、画像、音声、動画（音声付き）を統合的に理解・生成し、リアルタイムな対話や自律的なエージェント行動を可能にする次世代システムです。

以下に、問題定義、手法、主要な貢献、評価結果、およびその意義について詳述します。

1. 背景と課題 (Problem)

既存の大型言語モデル（LLM）やマルチモーダルモデルは、特定のモーダル（テキスト、画像、音声など）に特化しているか、あるいは「受動的な知覚・応答」のパラダイムに留まっていることが多く、以下のような課題がありました。

• モーダル間の統合不足: テキスト、音声、視覚情報を別々に処理し、統合的な推論や生成が困難。
• リアルタイム性とエージェント機能の欠如: 複雑なツールの自律的利用や、人間との自然なリアルタイムストリーミング対話、長文脈の理解が不十分。
• 音声合成の不安定性: ストリーミング音声合成において、テキストと音声のトークン化の効率性の違いにより、発話の不安定性や不自然さが生じやすい。
• 音声・視覚の文脈理解: 長時間の音声や動画の時間的整合性を保ちながら、詳細な理解やキャプション生成を行う能力が限定的。

2. 手法とアーキテクチャ (Methodology)

Qwen3.5-Omni は、Qwen2.5-Omni で導入された「Thinker-Talker」アーキテクチャを基盤とし、以下の主要な技術的アップグレードを施しています。

2.1 ハイブリッド・アテンション・Mixture-of-Experts (MoE)

• Thinker（思考・テキスト生成）と Talker（音声生成）の両方にハイブリッド MoE アーキテクチャを採用。これにより、大規模なパラメータ数（数百億）を維持しつつ、推論効率と長文脈処理能力を最大化しています。
• Gated Delta Net (GDN) モジュールを導入し、長文の音声・動画シーケンスのモデリングを高速化し、KV キャッシュの I/O オーバーヘッドを削減。

2.2 256k コンテキスト長とマルチモーダル入力

• 256k トークンのコンテキスト長をサポート。これにより、10 時間以上の音声や1 FPS で 400 秒以上の 720P 動画を一度に処理可能です。
• AuT (Audio Transformer): 4000 万時間の音声 - テキスト対データでゼロから訓練された音声エンコーダ。20 以上の言語に対応し、6.25Hz のトークンレートで高品質な音声表現を抽出。
• 時間的アノテーションの改善: 絶対時間 ID ではなく、フォーマットされたテキスト文字列としてタイムスタンプを明示的に入力に付与（Prepend）。これにより、長文脈における時間的推論の精度を向上させ、トレーニングデータの構築コストを低減。

2.3 音声生成と ARIA (Adaptive Rate Interleave Alignment)

• マルチコードブック符号化: RVQ (Residual Vector Quantization) ベースの音声表現を使用し、単一フレームでの即時合成を可能に。
• ARIA の導入: ストリーミング音声合成におけるテキストと音声トークンの非同期性を解消する技術。テキストと音声のトークン生成レートを動的に整合させることで、単語の飛び飛び、発音誤り、数字の曖昧さなどを大幅に改善し、自然で安定した会話を実現。

2.4 多言語対応とゼロショット音声クローニング

• 音声認識 (ASR): 113 の言語・方言に対応（中国語の方言 39 種類を含む）。
• 音声合成 (TTS): 36 の言語・方言に対応。
• ゼロショット音声クローニング: preset 音声だけでなく、ユーザー提供のサンプルからゼロショットで音声特性を学習し、任意の言語で自然な発話を生成可能。

2.5 エージェント機能と「Audio-Visual Vibe Coding」

• 自律的行動: Web 検索、複雑な FunctionCall の実行、リアルタイム音声対話を自律的に実行。
• Audio-Visual Vibe Coding: 音声・視覚的な指示から直接実行可能なコードを生成する新しい能力。外部のオーケストレーションなしに、マルチモーダルなクエリに応答してコードを記述・実行可能。

3. 主要な貢献 (Key Contributions)

1. 完全オムニモーダルなエージェント: テキスト、画像、音声、動画を統合的に理解・推論し、音声出力やツール操作を含む自律的な行動を実行する初のモデル群の一つ。
2. 高品質なストリーミング音声対話: ARIA 技術により、低遅延かつ高自然度、高安定性のリアルタイム音声対話を実現。
3. 制御可能な詳細な動画キャプション: 時間同期された詳細なキャプション、シーン分割、キャラクター関係の記述など、スクリプトレベルの構造化された出力を生成可能。
4. 広範な多言語・方言対応: 音声認識・合成において、主要言語から中国語の方言までを網羅し、ゼロショット音声クローニングによる柔軟な音声生成を実現。
5. Audio-Visual Vibe Coding: 音声・視覚指示からの直接コード生成という、オムニモーダルモデルに新たな能力が出現したことを実証。

4. 評価結果 (Results)

Qwen3.5-Omni-Plus と Flash バージョンは、215 の音声・動画理解・推論・対話タスクで SOTA（State-of-the-Art）を達成しました。

• 音声・動画理解:
  • Gemini-3.1 Pro を上回る性能を、一般的な音声理解、推論、認識、翻訳、対話タスクで達成。
  • 総合的な音声・視覚理解においても Gemini-3.1 Pro と同等レベルを記録。
  • 特定のベンチマーク（MMAU, MMSU, RUL-MuchoMusic など）で顕著な優位性を示しました。
• 音声合成 (TTS):
  • ゼロショット TTS: SEED-TTS ベンチマークで、WER（単語誤り率）が 1.26 と、既存の SOTA モデル（CosyVoice 3, MiniMax-Speech など）を凌駕。
  • 多言語・クロスリンガル: 29 の言語で内容の一貫性と話者類似性を同時に評価。多くの言語で WER が最低となり、話者クローニングの忠実度も高い。
  • カスタム音声: 単一言語データでファインチューニングされたにもかかわらず、29 言語すべてで安定したカスタム音声生成を実現。
• テキスト・視覚能力:
  • 同規模のテキスト専用モデル（Qwen3.5-Plus）と同等の性能を維持し、オムニモーダル化による性能劣化（Degradation）を回避。
  • 動画理解タスク（Video-MME, MLVU など）で高い性能を発揮。
• レイテンシ:
  • 音声入力時のファーストパケット遅延は Plus モデルで 435ms、Flash モデルで 235ms を達成。高並列環境でも安定した応答速度を維持。

5. 意義と結論 (Significance)

Qwen3.5-Omni は、単なる「マルチモーダル理解」の枠を超え、**「オムニモーダル・エージェント」**としての実用性を確立した画期的なモデルです。

• 実世界との相互作用: 人間が自然に持つ視覚・聴覚・言語の統合的な知覚と、それに基づく行動（ツール利用、コード生成）をシームレスに統合しました。
• リアルタイム性の革新: ARIA 技術やストリーミングアーキテクチャにより、遅延の少ない自然な音声対話を実現し、音声アシスタントやリアルタイム通訳などの実用応用への道を開きました。
• 新しい能力の出現: 「Audio-Visual Vibe Coding」に代表されるように、マルチモーダル入力から直接的に構造的な出力（コードなど）を生成する能力は、AI の自律性を一段階向上させる重要な発見です。

本モデルは、汎用的なオムニモーダルエージェントの研究と開発における強力な基盤を提供し、今後、医療、教育、エンターテインメント、産業分野などでの応用が期待されます。