Covo-Audio 技術報告書の詳細な技術サマリー（日本語）

本報告書は、腾讯（Tencent）によって発表された「Covo-Audio」に関する技術報告です。Covo-Audio は、音声処理と言語知能を統合するエンドツーエンドの大規模音声言語モデル（LALM）であり、70 億パラメータ（7B）の規模を持ちながら、高度な意味推論と高品質な音声対話を両立させることを目指しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 背景と課題 (Problem)

従来の音声対話システムは、ASR（音声認識）→ LLM（言語モデル）→ TTS（音声合成）というカスケード型アーキテクチャが主流でした。この方式には以下の課題がありました。

• 情報の損失と誤差の伝播: 各モジュール間での情報変換により、意味や感情、話者の特徴が失われやすくなります。
• 遅延: 逐次的な処理により、低遅延なフルデュプレックス（同時双方向）対話が困難です。

一方、最近のエンドツーエンド型 LALM（例：Qwen2.5-Omni, GLM-4-Voice など）は「Thinker-Talker」アーキテクチャを採用し、中間にテキスト推論ステップを挟むことで知能を維持しようとしています。しかし、これには以下の限界があります。

• エンドツーエンドの音声指示追従性の低下: 中間のテキスト生成がボトルネックとなり、直接的な音声制御が難しくなります。
• 知能と音声の強固な結合（Intelligence-Speaker Coupling）: 高品質な対話データと特定の音声（話者）を同時に学習させる必要があるため、柔軟な音声カスタマイズや高知能なボット構築に莫大なコストとデータが必要になります。
• フルデュプレックスの難易度: 自然な会話における「割り込み」や「相槌」などの複雑なダイナミクスを、逐次的な生成モデルで扱うことが困難です。

2. 手法とアーキテクチャ (Methodology)

Covo-Audio は、連続的な音声入力を直接受け取り、連続的な音声出力を生成する単一の統合アーキテクチャを採用しています。

2.1 アーキテクチャ

• エンコーダー: 事前学習済みの Whisper-large-v3 を使用し、50Hz の連続音声特徴量を抽出。
• アダプター: 音声特徴量を LLM の潜在空間にマッピングするため、ダウンサンプリングを行う 3 層構造のアダプター（50Hz → 6.25Hz）。
• LLM バックボーン: Qwen2.5-7B-Base を基盤とし、テキストトークンの他に離散音声トークンを語彙として拡張。
• トークナイザー: WavLM-large ベースの VQ（ベクトル量子化）層を使用し、25Hz で離散音声トークンを生成（16,384 個のコードブック）。
• デコーダー: 離散トークンを高忠実度の波形に変換する 2 段階デコーディング（Flow-Matching ベースの潜在表現変換 → BigVGAN ベースのボコーダー）。

2.2 学習戦略

モデルは 2 つの主要なフェーズで学習されます。

1. 大規模事前学習 (Pre-training):

   • 階層的 3 モダリティ音声 - テキストインターリーブ: 連続音声特徴（$a_c$）、離散音声トークン（$a_d$）、テキスト（$t$）を単一シーケンスで統合。フレーズレベルと文レベルの両方でインターリーブを行い、局所的な音韻と長文のセマンティクスを同時に学習。
   • タスク: ASR, TTS, 音声のみモデル化, 音声継続, 音声 - テキストインターリーブ, フルデュプレックス対話などを含む多様なタスクを 2 兆トークン規模で学習。

2. ポストトレーニング (Post-training):

   • 対話能力の強化: 高品質な指示データ（T2T, T2A, A2T, A2A）を用いて、論理的推論、口語的表現、共感能力を学習。
   • フルデュプレックス化: 半二重モデル（Covo-Audio-Chat）から、ユーザーの発話中にモデルも発話できる「Covo-Audio-Chat-FD」へ進化。ストリーミング入力と出力を 1:4 の比率でインターリーブし、割り込み（Barge-in）や相槌（Backchanneling）を自然に処理。

2.3 主要技術革新：知能と話者の分離 (Intelligence-Speaker Decoupling)

エンドツーエンドモデルの最大の課題である「高知能な対話」と「高品質な音声」の両立コストを削減するため、以下の手法を提案しました。

• 話者特性と知能の分離: 多話者データで対話能力を学習させ、話者特性を分離。
• 文脈適応と擬似対話: 既存の高品質 TTS データを「擬似対話」形式に変換し、テキスト応答部分の損失計算をマスク（除外）することで、TTS の自然な声を維持しつつ、対話の知能を損なわずに音声の自然さを引き継ぐことを可能にしました。これにより、少量の TTS データで多様な音声カスタマイズが可能になります。

3. 主要な貢献 (Key Contributions)

1. 階層的 3 モダリティ音声 - テキストインターリーブ: 連続音声、離散トークン、テキストを統合し、微細な音韻ニュアンスとセマンティック構造の両方を保持する新しいフレームワーク。
2. 知能 - 話者分離技術: 高品質な TTS データを対話タスクに効率的に転用し、高知能かつ自然な音声対話を低コストで実現する手法。
3. ネイティブなフルデュプレックス音声対話: 事前学習段階からフルデュプレックスを統合し、遅延の低い、割り込みや相槌に対応する自然な双方向対話を実現。
4. 7B パラメータ規模での SOTA 性能: 70 億パラメータというコンパクトな規模でありながら、大規模モデルや専用モデルに匹敵、あるいは凌駕する性能を達成。

4. 評価結果 (Results)

Covo-Audio は、半二重（Chat）と全二重（Chat-FD）の両方のバリエーションで広範なベンチマークにおいて評価されました。

• 音声 - テキストモデリング:
  • 事前学習モデルは、StoryCloze, sBLIMP, sWUGGY などのタスクで、同規模のオープンソースモデル（GLM-4-Voice-Base など）を凌駕し、音声から深い意味情報を抽出できることを示しました。
• 音声対話 (Covo-Audio-Chat):
  • URO-Bench: 中国語・英語の両方で、推論（Reasoning）や口頭会話（Oral Conversation）において SOTA 性能を達成。Qwen3-Omni などの競合モデルを上回るスコアを記録しました。
  • VCB Bench: 指示追従、知識保持、ロバストネス（ノイズや話者変化への耐性）において、特にロバストネス分野で SOTA を達成しました。
  • 共感 (VStyle): 感情認識と共感的応答において、特に中国語で SOTA 性能を示しました。
• フルデュプレックス対話 (Covo-Audio-Chat-FD):
  • Moshi や Freeze-Omni などの既存のフルデュプレックスモデルを大幅に上回る性能を示しました。ターンテイク、ポーズ処理、割り込み、相槌の成功率が非常に高く（例：ターンテイク 99.7%）、実用的な堅牢性を実証しました。
• 音声・オーディオ理解:
  • ASR/TTS: 商用モデルや大規模モデルと同等の精度を達成。
  • パラリングスティック理解: 感情認識、話者属性推定などで AIR-Bench において他モデルを大きく上回る性能（感情認識で 10-25 ポイントの改善）。
  • オーディオ理解 (MMAU/MMSU): 音楽理解や推論タスクにおいて、7B 規模モデルの中で最高性能を記録し、30B 規模のモデルにも匹敵する結果を示しました。

5. 意義と結論 (Significance)

Covo-Audio は、以下の点で音声 AI の分野において重要な意義を持ちます。

• パラメータ効率の最大化: 7B というコンパクトな規模で、大規模モデルや複雑なカスケードシステムに匹敵する「知能」「自然さ」「効率性」を統合しました。
• 実用化への道筋: 「知能 - 話者分離」技術により、高品質な音声対話ボットの構築コストを劇的に削減し、柔軟な音声カスタマイズを可能にしました。
• フルデュプレックスの成熟: 事前学習段階から双方向性を統合することで、人間らしい自然な会話（割り込みや相槌）を可能にする堅牢なモデルを構築しました。
• オープンソースの貢献: Covo-Audio-Chat モデルと推論パイプラインをオープンソース化し、研究コミュニティへの貢献を意図しています。

総じて、Covo-Audio は、エンドツーエンドの音声言語モデルが、単なる音声変換を超えて、高度な意味推論と人間らしい対話を両立できる可能性を証明し、次世代の音声 AI アシスタントの実現に向けたスケーラブルな道筋を示しました。