技術要約: UniAudio-Token

問題提起

現在のオーディオ大規模言語モデル（Audio-LLMs）は、その音声トークン化戦略において決定的な限界に直面しています。既存のアプローチは概して以下の2つのカテゴリーに分類されますが、いずれも重大なトレードオフを抱えています：

1. 意味論的音声トークナイザー（Semantic Speech Tokenizers）: SpeechTokenizerやGLM-4-Voice-Tokenizerのようなモデルは、単一のコードブック設計と強力な言語的整合性（多くの場合、ASRエンコーダーから初期化される）を利用しています。これらは音声の理解と生成には効果的ですが、「音響的盲目（acoustic blindness）」という問題を抱えています。言語的内容の抽出に厳密に最適化することで、これらのモデルは音声の手がかりや聴覚的なシーンの詳細を「ノイズ」として積極的に抑制してしまい、音楽や環境音といった一般的なオーディオ知覚タスクにおいては効果的な機能を発揮できません。
2. 音響中心型トークナイザー（Acoustic-Centric Tokenizers）: WavTokenizerのようなモデルは、単一のコードブックによるベクトル量子化を用いて、波形再構成と一般的なオーディオの詳細を優先します。しかし、これらには明示的な意味論的ガイダンスが欠けています。その結果、生成されるトークンは意味に基づいた明確なカテゴリ的クラスターを形成できず、意味的には異なっても音響的に類似した音（例：雨の音とホワイトノイズ）が重なり合った分布へと崩壊してしまいます。

この二極化により、Audio-LLMは「音声専用のタスクに限定される」か、あるいは「知覚のための連続エンコーダーと生成のための離散トークナイザーを組み合わせた異種混合アーキテクチャに依存する」という、断片化されたパラダイムを強いられています。本論文は、高忠実度な音声生成と高レベルな一般オーディオ理解の両方をサポートできる、統一された単一コードブックのトークナイザーを実現することが、極めて重要な未解決問題であると提唱しています。

手法

既存のトークナイザーに内在する監督の競合（supervision conflict）とアーキテクチャ上のボトルネックに対処するため、著者らはUniAudio-Tokenを提案します。これは、音声の能力を損なうことなく、意味論的音声トークナイザーに一般的なオーディオ知覚能力を付与するように設計されたフレームワークです。このフレームワークは、2つの核心的なイノベーションを導入しています。

1. 意味論的・音響的プリミティブ（Semantic-Acoustic Primitives: SAP）

監督の競合を解決するために、著者らは生のオーディオを3つの補完的なレイヤーに分解し、内容（content）とスタイル（style）を明示的に分離する構造化された監督プロトコルを導入しました：

• 言語的内容（Linguistic Content）: 音声の逐語的なトランスクリプト。
• 音声属性（Vocal Attributes）: 音声生成を特徴付ける6つの正規化されたフィールド（年齢、性別、感情、アクセント、韻律、音色）。
• 聴覚的シーン（Auditory Scene）: 一時的なイベント（例：ドアの閉まる音）や持続的なイベント（例：エンジンの唸り音）を含む、音響環境を捉えるもの。

従来のASRコーパスとは異なり、SAPは低エントロピーな監督ターゲットを提供し、モデルに対して、意味論的なバックボーンを妨害することなく、音声の詳細や音響的な詳細に容量を割り当てるよう強制します。データキュレーション・パイプラインでは、大規模言語モデル（LLM）を利用して豊かな音響キャプションを生成し、大規模なASRコーパスから構造化されたJSONアノテーションを合成した後、厳格な品質検証を行っています。

2. 意味論的・音響的平衡（Semantic-Acoustic Equilibrium: SAE）

深い意味論的エンコーダーが微細な音響的手がかりを不可逆的に失ってしまうというアーキテクチャ上のボトルネックに対処するため、著者らはコンテンツ適応型のゲーティング機構を提案しています。

• メカニズム: SAEモジュールは、意味的に豊かな深い特徴（$H_{deep}$）と、音響的に豊かな浅い特徴（$H_{shallow}$）を適応的に融合させます。
• プロセス: 浅い特徴は、学習可能なMLPを介して深い特徴空間へと投影されます。深い特徴と浅い特徴を結合し、シグモイド活性化関数を持つMLPに通すことで計算されるゲーティング機構が、融合の重みを決定します。
• 機能: 最終的な表現は $H_{combined} = H_{deep} + g \odot H_{ada\_shallow}$ となります。これにより、モデルは必要に応じて（例：音楽やノイズの多い環境など）、言語的な抽象性を維持しつつ、微細な音響的詳細を動的に注入することが可能になります。

学習戦略

モデルは、言語的整合性を保持するために whisper-large-v3 から初期化されます。学習は2段階で行われます：

1. ステージ1: ベクトル量子化（VQ）層をバイパスします。SAEモジュールとデコーダーは、連続的な潜在空間を構造化されたSAPターゲットに整合させるために、SAP予測損失のみを用いて学習されます。
2. ステージ2: VQ層を挿入します。コードブックは、SAPに整合した表現を維持しながら、離散的なオーディオトークンを生成するように最適化されます。目的関数は、SAP予測損失と、量子化およびコミットメント損失を組み合わせたものです。

主な結果

広範な評価により、UniAudio-Tokenが言語的整合性とユニバーサルな表現の間の溝を埋めることに成功したことが証明されました：

• 潜在空間の解離（Latent Space Disentanglement）: ドメイン外のデータセットであるESC-50において、UniAudio-Tokenは多様なオーディオイベントに対してコンパクトで明確に分離されたクラスターを形成します。定量分析によれば、ESC-10およびESC-50の両方で正のシルエット係数（Silhouette Score）を達成しているのは本モデルのみであり、ベースラインモデルは特徴量の混在を示す負のスコアを示しています。
• 音声生成の忠実度: 音響的詳細の追加が音声に悪影響を与えるという仮定に反して、UniAudio-Tokenは専用の音声トークナイザーよりも優れた再構成性能を示しました。LibriSpeechおよびSEED-TTSにおいて、本モデルは最も低い単語誤り率（WER）と最も高い平均意見スコア（MOS）を達成しました。著者らは、過度に攻撃的な意味論的圧縮が通常切り捨ててしまう、アクセント固有の特徴や音素の手がかり（例：摩擦音）を保持しているためであると考えています。
• ダウンストリームAudio-LLMの性能: Qwen2.5バックボーンと統合されたUniAudio-Tokenは、理解ベンチマーク（MMAU, MMAR, MMSU）においてすべての単一コードブック・ベースラインを上回り、特に音や音楽のカテゴリで大幅な向上を示しました。また、制御可能なテキスト読み上げ（TTS）合成においても優れた性能を発揮しています。
• メカニズムの検証: SAEゲートの解析により、適応的な挙動が明らかになりました。ゲートの活性化は信号対雑音比（SNR）が低下するにつれて増加し、音声よりも音楽において有意に強くなることが確認されました。これは、本モジュールが静的な残差接続ではなく、コンテンツ適応型のコントローラーとして機能していることを裏付けています。

意義と主張

本論文は、UniAudio-Tokenが、意味論的整合性と音響的忠実度の間の歴史的なトレードオフを解決する統一された離散インターフェースを提供すると主張しています。Semantic-Acoustic PrimitivesとSemantic-Acoustic Equilibriumを導入することで、音声生成の品質を犠牲にすることなく、意味論的トークナイザーに一般的なオーディオ知覚能力を付与できることを実証しました。

著者らは、本研究を、単一のコンパクトなコードブックを用いて、音声、音楽、環境音の間をシームレスに行き来できる真のAudio-LLMに向けた重要なステップとして位置づけています。また、本モデルは高忠実度な音声再構成と強力な一般オーディオ知覚を実現しているものの、複雑な非音声オーディオに対する波形レベルの再構成については、依然として特化した高ビットレートの音響コーデックには及ばないこと、および現在のカバー範囲は主にデータの可用性に依存して英語と中国語に限定されていることを注記しています。それにもかかわらず、本研究は、従来のアーキテクチャの断片化を回避する、統一されたオーディオ・トークナイゼーションの新しいパラダイムを確立しています。