技術サマリー：SAME（Semantically-Aligned Music AutoEncoder）

問題提起

現代の生成メディアモデルは、主に生データではなく潜在分布上で動作します。音声分野において、ニューラルオーディオコーデック（NAC）は、生波形とこれらの潜在空間との間の橋渡し役を果たします。支配的なパラダイム（SoundStream、EnCodec、DAC など）は、畳み込みバックボーンを備えたベクトル量子化（VQ）ボトルネックを利用しますが、拡散やフローマッチングに必要な連続潜在モデルは、通常、変分オートエンコーダ（VAE）に依存しています。

既存の連続 NAC はトレードオフに直面しています：下流の生成モデリングの計算コストを削減するための高い時間圧縮率を達成しようとすると、再構成品質や生成の扱いやすさが低下する傾向があります。さらに、標準的な VAE 定式化は、高圧縮音声表現の特定の統計的要件に対して困難に直面することがあります。著者らは、極端な時間圧縮（4096 倍）を達成しつつ、高い再構成忠実度を維持し、ステレオイメージングを保持し、下流の生成タスクに対して適切に整列した潜在空間を確保するアーキテクチャが必要であると特定しました。

手法

提案される SAME（Semantically-Aligned Music autoEncoder）は、トランスフォーマーベースのバックボーンと特定のセマンティック正則化戦略を統合した、ステレオ音楽および汎用オーディオのオートエンコーダです。

1. アーキテクチャ

モデルは、3 つの中核コンポーネントを持つエンコーダ - ボトルネック - デコーダ構造に従います。

• パッチング前変換（Patching Pretransform）: ステレオ波形 $(B, 2, T)$ は、チャネルあたり $P=256$ サンプルの非重複パッチに分割され、入力を $(B, 2P, T/P)$ に再形状します。これにより、学習パラメータなしで 256 倍の時間ダウンサンプリングが達成されます。
• トランスフォーマーリサンプリングブロック（TRB）: 間隔付き畳み込みの代わりに、SAME は残りの圧縮を達成するために、クエリベースのトランスフォーマーリサンプリングブロックを使用します。
  • メカニズム: TRB は、入力埋め込みと学習可能な出力埋め込みを交互に配置します。エンコーダモードではストライド $S$ によってダウンサンプリングし、デコーダモードではアップサンプリングします。
  • アテンション戦略: 可変長のオーディオを処理し、線形複雑性を確保するために、モデルはスライディングウィンドウアテンション（パフォーマンス優先）または境界アーティファクトを回避するための CPU 展開用のミッドポイントシフト付きチャンクドアテンションを採用します。
  • 正規化: 沈黙や低レベルノイズの問題を回避するため、アーキテクチャは LayerNorm/RMSNorm の代わりに**動的 Tanh（DyT）**を利用します。最終的なデコーダ層は、波形レベルの詳細をより良く再構成するために正弦波活性化を使用します。
• ソフト正規化ボトルネック: 標準的な VAE ボトルネックの代わりに、SAME は軽く制約されたボトルネックを採用します。学習可能なチャネルごとのアフィン変換を使用し、その後、指数移動平均で追跡されるRunning標準偏差で除算します。KL 類似の正則化損失は、時間軸とチャネル軸の両方に沿ってゼロ平均・単位分散の統計を促進し、ドリフトや外れ値を防ぎます。

2. 訓練目的

訓練レジメンは、潜在空間を形成するために再構成、敵対的、補助的損失を組み合わせます。

• スペクトル再構成損失: 7 解像度からなるマルチ解像度 STFT 損失で構成されます。
  • スペクトルコントラスト: 標準的なスペクトル収束に代わる、対称的でスケール不変の損失。
  • 適応的対数振幅: 正規化因子 $\sigma$ が信号統計に適応する対数振幅に対する L1 損失。これにより、ノイズフロアによる勾配の支配が防止されます。
  • 位相微分損失: 生位相差の代わりに、モデルは正規化された複素位相ベクトルを操作して、瞬時周波数（IF）と群遅延（GD）の整合性を測定し、過渡的忠実度とステレオイメージングを保持します。
• 敵対的訓練: マルチビューアンサンブルの識別子を用いた相対的ペア GAN 目的。
  • 畳み込み識別子: マルチスケール STFT、PQMF フィルタバンク、およびクロマビューを備えた EnCodec を拡張します。
  • トランスフォーマー識別子: STFT/クロマ識別子を TRB ベースのバージョンに置き換え、調波エイリアシングを回避するためにパッチド波形識別子を追加します。
• 補助的損失（セマンティック整列）:
  • 生成整列（フローマッチング）: 下流のフローマッチング生成のための幾何学を形成するために、小さな無条件拡散トランスフォーマーを潜在空間上で共同訓練します。
  • セマンティック回帰: 軽量な線形回帰器が、潜在空間から直接知覚的特徴（クロマと両耳間レベル差）を予測し、セマンティック構造を強制します。
  • 対照的潜在整列: トランスフォーマーベースのクリティックが、対照的損失を用いて、潜在表現をオーディオ特徴（ウェーブレット分解）およびテキスト埋め込み（T5Gemma）と整列させます。

3. モデルバリエーション

2 つの構成がリリースされます。

• SAME-L: 高品質に最適化された、12 個のトランスフォーマーブロック（次元 1536）を備えた 852M パラメータモデル。
• SAME-S: エッジデバイスでの CPU 展開用に設計された、チャンクドアテンションを使用する蒸留された 108M パラメータモデル（6 ブロック、次元 768）。SAME-S は、凍結された SAME-L ティーチャーから蒸留されています。

主要な結果

本論文は、SAME を最近のオープンウェイト連続潜在オートエンコーダ（Stable Audio Open、$\epsilon$ar-VAE、CoDiCodec、ACE-Step）と比較評価しました。

• 圧縮と速度: SAME は4096 倍の時間圧縮率（オーディオオートエンコーダの標準の 2 倍）を達成します。リアルタイムファクター（RTF）の観点から、SAME-S は畳み込み VAE ベースラインよりも6〜7 倍高速であり、SAME-L はパラメータ数が大幅に多いにもかかわらず2 倍高速です。
• 再構成品質:
  • 客観的: SAME-L は MELlog1p（マルチ解像度対数メル誤差）において最先端のパフォーマンスを達成し、SI-SDR および STFTlog1p において $\epsilon$ar-VAE と比較して競争力のある結果を示しました。
  • 主観的: MUSHRA 聴取テストにおいて、SAME-L は最高評価（82.2 ± 16.6）を受け、$\epsilon$ar-VAE（77.6）および他のベースラインを上回りました。
• 生成の扱いやすさ（アブレーション研究）: アブレーション研究は、補助的損失が重要であることを示しています。ソフト正規化ボトルネックを備えつつ補助的損失がない構成は、標準的な VAE ベースラインよりも性能が劣りました。フローマッチング整列とセマンティック回帰を追加することで、高圧縮（4096 倍）モデルは、生成指標（FAD-CLAP および MuQ-Eval）において低圧縮（1024 倍）VAE を上回ることができました。

意義と主張

著者らは、SAME が、潜在空間が適切に正則化されていれば、高い時間圧縮が品質や生成有用性のトレードオフを必要としないことを実証することで、音声オートエンコーディングにおける重要な進歩を表していると主張しています。

具体的には、本論文は以下を提唱しています。

1. セマンティック正則化が鍵である: フローマッチング整列、セマンティック回帰、およびクロスモーダル対照的整列の組み合わせにより、より単純な非 VAE ボトルネックが、高圧縮率において従来の VAE を凌駕することが可能になります。
2. トランスフォーマープリミティブは効率的である: 最適化されたトランスフォーマープリミティブ（TRB）への依存と高圧縮の組み合わせは、大幅な計算上の利益をもたらし、特に SAME-S バリエーションを介した CPU ベースのエッジ展開において、高品質な音声生成をよりアクセスしやすくします。
3. 位相とステレオの保持: 特定の位相認識損失とステレオ固有の訓練目的は、極端な圧縮レベルであっても、過渡的忠実度とステレオイメージングを成功裏に維持します。

この研究は、SAME が、再構成忠実度、生成パフォーマンス、推論速度のバランスを取りながら、次世代の生成オーディオモデルのための堅牢でオープンウェイトの基盤を提供すると結論付けています。