技術要約：エンドツーエンド音声モデルにおける周波数表現の構造的ボトルネック

問題提起

エンドツーエンドのニューラル音声モデル（EnCodec、DAC、Stable Audioなど）は、圧縮および生成において最先端の性能を達成しており、それゆえに、ピッチや音色といった解釈可能な特徴量を直接エンコードしているという仮定が置かれがちである。しかし、解釈可能性に関する研究では、学習された表現からこれらの特徴量を抽出することに広く失敗している。本論文は、高い性能は、解釈可能な時系列・周波数プリミティブ（狭帯域振動）への直接的なアクセスなしに成立し得るものであると論じている。著者らは、ストライド畳み込みエンコーダが2つの構造的ボトルネックを課しており、それが人間にとって意味のある音声特徴の基礎となる「周波数局在化したプリミティブ」へのアクセスを阻害していると主張する。これらのボトルネックは特徴量を絡み合わせ（entangle）、たとえ信号情報が理論上は潜在空間内に保持されていたとしても、独立した操作を不可能にしている。

手法

理論的枠組み

著者らは、エンコーダを、時間領域の入力をストライド畳み込みを介して潜在変数 $z \in \mathbb{R}^d$ へと圧縮する写像 $E: x(t) \to z$ としてモデル化している。彼らは以下の2つの具体的な失敗モードを分析している：

1. 単射性の失敗（エイリアシングによる崩壊 / Aliasing Collapse）:

   • メカニズム: ダウンサンプリング操作はエイリアシングを誘発し、異なる入力周波数 $f_i$ を同じ潜在周波数 $f_i \mod f_s$（ここで $f_s$ は実効的な潜在サンプリングレート）へとマッピングしてしまう。
   • 理論: 鳩の巣原理を用い、著者らは（信号周波数とストライド・スケジュールの算術的関係に基づく）単射的に表現可能なコンポーネントの数 ($q$) に関する解析的な境界を導出している。もし入力コンポーネントの数 $n > q$ であれば、異なるコンポーネントは区別不可能なプロキシ・コンポーネントへと崩壊する。
   • 予測: この崩壊は、学習された重数とは無関係に、アーキテクチャ（ストライド・スケジュール）と信号構造のみから予測可能である。

2. 分離性の失敗（解像度の限界 / Resolution Limit）:

   • メカニズム: たとえコンポーネントがエイリアシングを生き延びたとしても、学習されたフィルタの帯域幅が広すぎる場合、それらは分離不可能なままとなる可能性がある。
   • 理論: エンコーダの累積受容野 ($R$) は、不確定性原理に基づき、周波数解像度 ($\Delta f = f_s / R$) に対するハードな上限を設定する。
   • 予測: 軽量な構造モデルは、カーネルの幾何学的形状（サイズ、ダイレーション、ストライド）のみに基づき、重数にアクセスすることなく、学習されたフィルタの最小達成可能帯域幅を予測する。著者らは、学習されたフィルタがこの理論的限界を大幅に上回って動作していると仮定している。

実証的検証

• データセット: 既知の中心周波数を持つ狭帯域コンポーネントで構成された制御された合成信号を用い、グラウンドトゥルースの崩壊を測定した。実験は、3つの最先端モデル（EnCodec、DAC、Stable Audio）にわたる643の信号構成を対象に行われた。
• 指標:
  • 崩壊率 (Collapse Rate): 入力コンポーネントが共有プロキシ・コンポーネントにマッピングされる割合。
  • 分離比 (Separability Ratio): コンポーネントの間隔と学習されたフィルタ帯域幅の比 ($\rho = \Delta c / B$)。
  • フィルタ帯域幅 (Filter Bandwidth): 最終層の畳み込みの周波数応答のスペクトル解析を通じて測定。

介入策：Gabor潜在変数再構成 (Gabor Latent Refactorization, GLRF)

分離性の問題に対処するため（ただし注入性の問題には対処しない）、著者らは、エンコーダの再学習を必要としない軽量な事後介入策としてGLRFを提案している：

1. 分解 (Decomposition): エンコーダの潜在変数を、理論的な解像度境界 ($\Delta f = f_s / R$) に一致するようにパラメータ化された固定のガボール・フィルタバンクに通す。これにより、潜在変数を周波数局在化した基底へと再表現する。
2. 再構成 (Reconstruction): 元の潜在変数をガボール分解された表現から再構成するために、クローズドフォームのリッジ回帰を介して線形写像 $M$ を学習する ($z \approx M\tilde{z}$)。
3. 制御 (Control): この変換により、特定の周波数ビン（例：あるピッチを別のピッチに置き換えるなど）をターゲットにした操作が可能になる。

主な結果

1. 構造的ボトルネックの予測精度

• 注入性: 解析的に予測された崩壊率は、すべてのモデルと信号構成において $r \approx 0.99$ の相関を示した。
  • 現実的な信号設定における観測された崩壊率は、31%から35% の範囲であった。
  • 本研究は、合成数の多いサンプリングレート（例：48 kHz）は、因数複雑性が低いレート（例：22.05 kHz や 44.1 kHz）よりも著しく多くの崩壊を引き起こすことを確認した。
• 分離性: 学習されたフィルタは、受容野の理論的解像度境界の 9〜35倍 上で動作していた。
  • 例えば、DACの最良のフィルタ帯域幅は理論限界の35倍であり、EnCodecは10倍であった。
  • これは、畳み込みをスタックすることで単一カーネルの境界よりも解像度は向上するものの、エンコーダが受容野によって許容される全解像度能力を活用できていないことを裏付けている。

2. GLRFの有効性

• 解像度の回復: GLRFは、フィルタ帯域幅を理論的境界の10〜35倍から、1.5〜3倍 まで減少させた。
• 忠実度: 再構成の忠実度は維持され、潜在変数のコサイン類似度は $\ge 0.97$ であり、低ログメル誤差を示した。
• 制御可能性:
  • 標的置換 (Targeted Substitution): 元の潜在空間では、標的とする周波数の置換は、コンテキストの混入（contamination）により、成功率はチャンスレベルを下回る 30% であった。一方、GLRF空間では、成功率は 100% に達した。
  • 局在化 (Localization): ガボール空間では、周波数置換に伴うエネルギー変化の80%がわずか3つのビンに集中していた。対照的に、元の潜在空間では、変化は〜349個のチャネルに分散しており、識別可能な構造は存在しなかった。
  • 安定性: ガボール空間における置換方向は、混合コンテキスト間でも一貫していた（平均コサイン類似度 0.88）。一方、元の潜在空間における方向は大きく変動した（0.61）。

意義と主張

本論文は、現在のエンドツーエンド音声モデルにおけるピッチや音色の制御が困難である理由は、単なる学習の不足ではなく、ストライド畳み込みアーキテクチャによる予測可能な構造的帰結であると主張している。

• アーキテクチャの決定論: 周波数プリミティブへのアクセスの失敗は、ストライド・スケジュールとカーネルの幾何学的形状によって決定されるため、訓練前にこれらの制限を分析し予測することが可能である。
• もつれ（Entanglement）か、欠如（Absence）か: モデルは周波数構造を「忘れている」のではなく、むしろ、もつれた、アクセス不可能な形態で保持している。特徴量は存在するが、独立した操作を可能にする基底において露出されていないのである。
• 事後的な回復: 本論文は、エンコーダのパラメータ空間に既に存在する信号構造を「解錠」するために、潜在変数を周波数局在化した基底へと再表現することが、再学習なしに大幅な表現制御を回復できることを示している。GLRFは、その概念実証として機能する。
• 設計への示唆: 著者らは、ストライド・スケジュールの設計が表現能力における重要なレバーであることを示唆している。因数複雑性が低いサンプリングレートを選択することは、エイリアシングによる崩壊を大幅に減少させる可能性があり、これは学習によるアンチエイリアシングに頼るのではなく、アーキテクチャ設計段階で行われるべき決定である。

本研究は、より広いメカニスティック・インタープリタビリティ（機械論的解釈可能性）の分野の中に、音声モデルの「表現予算」が、特定の幾何学的制約によって、人間にとって意味のある構造に対して過小利用されているという事実を位置づけている。