On the Effect of Segmentation Width and Cluster Size on Speech Resynthesis and Continuation in Generative Spoken Language Models

テクニカルサマリー：生成的な音声言語モデルにおける音声再合成および継続におけるセグメンテーション幅とクラスターサイズの影響について

問題提起
生成的な音声言語モデリング（GSLM）は、テキストの書き起こしに依存することなく、離散的な音声表現を用いて言語モデル（LM）を学習させることを目的としている。このパラダイムは、未記載言語や乳幼児の言語獲得への応用を可能にする一方で、現在のGSLMのアプローチには効率性の課題が存在する。音声信号を離散ユニットシーケンスへと変換するプロセス（speech-to-unit、またはs2u）は、通常、テキストよりも大幅に長いシーケンスを生成するため、TransformerベースのLMにおいて計算コストの二次的な増加を招く。既存の文献では、音声言語理解の性能はシーケンス長を短縮しクラスターサイズを大きくすることで向上することが示唆されているが、生成的なアプリケーションにおいて極めて重要な音声合成および継続タスクにおいてもこれらの知見が当てはまるかどうかは不明なままである。

手法
著者らは、s2uパイプラインにおける2つの主要なパラメータを操作することで、ビットレートがGSLMの性能に与える影響を調査している。

1. セグメンテーション幅 ($N$): SSLモデル（HuBERT-base）から抽出された連続的な音声表現を、$N$ミリ秒の固定長ウィンドウに分割する。
2. クラスターサイズ ($K$): これらのセグメントを、$2^7$ (128) から $2^{14}$ (16,384) までの異なる数のクラスターを用いたK-meansクラスタリングによって量子化する。

8つの$N$の値（20msから280ms）と8つの$K$の値を組み合わせることで、本研究では64通りの異なるビットレート設定を作成している。ベースラインは、$N=20$（元のHuBERTのフレームシフトに一致）かつ標準的なクラスターサイズとして定義される。

実験フレームワークでは、主に2つのタスクを評価する：

• 音声再合成（Speech Resynthesis）: 離散ユニットから入力音声を再現する。
• 音声継続（Speech Continuation）: 入力セグメントを条件として、意味的および音響的に一貫した音声を生成する。

システムには標準的なGSLMアーキテクチャを採用している：s2uモジュール、Transformerベースの自己回帰的ユニット言語モデル（uLM、OPTに基づく）、およびユニット音声合成（u2s）モジュールである。堅牢性を確保するために、2種類の異なるu2sモデルがテストされた：Parallel WaveGANボコーダーを用いたTacotron2と、エンドツーエンドモデルであるVITSである。

評価指標
本研究では、多角的な評価戦略を用いている：

• 再合成: 知能性を測る単語誤り率（WER）、自然さを測るUTMOS、および音響特徴量の再構成精度を測るメルケプストラム歪み（MCD）とLogF0 RMSE。
• 継続: 様々なサンプリング温度におけるパープレキシティ（PPL）および多様性（VERT）。著者らは、PPL/VERTのトレードオフにおける従来の「曲線下の面積」指標は、非単調な挙動のためにしば頻繁に無効となるため、代わりに最小最大正規化後のオラクルポイントへのユークリッド距離を使用していると述べている。
• 高度な評価: LLM-as-a-Judge（GPT-4.1-mini）を用いたペア比較判断、および意味論的平均意見スコア（MMOS）を用いた人間による評価。

主な結果

• 音声再合成: 小さいセグメンテーション幅（$N$）が一般的に好ましいものの、中程度の大きさの値（例：$N=40$または$80$）でも、知能性や自然さに大幅な劣化を伴うことなくベースライン（$N=20$）と同等の性能を達成している。これは、低いビットレートの設定でも音声品質を維持できることを示唆している。
• 音声継続: ベースラインがしばしば最良の結果をもたらす再合成とは対照的に、より大きな$N$（低いビットレート）を持ついくつかの設定が、継続タスクにおいてベースラインと同等、あるいはわずかに優れた性能を示した。具体的には、Tacotron2を用いた$(N=120, K=2^{13})$およびVITSを用いた$(N=80, K=2^{12})$の設定が高い性能を示した。
• モデル依存性: Tacotron2は知能性（WER）において一貫してVITSを上回ったが、VITSは音響的忠実度（MCD, UTMOS）において優れた性能を示した。しかし、PPLおよびVERTスコアにおける両モデル間の高いスペアマン順位相関係数から明らかなように、u2sモデルの選択は継続のセマンティックな内容の質には限定的な影響しか与えなかった。
• 評価指標: LLMベースのペア比較判断は、従来の指標（PPL, VERT）よりも人間の主観的スコア（MMOS）との相関が高かった。しかし、全体的な相関は依然として低く、現在の自動指標は音声の「意味らしさ」を信頼性高く評価するには不十分であることを示している。

意義と主張
本論文は、高解像度の離散ユニット（小さな$N$、長いシーケンス長）を通常用いる従来のGSLMの設定には、効果的な音声生成のための冗長な情報が含まれている可能性があると主張している。著者らは、セグメンテーション幅を大きくしクラスターサイズを最適化することで、大幅に低いビットレートであっても、知性的で自然な音声の再合成、および高品質な音声の継続が可能であることを示している。

この知見は、出力品質を損なうことなく、GSLMのトレーニングおよび推論をより効率化するための道筋を示唆しており、計算コストを削減できる可能性がある。さらに、本研究は評価手法における決定的なギャップを浮き彫りにしている。LLMベースの指標は従来の指標よりも改善されているものの、音声継続のための堅牢で高相関な自動評価手法は依然として不足しており、この分野におけるさらなる研究が必要である。