技術要約：DuplexGen – 合成対話音声におけるコンテンツ、タイミング、および音響のデカップリング（分離）

問題提起

合成対話音声は、対話型音声認識（ASR）および話者ダイアリゼーション・システムの開発と評価において極めて重要なリソースである。しかし、既存の対話合成パイプラインには根本的な限界がある。それらは通常、対話コンテンツを先に生成し、その後に手動のマーカーや固定されたタイミング・ルールを用いて、会話のダイナミクス（割り込み、オーバーラップ、バックチャネルなど）を挿入する。このアプローチでは、会話のタイミングが相互作用から「創発（emergent）」するのではなく、生成パイプラインによって「規定（prescribed）」されてしまう。

逆に、近年のフルデュプレックス（全二重）対話モデルは、発話しながら継続的にリスニングを行うことで自然な相互作用のダイナミクスを生成できるが、コンテンツを自由に生成してしまうため、定義された対話スクリプトに確実に従わせることができない。現在の手法は、「制御可能なコンテンツ」と「創発的な相互作用」の両立に苦慮しており、この組み合わせは未開拓の領域である。

手法：DuplexGen フレームワーク

著者らは、対話生成をコンテンツ、タイミング、音響という3つの独立したステージに明示的にデカップリング（分離）するフレームワークであるDuplexGenを提案している。この分離により、各ステージが会話の特定の側面のみを担当することを保証する。

1. コンテンツ生成（スクリプト作成）

大規模言語モデル（LLM）が対話スクリプトを生成し、語彙的コンテンツと話者の順序を決定する。このステージでは、会話の「何（what）」を固定する。

2. タイミング生成（スクリプト制約付きデュプレックス・デコーディング）

2つのフルデュプレックス対話モデルが、互いにリスニングしながらリアルタイムでスクリプトを実行する。コンテンツを固定したままタイミングを創発させるために、著者らはスクリプト制約付きデュプレックス・デコーディング戦略を導入している。

• 語彙制約（Lexical Constraint）: モデルはオーディオを生成する前にテキストトークンを予測する。各フレームにおいて、候補となる語彙は、次に来るべきスクリプトのトークン（話者が発言権を得ている場合）、リスナーによるバックチャネルの集合（例：「ええ」「うん」）、またはパディング・トークン（無音）のいずれかに制限される。
• 決定プロセス: モデルは「何を」言うかを決定するのではなく、「いつ」次のスクリプト・トークンを発出するか、あるいは沈黙を維持するかを決定する。
• 制御パラメータ: 以下の3つのパラメータが、正確なタイムスタンプを強制することなく、相互作用を制御する。
  • ハンドオフ・ウィンドウ ($W_h$): 発話終了の予測位置の周囲のインターバルを定義し、リスナーが発言権を得られる範囲を指定する。
  • 最大パディング ($P_{max}$): 非現実的な空白を防ぐため、連続する沈黙フレームを制限する。
  • バックチャネル不応期 ($R_{bc}$): リスナーによるバックチャネルの間隔に最小限のインターバルを課す。
• 創発性: 発話権の遷移、オーバーラップの持続時間、およびバックチャネルの付着点は、2つのモデル間の相互作用によってオンラインで決定され、会話のダイナミクスが自然に創発する。

3. 音響実現（高忠実度再レンダリング）

デュプレックス・モデルは、最終的な波形ではなく、記号的な相互作用スコア（アクティブな話者、ターン境界、オーバーラップ、バックチャネルを記録したもの）を出力する。高忠実度TTSシステム（CosystVoice）がこの相互作用を再レンダリングする。

• タイミング転送: 絶対的なタイムスタンプを直接コピーするのではなく、相対的な位置を保持する。オーバーラップの場合、次のターンの開始位置は、現在のターンの持続時間の特定の割合の位置に配置される。
• 音響的リアリズム: 中断された発話は、現実的な割り込みをシミュレートするために、短いクロスフェードを伴って物理的に切り詰められる。バックチャネルは独立して合成され、マッピングされた位置でメインの会話にミックスされる。
• 自動アノテーション: 記号的スコアが対話を完全に指定しているため、単語のタイムスタンプ、話者活動、オーバーラップ領域などのアノテーションが合成中に自動的に生成される。

主な貢献

1. デカップリングされたフレームワーク: コンテンツ生成、会話ダイナミクス、および音響レンダリングを明示的に分離した対話合成フレームワーク。
2. スクリプト制約付きデュプレックス・デコーディング: リアルタイムの相互作用を通じて、オーバーラップ、割り込み、バックチャネルを自然に創発させつつ、厳密な語彙制約を課す戦略。
3. 相互作用を考慮したコーパス: 構築時にアノテーションが付与された、相互作用を考慮した患者・臨床医の対話音声コーパスの構築。これにより、本フレームワークが継ぎ合わせ（stitching）ベースの手法よりも実際の対話分布に近いダイナミクスを生成することを実証した。

実験結果

著者らは、実在の臨床対話（PriMock57）をリファレンスとして、継ぎ合わせベースのベースライン（固定ギャップおよびランダムギャップ）に対してフレームワークを評価した。

• 分布的リアリズム: 提案手法は、統計的な一致において継承ベースラインを大幅に上回った。
  • フロア転換オフセット (FTO): Wasserstein距離 ($W_{fto}$) は、ランダムな継ぎ合わせの0.695から、DuplexGenの0.366へと改善し、47%の相対的向上を示した。
  • オーバーラップとギャップ: 単一のゼロに近いギャップ・モードに収束する継ぎ合わせベースラインとは異なり、DuplexGenはオーバーラップした遷移（実データの42.8%に対し38.5%）と、ロングテールな沈黙分布（実データの20.5%に対し30.8%）の両方を自然に再現した。
• 忠実度: デカップリングが有効であることを検証した。コンテンツの忠実度は完璧（強制WER 0%）であり、オーバーラップ事象は正確に転送された。音響的再レンダリングは、話者の一貫性（CAM++類似度 0.82）を維持しつつ、最小限のエラー（WER ≤1.7%）をもたらした。
• 制御可能性: システムは、同一のタイミング・パラメータの下で異なる対話スタイル（医療 vs カジュアル）に適応し、医療コンテキストではカジュアルな文脈（10.5%）と比較して、より少ないオーバーラップ（7.2%）を生成し、実際の臨床行動に密接に一致した。
• ダウンストリーム・ストレス・テスト: ASRの堅牢性をテストするために、**180セグメント（175分）**のベンチマークを作成した。結果は、オーバーラップ領域のエラーが総エラーよりも3〜7倍高く、相互作用の難易度とともに単調に増加することを示した。
  • アブレーション研究: 2×2のアブレーションにより、音響レンダリング（特にオーバーラップの強度）が、タイミング・メカニズム自体よりもダウンストリームのASRの難易度を左右することが明らかになった。しかし、創発的なタイミングは、難易度のレベルを適切に制御することに成功した。

意義と主張

本論文は、DuplexGenが、オーバーラップする対話音声がコンテンツのためにスクリプト化可能でありながら、タイミングにおいては創発的であり、かつ音響的には高忠実度である、「ゼロ・トレーニング・パイプライン」を提供すると主張している。

• リアリズム: 創発的なターン・テイキングは、継ぎ合わせ手法よりも実際の臨床対話の分布に近く、継ぎ合わせベースラインには存在しない複雑なダイナミクス（オーバーラップした遷移や長い空白）を正常に再現している。
• 有用性: 得られたフレームワークは、構築時のグラウンドトゥルース（正解ラベル）を備えた、ASRおよび話者ダイアリゼーション・システムをストレス・テストするための制御可能なベンチマークを提供する。
• 謙虚な姿勢: 著者らは限界についても認めている。具体的には、相互作用は部分的にしか創発しておらず（グローバルな統計量は依然としてパラメータによって制御されている）、深い発話中の中断はまだモデル化されておらず、厳格なデカップリングが適応性を制限していること（話者が中断後に内容を修正できないこと）を挙げている。また、現在のベンチマークは、音響レンダリングが創発的なタイミングよりも難易度に影響を与える、実際の臨床会話の簡略化された近似であることも述べている。

本研究は、制御可能なコンテンツ生成と自然な相互作用モデリングの間の溝を埋める、より現実的な合成対話データへの一歩として位置づけられている。