技術要約：Listen-Write-Speak (LWS)

問題提起

音声ベースの大規模言語モデル（LLM）は、現在、根本的なボトルネックに直面している。それは、出力が音声モダリティに制約されていることであり、これによりコード生成、構造化分析、多段階の推論といったテキストネイティブな能力が抑制されている。既存の音声LLMのアプローチは通常、テキストを隠れた中間状態、あるいは音声による応答を改善するためだけの補助的なモダリティとして扱う。これは、ユーザーが複雑な構造化データ（例：コードブロック、表）を手動で書き写したり、修正が困難な音声によるリストとして構造化情報を線形化したりすることを強いる、ユーザー向けの出力を制限している。さらに、現在のモデルは多くの場合、真の全二重通信機能（話しながら聞くこと）を欠いているか、あるいは相互作用中に永続的でユーザーから可視化された推論チャネルを維持することに失敗している。

手法：Listen-Write-Speak (LWS)

著者らは、テキスト第一主義の三チャネル相互作用パラダイムである Listen-Write-Speak (LWS) を提案する。先行研究が複雑なアーキテクチャの変更や別個のモデルに依存しているのに対し、LWSは標準的な自己回帰Transformer内の トークンスキーマ（Token Schema） を通じて、この挙動を完全に実装する。

コアアーキテクチャ

システムは、共有された因果的アテンション・コンテキスト上で動作し、3つのチャネルが「ユニット（Unit）」と呼ばれる離散的な時間間隔（実験では1秒に設定）内で並行して実行される。

1. リスニング（知覚）チャネル： 相互作用を通じて、ユーザーの音声ストリーム（離散的なオーディオトークンとして表現される）を継続的に取り込み、全二重通信機能を可能にする。
2. 可視的なライティング（認知）チャネル： 常時アクティブである。モデルのテキストネイティブな認知を、自由形式のユーザー可視テキストとして外部化する。
   • リスニング中： これまでに聞いた音声に基づいた増分的な推論（例：部分的な理解、曖昧さの解消）を構築する。
   • スピーキング中： 自然な音声と並行して、構造化されたアーティファクト（コード、表、導出過程など）を出力する。
3. スピーキング（表現）チャネル： リアルタイムの口頭応答として自然な言語を生成する。このチャネルは応答フェーズの間のみアクティブになる。

トークンスキーマ

LWSは、特殊なトークンを使用して各ユニット内のチャネル境界を区切る。これにより、基礎となるLLMへのアーキテクチャ変更を必要としない。

• リスニング・ユニット： <unit> $\rightarrow$ audio $\rightarrow$ <|lc|> (ls cogn start) $\rightarrow$ writing $\rightarrow$ <|/lc|> (ls cogn end) $\rightarrow$ </unit>。
• スピーキング・ユニット： <unit> $\rightarrow$ audio $\rightarrow$ <|spk|> $\rightarrow$ speak $\rightarrow$ <|eos|> $\rightarrow$ <|rc|> (reply cogn start) $\rightarrow$ writing $\rightarrow$ <|/rc|> (reply cogn end) $\rightarrow$ </unit>。

リスニングフェーズの認知（ls cogn）とリプライフェーズの認知（reply cogn）を明示的に分離することは、情報のリークを防ぎ、次トークンの予測を簡素化するために不可欠である。これらは異なる情報状態に条件付けられるためである。

データ構築

公開コーパスには、オーディオのタイムラインに沿った、秒単位の認知アノテーションが存在しないため、著者らは2段階のデータパイプラインを開発した。

1. オフライン認知合成： 強力なティーチャーLLMが、標準的なQAペアから3つのテキストストリーム（ストリーミング推論鎖（ls cogn用）、音声応答（speak用）、および元の構造化応答（reply cogn用））を合成する。厳格な因果的制约束により、時刻 $t$ における推論は、時刻 $t$ までに聞いた入力のみを使用するように保証される。
2. オンライン・タイムライン構築： 合成されたストリームを、実際の音声録音およびCTCベースの文字レベルのアライメントと整合させ、ユニットシーケンスを構築する。これには、自然な会話のペースやオーバーラップをシミュレートするための、ランダムな無音区間や割り込みの拡張が含まれる。

主な貢献

1. パラダイムシフト： LWSを、単一の自己回帰LLMが同時に聞き、可視テキストを書き、話すという、テキスト第一の三チャネル・パラダイムとして定式化した。ここでは、可視的なライティングを第一級の出力チャネルとして扱っている。
2. トークンスキーマの実装： 特殊なトークンを用いることで、この複雑な挙動を標準的なTransformer上で完全に実現し、追加のデコーダーやクロスチャネル融合モジュールを回避した。
3. データパイプライン： ストリーミング相互作用の学習用に、因果的に一貫した、秒単位の認知アノテーションを合成する2段階のパイプラインを開発した。
4. 実証的検証： 高いリアルタイム応答性を損なうことなく、強力な全二重通信と高品質な構造化出力を実現することを実証した。

実験結果

モデルは、Qwen3-8BをバックボーンとするMiniCPM-Vアーキテクチャを用いて、いくつかのベンチマークで評価された。

• 音声理解と推論 (URO-Bench)： LWSは、Chinese Pro分割において最高スコア（平均：84.6）、およびChinese Basic理解/推論（92.5/85.9）を達成した。LWSは、内部のアブレーション（書き込みを行わないモデル）を一貫して上回っており、両方のフェーズにおける可視ライティングチャネルの有用性を検証している。
• リプライ品質 (VoiceBench AlpinaEval)： LWSは4.72を記録し、リストされたすべてのオープンソース・ベースラインを上回り、GPT-4o-Audio（4.78）に次ぐスコアとなった。このスコアは、可視ライティングチャネルの品質を反映している。
• チャネルの一貫性： モデルは、音声出力と記述出力の間で**92.6%**の一貫性を達成した。これは、デュアルチャネル・アプローチがコヒーレンス（一貫性）を損なわないことを示している。
• 全二重相互作用 (Full-Duplex-Bench)： LWSは、競争力のあるターンテーキング（0.48秒のレイテンシで0.97 Candor TOR）と、強力な割り込み処理（0.65秒のレイテンシで4.02 GPT-4o品質）を示し、大きな遅延なくオーバーラップから回復した。
• 学習の収束： 3つのチャネルすべて（リスニング・ライティング、スピーキング、リプライ・ライティング）は、低い分散とともにスムーズに収束し、単一の自己回帰モデルにおける共同三チャネル学習の実現可能性を裏付けた。

意義と主張

本論文は、可視的なライティングが、リアルタイムの応答性を犠牲にすることなく、音声インタラクションのための第一級の出力チャネルとして機能できると主張している。全二重のリスニング、可視ライティング、およびリアルタイムのスピーキングを統合することで、LWSは音声モデルがマルチモーダルな設定において、そのテキストネイティブな能力（コード、構造化分析）を活用することを可能にする。著者らは、このアプローチにはアーキテクチャの変更を必要とせず、スケーラブルかつ再利用可能であることを強調している。

本研究は、LWSが応答性に最適化されている一方で、現在は（リアルタイムの制約による）推論の深さや（音声のみの入力による）入力モダリティにおいて限界があることも指摘している。しかし、LWSは、音声ベースのLLMがどのようにユーザーと対話できるかについての新しい基準を確立しており、線形化された音声を超えて、永続的で検査可能な、構造化された中間出力を含むものへと進化させている。