⚡ electrical engineering

Audio Interaction Model

本論文は、Audio Interaction Modelと、その実装であるAudio-Interactionを紹介するものであり、これはSoundFlowシステムとStreamAudio-2Mコーパスを通じて、オフラインのタスク実行とオンラインの汎用的なオーディオ指示への追従を統合することにより、リアルタイムかつプロアクティブな音声理解と応答を可能にする統一ストリーミングフレームワークである。

原著者： Zhifei Xie, Zihang Liu, Ze An, Xiaobin Hu, Yue Liao, Ziyang Ma, Dongchao Yang, Mingbao Lin, Deheng Ye, Shuicheng Yan, Chunyan Miao

公開日 2026-06-04

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zhifei Xie, Zihang Liu, Ze An, Xiaobin Hu, Yue Liao, Ziyang Ma, Dongchao Yang, Mingbao Lin, Deheng Ye, Shuicheng Yan, Chunyan Miao

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ビッグアイデア：「レコーダー」から「ライブな聞き手」へ

想像してみてください。あなたはボイスレコーダーを持っています。録音ボタンを押し、誰かが物語を最後まで話し終えるのを待ち、録音を停止し、それからレコーダーに「彼は何を言っていましたか？」と尋ねます。するとレコーダーはテキストを再生します。これが、現在の「大規模音声言語モデル（LALM）」の仕組みです。これらはオフラインです。つまり、音声クリップが完全に終わるまで、何もせずに待っているのです。

しかし、現実の世界はそうではありません。現実はライブのラジオ放送のようなものです。車の衝突音、赤ちゃんの泣き声、あるいは友人の咳の音が、相手がまだ話している最中に聞こえてきます。あなたは一日の終わりを待ってから反応するのではなく、即座に反応します。

この論文では、Audio-Interactionと呼ばれる新しいモデルを紹介しています。これは、先ほどのボイスレコーダーを、決して注意を逸らさず、常に耳を傾けている超スマートで常時稼働のリスナーへとアップグレードするものだと考えてください。このモデルは音声が終わるのを待ちません。今この瞬間に、沈黙を守るべきか、それとも声を上げるべきかを判断しながら、聞き、理解し、決断します。

旧来のモデルが抱える問題

著者らは、現在のテクノロジーにおける2つの主な問題を指摘しています。

専門化されたツールの多すぎ： 現在、もし音声翻訳ができるモデルが欲しいなら専用のツールが必要で、チャットができるモデルが欲しいなら別のツールが必要で、ガラスが割れる音を聞き取りたいならまた別のツールが必要です。これは、仕事ごとに別々のドライバー、別々のナイフ、別々のハサミを持ち歩かなければならないスイスアーミーナイフのようなものです。
「待ち」の問題： 現在のモデルは、注文がすべて書き込まれるまでキッチンで立ち止まって待っているウェイターのようなものです。実際の会話において、そんなに長く待っていたら、会話はすでに終わってしまっています。

解決策：「知覚・決定・応答」のループ

著者らは、SoundFlowというフレームワーク上で動作する、Audio-Interactionという新しいシステムを作成しました。

このモデルを、警備員であり、かつツアーガイドでもある人物だと考えてみてください。

ループ： わずか0.4秒ごとに、警備員は音に耳を傾けます。
決定： 警備員は「これは重要か？」と自問します。
- もしそれが背景ノイズ（風の音やタイピング音など）であれば、警備員は沈黙を守り、聞き続けます。
- もしそれが特定の指示（「これを翻訳して」など）であれば、警備員は声を上げて翻訳します。
- もしそれが緊急事態（ガラスの粉砕音や咳など）であれば、警備員は即座に割り込み、「気をつけて！」や「水を飲んでください」と言います。
魔法： これらすべてを、たった一つの「脳」で行います。異なる仕事のために異なるツールを必要としません。ただストリーム（音の流れ）を聞き、聞いた内容に基づいて何をすべきかを判断するのです。

どのように構築したか（「SoundFlow」工場）

コンピュータにこのようなことを教えるために、著者らはSoundFlowと名付けた新しい種類のトレーニング工場を構築する必要がありました。

データ（StreamAudio-2M）： 古い録音データは短くて断片的すぎるため、それらを使うことはできませんでした。彼らは、260万個もの長く連続した音声ストーリーを含む巨大なライブラリを構築しました。何千もの短いビデオクリップを縫い合わせ、登場人物が話し、電話が鳴り、犬が吠えるといったことがすべて一度に起こる、シームレスな30時間の映画を作った様子を想像してください。これにより、モデルはリアルで混沌とした、連続的な音のストリームを扱う方法を学びます。
トレーニング（理解力への配慮）： 彼らはモデルに2つの難しいレッスンを教えました。
- 喋りすぎないこと： ドアが閉まる音が聞こえても、「ドアが閉まりました」と言ってはいけません。本当に必要な場合にのみ話すようにします。
  には、過去を覚えていること： もし誰かが10分前に名前を挙げたなら、その間に他のことに耳を傾けていたとしても、後で尋ねられた時にモデルはその名前を覚えていなければなりません。
スピード（FIFO推論）： 高速化するために、「先入れ先出し（FIFO）」システムを使用しました。オーディオが片側から滑り込み、モデルが次のピースを待つために停止することなく、即座に処理していくコンベアベルトを想像してください。これにより、反応速度は従来の方法よりも約4.5倍速くなりました。

何ができるのか？

この論文は、従来のモデルにはできなかったことをこのモデルができることを示しています。

リアルタイム翻訳： 英語を話している人が文章を終えるのを待つことなく、話している最中に中国語へ翻訳することができます。
先回りした助け： ガラスが割れる音が聞こえたとき、モデルは人間が「今の音は何？」と尋ねるのを待ちません。即座に「ガラスが割れる音がしました、注意してください！」と言います。
文脈に応じたチャット： ポーズ（間）、咳、背景音楽などを理解した上で、いつ介入し、いつ人間に話させるかを正確に判断しながら会話を行うことができます。

結果

著者らは、このモデルを8つの異なる課題でテストしました。

賢さを失わない： 「ライブモード」で動作するように学習しても、標準的なタスク（音声認識や質問への回答など）において、従来の「オフライン」モデルと同等の能力を維持しています。
新しい力を解放した： 事後ではなく、音が「起きている最中」に反応するといった、以前は不可能だったタスクを扱えるようになりました。

まとめ

この論文は、オーディオを**記録（レコーディング）することから、オーディオと対話（インタラクション）**することへの転換を提示しています。音声ファイルが完了してから答えを出すモデルではなく、Audio-Interactionは、ストリームの中に存在し、人間が実際の会話で行うように、瞬間ごとに耳を傾け、いつ静かにし、いつ話すべきかを判断するモデルなのです。

技術要約：Audio-Interaction

問題提起

現在の大規模音声言語モデル（LALM）は、主にオフライン・パラダイム（モデルが完全な音声クリップを処理してから応答を生成する $y = f(x, A)$ ）で動作しています。この定式化は、音声が本来持つリアルタイム、連続的、かつインタラクティブな性質を捉えることができません。専用のストリーミングモデル（ストリーミングASRや音声チャットなど）は存在しますが、以下の2つの根本的な限界を抱えています：

断片化: すべての機能に対して、ゼロから訓練された個別のモデルが必要です。
限定的なスコープ: Moshiのような完全なストリーミングシステムであっても、通常は単一のタスクのみを扱い、非音声イベント（例：咳、ガラスの割れる音）を解釈したり、意味的な文脈に基づいて「いつ」応答すべきかを判断したりすることはできません。

既存のアプローチには、連続的な音声ストリームを聴き続け、展開される文脈を理解し、沈黙を守るべきか介入すべきかをリアルタイムで自律的に判断できる統一されたフレームワークが欠けています。

手法：SOUNDFLOW フレームワーク

著者らは、常に稼働している**知覚–決定–応答（perceive–decide–respond）**ループを実現する統一ストリーミングモデルである AUDIO-INTERACTION を提案しています。これは、データ構築、訓練、推論にわたるエンドツーエンドのフレームワークである SOUNDFLOW を通じて実現されます。

1. データ構築：StreamAudio-2M

連続的なインタラクションが可能なモデルを訓練するために、著者らは7つの基本能力と28のサブタスクをカバーする260万アイテム（30.2万時間）のコーパス、StreamAudio-2M を構築しました。

階層的イベントキュレーション: 意味的な衝突を引き起こすランダムな結合の代わりに、LLMを使用して高レベルのシナリオを計画し、それらを具体的なイベントへと精緻化し、検索または生成された音声クリップでグラウンディング（接地）させています。
時間・周波数結合前処理（TFJP）: セグメント間の境界を滑らかにし、ノイズを抑制し、セグメントを整列させることで、繋ぎ合わされたクリップ間の自然な遷移を保証するモジュールです。
疎な介入キュー: サンプルは3〜15ターンのインタラクションとして設計されており、応答のキューは疎であり、かつ文脈に依存しています。これにより、モデルに「いつ話さないべきか」を学習させます。

2. 訓練戦略

モデルは Qwen2.5-Omni-3B から初期化され、二重損失目的関数を用いて訓練されます：

言語モデリング損失 ( $L_{LLM}$ ): 標準的なテキスト生成。
ストリーミング制御損失 ( $L_{stream}$ ): テキストを出力するか沈黙を守るかを決定するために、すべての音声チャンクに対して特殊トークン $d_t \in \{<silent>, <response>\}$ を予測します。
コンテキスト保持メカニズム:
- 履歴レビュー: 前後の内容に関する質問をシーケンスに挿入することで、コンテキストの忘却を防ぎます。
- 理解に基づく沈黙: 不適切なトリガー（誤作動）を減らすため、モデルは（応答を必要としない）検証済みの無音音声セグメントを用いて訓練されます。

3. 推論：非同期FIFOスケジューリング

遅延なくリアルタイムのインタラクションを実現するために、著者らは非同期推論スキームを実装しています：

デカップリング（分離）: 音声エンコーダーは継続的にチャンクを処理し、特徴量をFirst-In-First-Out（FIFO）キューに追加します。
条件付きデコーディング: デコーダーは、最後に生成されたトークンが <silent> または " である場合にのみ、キューに格納された特徴量を消費します。モデルが話している間は、新しい音声を待つことなく自己回帰的に処理を続けます。
結果: これにより、推論の停滞を排除し、同期型のアプローチと比較して最初のフレームまでのレイテンシを 4.5倍 短縮しました。

主な貢献

Audio-Interaction モデル: オフラインタスク（ASR、翻訳、対話）と、ストリーミングネイティブな能力（同時通訳、プロアクティブな支援）を単一のアーキテクチャに統合した統一モデル。
SOUNDFLOW フレームワーク: 階層的なデータ合成、理解に基づいた訓練、非同期推論を含む、ストリーミング音声インタラクションのための完全なパイプライン。
StreamAudio-2M データセット: 文脈に基づいた介入決定を行うモデルの訓練に特化した、大規模なストリーミングネイティブ・コーパス（260万アイテム）。
ProactiveSound-Bench: 明示的な指示なしにプロアクティブに介入する能力（例：火災報知器やガラスの割れる音への警告）をテストするための、644の人間設計イベントを含む新しい評価ベンチマーク。

実験結果

モデルは8つのベンチマークで評価され、以下の3つの強化が示されました：

一般的な音声理解の維持:
- MMAU（一般的な音声理解ベンチマーク）において、Audio-Interactionは音声指示の下で 58.15 を達成し、そのオフライン初期化モデル（Qwen2.5-Omni-3B: 42.51）を上回り、より大きな7Bのオフラインモデルとも遜色ない性能を示しました。
- 音声による指示の下でも堅牢性を維持しており、オフラインのベースラインがしばしば性能低下を起こす場面でも機能します。
競争力のあるコア音声性能:
- ASR: LibriSpeechにおいて、ストリーミングの制約があるにもかかわらず、クリーンな環境で 3.17%、その他の環境で 6.04% の単語エラー率（WER）を達成し、特化したASRモデルに匹敵する性能を示しました。
- 翻訳: CoVoST2において、初期化モデルに対して En-Zh で +15.72、Zh-En で +17.04 のBLEUスコア向上を実現し、7Bベースラインと同等のレベルに達しました。
ストリーミング能力の解放:
- プロアクティブな介入: ProactiveSound-Bench において、Audio-Interactionは単一イベントの決定で 61.2%、マルチイベントのシーケンスで 62.8% の精度を達成し、オフラインLALMや他のストリーミングベースラインを大幅に上回りました。
- ロングストリームの安定性: ストリームを5つの連結セグメントまで延長しても、モデルは 91% 以上の精度を維持しますが、ベースラインモデルは30%以上低下します。

意義と主張

本論文は、AUDIO-INTERACTION が現在のLALMのオフライン・パラダイムと、音声の連続的かつインタラクティブな性質との間の溝を埋めるものであると主張しています。**音声インタラクションモデル（LAIM）**を定式化することで、本研究は単一のモデルが以下を実現できることを示しています：

離散的な音声タスク（認識、翻訳、対話）を、一つのストリーミングネイティブなパラダイムの下に統合すること。
環境的な手がかり（例：安全上の脅威）に基づいて、明示的なユーザー指示なしに介入するプロアクティブな支援を行うこと。
非同期推論を通じて低レイテンシで安定したインタラクションを維持し、リアルタイムの「知覚–決定–応答」ループを可能にすること。

著者らは、この研究を単なる漸進的な改善ではなく、統一されたストリーミング音声インテリジェンスへの必要なパラダイムシフトとして位置づけており、この分野の将来の研究に必要なデータ、フレームワーク、およびベンチマークを提供しています。