技術的概要：自然言語による音声伝達（語彙的音響符号化）

1. 問題定義

現在、自然言語はオーディオシステムにおいて周辺的な役割を果たしており、主にメタデータ、プロンプト、またはキャプションとして機能し、音声そのものは波形、連続的な潜在変数、または学習されたコーデックトークンを通じて運ばれている。本論文は、明確な設計点を調査する：自然言語は音声そのものの伝達表現として機能しうるか？

核心的な課題は、言語モデルエージェント間の実用的な双方向通信を支援するのに十分な測定可能な音響情報を、十分に構造化された語彙が担い得るかどうかを決定することである。ビットレベルの可逆性を優先する従来のコーデックや、再構成忠実度が欠如しているが人間の可読性を優先するキャプションとは異なり、この研究は、人間が読み取れ、音響的に解釈可能であり、かつ損失のある波形再構成を可能にする表現を追求する。

2. 手法：語彙的音響符号化（LAC）

LAC は、事前学習された大規模言語モデル（LLM）の送信者と受信者エージェントが自然言語を通じて音声を伝達するフレームワークである。このシステムは、エージェントが独自の分析および合成コードを記述し、構造化された文、共有語彙、およびオプションの記号音楽構造のみを通じて通信する、固定されたシステムプロンプトの下で動作する。

2.1 パイプライン

このプロセスは、共有語彙を備えた通信プロトコルに従う：

1. 共有語彙のセットアップ: 特徴量セット $\mathcal{F}$（例：スペクトル重心、減衰時間）と、各特徴量に対応する語彙アルファベット $\mathcal{A}_i$ を含む語彙 $V$ が確立される。この語彙は人間によって作成されるか、エージェントによって生成される。
2. 符号化（送信者）:
   • 特徴量抽出: 入力波形は、市販のツール（例：librosa）を用いて、$d$ 次元の音響特徴量ベクトルとして分析される。システムは、時間的、スペクトル的、調性的、および心理音響的ドメインを網羅する 47 の特徴量を使用する。
   • 語彙的量子化: 各特徴量値は、特徴量固有の間隔テーブルを介して離散的な語彙ラベルにマッピングされる（例、$[0.10, 0.30)$ 内の RMS 値は「中電力」にマッピングされる）。これにより、語彙コード $\ell = (\ell_1, \dots, \ell_d)$ が生成される。
   • 言語化: コードは構造化された英語の文に変換される。言語化機能は、文が読みやすいことを保証しつつ、単射的なキャリアとして機能するよう確保する。つまり、用語を削除、統合、または曖昧に改名することはできない。
3. 伝送: 伝送されるのは英語の文のみである。バイナリオーディオペイロード、学習された潜在変数、または非 ASCII のサイドチャネルは使用されない。
4. 復号（受信者）:
   • 解析: 受信者は文を解析し、$d$ ラベルの語彙コードに戻す。
   • ラベル反転: 各ラベルは、代表的な数値値（通常は区間の中央値）および区間制約に反転される。
   • 合成: 決定論的ハイブリッドシンセサイザー（調和、モード、およびノイズベースのコンポーネントを組み合わせる）が、これらの目標に基づいて波形を生成する。
   • クローズドループ改善: システムは合成された波形を再分析し、伝送された区間制約に対してスコアリングし、レンダラー制御（例：エンベロープのスケーリング、モード密度）を反復的に調整して不一致を最小化する。

2.2 理論的枠組み

LAC は、有限レート損失量子化器として枠組み化される。情報容量は語彙サイズによって制限される（$B_{max} = \log_2 |\mathcal{L}|$）。このシステムは、ビットレベルの可逆性を、人間の可読性やテキストネイティブな伝達といった特性と交換し、従来のコーデックよりも意味的通信システムに近い形で動作する。

3. 主要な貢献

本論文は、主に 3 つの貢献を行う：

1. LAC の形式化: 音響記述子を短い語彙コードに量子化し、LLM エージェント間のプレーンテキスト伝送のために言語化し、チャネルに対して有限レートおよび損失量子化器の結果を提供するフレームワーク。
2. エージェント環境: 送信者と受信者エージェントが固定されたプロンプトの下で独自の分析および合成コードを記述し、特定のタスクのために特別に訓練されることなく、語彙文と共有語彙のみを通じて通信する実験的設定。
3. ハイブリッド再構成: 区間認識型のクローズドループ改善の導入。LAC が、短い孤立した音と、構造が ABC 記法を通じて外部に保持され音色が LAC によって運ばれる記号音楽の転送の両方を支援することを示す。

4. 実験結果

実験は、3,707 件の短いオーディオサンプル（0.0002 秒から 2 秒）からなるデータセットを用いて、GPT-5.3-Codex エージェントによって行われた。これらのサンプルは、トラッカー音楽モジュールから派生したものである。

• 特徴量ファミリーの除去実験: 合成前の精度（ラベルを値に反転）は、47 個の特徴量すべてを使用した場合、100% に達した。合成後の精度（波形を再構成し特徴量を再抽出）は、すべての特徴量を含めた場合、約**74%**に達した。バークバンド情報が最大の改善をもたらしたが、時間的および心理音響的なファミリーはわずかな改善しか加えなかった。
• クローズドループ改善: 改善は再構成を著しく向上させた。精度は、改善なしで約 72% から、64 回の評価で約 84% に上昇した。スループットは評価回数に反比例して減少した。
• 定性的パフォーマンス: 再構成された波形は、元の波形とサンプル単位で一致しなかった。しかし、巨視的なエンベロープ、支配的な周期性、および音調対ノイズのバランスを保持しており、知覚的な類似性が生じた。
• 音楽転送: システムは、ABC 記法で別途伝送された記号構造（音符、タイミング）を保持しつつ、音色を正常に転送した。

5. 意義と範囲

本論文は、LAC をオーディオ表現の設計空間における明確な点として位置づける：

• コーデックの代替ではない: LAC は、生のレート–歪みの観点から、ニューラルコーデック（EnCodec や SoundStream など）を代替するよう設計されていない。これは、正確なサンプル回復、音声符号化、または完全な音楽圧縮をサポートしない。
• 解釈可能な伝達: これは、人間が読み取り、監査可能な、プレーンテキストの音響表現を提供する。人間は表現を読み、監査でき、言語モデルはそれを操作でき、デコーダはそれを音としてレンダリングできる。
• 意味的通信: これは、再構成には弱いものの読みやすいキャプションと、可逆的だが不透明なコーデックの間のギャップを埋める。伝送される文は、豊かなキャプションであると同時に、それ自体が伝達表現として機能する。

限界:

• システムは、短い、孤立した、非音声の音（ヒット、バースト、pluck）を対象としている。持続的で時間変化する音には苦戦し、音韻的内容、話者識別、または外部の記号表現なしで長距離の音楽的構造（メロディ、和声）を捉えることはできない。
• 復号は本質的に近似である。これは元の波形を正確に回復するのではなく、語彙記述と整合する音を再構成する。
• 記号音楽の転送は現在、ABC 記法に依存している。制約のない散文で複雑な音楽的構造を記述することは、依然として制約充足問題である。

結論として、LAC は、プレーンテキストが解釈可能で編集可能でありながら測定可能な音響構造を保持しうることを示しており、エージェントを介した音声通信のための新たなパラダイムを提供する。