テクニカルサマリー：大規模オーディオ言語モデルにおける長尺音声理解のためのオーディオコンテキスト拡張

1. 問題提起

SALMONNやQwen2-Audioといった大規模オーディオ言語モデル（LALM）は、通常、オーディオエンコーダとテキストバックボーンを組み合わせることで、ベースとなる大規模言語モデル（LLM）の知識を活用して複雑な音声理解を実現している。しかし、これらのモデルは短いオーディオコンテキストウィンドウ（多くの場合30秒以下）に制約されており、長尺の音声を処理する能力が限られている。位置補間（Positional Interpolation: PI）やYaRNのようなコンテキスト拡張手法は、単一モードのLLMでは成功を収めているが、LALMへの適用については未開拓のままである。

「全コンテキスト（whole-context）」拡張手法をLALMに適用する際には、重大な課題が生じる。これらの手法は、テキストトークンを含むシーケンス全体の位置エンコーディングを変更してしまう。ベースとなるLLMはテキストのみで事前学習されているため、テキストの位置情報を変更すると、その高度な言語能力を損なうリスクがある。さらに、既存のLALMは、総シーケンス長（オーディオ＋テキスト）が元のコンテキストウィンドウ内に収まっていても、学習時に見られたものよりも大幅に長いオーディオに対しては、汎化性能が低くなる傾向がある。

2. 手法

本論文は、これらの制限に対処するために、2つの主要な貢献、すなわち「学習不要の拡張手法」と「学習時のデータ拡張戦略」を提案している。

2.1 Partial YaRN（学習不要の拡張）

著者らは、モダリティを分離したオーディオ専用のコンテキスト拡張手法であるPartial YaRMを導入する。シーケンス全体をストレッチする全コンテキスト型のアプローチとは異なり、Partial YaRNはオーディオトークンの位置エンコーディングのみを排他的に変更し、テキストトークンの位置は変更しない。この設計は、ベースとなるLLMのテキスト能力を損なうことなく、オーディオコンテキストウィンドウを拡張することを目的としている。

• メカニズム: この手法は、周波数に基づいて回転位置エンコーディング（RoPE）の次元を分割するYaRN（Yet Another RoPE）技術を適応させたものである。
  • 低周波次元: 長いオーディオコンテキストを安定してカバーするために、補間（interpolation）を行う。
  • 高周波次元: ローカルな距離や高周波情報を保持するために、純粋な外挿（extrapolation）を行う。
• 2グループ分割: 著者らは、元のYaRNの3グループ分割（低、高、および「中間」）を、2グループの分割へと簡略化した。彼らは、「中間」グループが存在すると、一部の次元が全オーディオをカバーする一方で他の次元はカバーしないという状況において、不整合な位置信号を生み出す可能性があると主張している。この2グループのアプローチにより、オーディオストリーム全体にわたって一貫した位置理解が保証される。
• アテンション温度: YaRNと同様に、この手法は、長いシーケンスにおいてアテンションスコアが崩壊するのを防ぐために、RoPE信号の振幅にアテンション温度のスケーリングを統合している。

2.2 Virtual Longform Audio Training (VLAT)

学習不要の手法はモデル依存性が高く、極端な汎化において苦戦することが多いことを踏まえ、著者らは**Virtual Longform Audio Training (VLAT)**を提案する。これは、Partial YaRNを位置増強技術として再利用するファインチューニング戦略である。

• 概念: 学習中、VLATは多様なオーディオ長をシミュレートするために、実際のデータ長（$L_{data}$）に対してランダムに「仮想的」なソース長（$L_{virt}$、例：実際の長さの1倍から25倍の範囲）をサンプリングする。
• プロセス: 実際の長さが$L_{data}$である学習サンプルに対し、モデルは$L_{virt}$の長さを持つ位置ウィンドウを$L_{data}$に適合するように引き伸ばしたり圧縮したりするために、Partial YaRNを適用する。
• 目的: これにより、モデルは単なる疎な整数のサブサンプリングではなく、高密度で連続的な位置変動の空間にさらされることで、学習データセットに存在する特定の長さを超えて汎化することを学習する。

3. 実験設定

• モデル: 本研究ではSALMONNと**Qwen2-Audio (7B Instruct)**を評価対象とする。両モデルとも、30秒の入力を制限とするWhisperエンコーダを使用しており、長いオーディオは重なりのない30秒のチャンクに分割されている。
• データセット: YODAS2コーパスから構築されたカスタムデータセットYODAS2-MCQAを使用する。これは、オーディオセグメント（1分、2分、5分、10分）と、Gemini 2.0 Flashによって生成された多肢選択式質問回答（MCQA）ペアで構成されている。
• ベースライン: Vanilla（未修正）、Whole PI、およびWhole YaRNと比較を行う。

4. 主な結果

4.1 学習不要の拡張

• パフォーマンス: Partial YaRNは一般にVanillaベースラインを上回り、様々な設定においてWhole YaRNと同等またはそれを上回る性能を示す。
• 観察: 両モデルとも、一貫して2分間までの性能を示しており、これは彼らの本来のオーディオコンテキストが公称の30秒よりも長いことを示唆している。この観察された2分間のウィンドウからではなく、元の30秒から拡張することで、大幅に優れた結果が得られた（例：Qwen2-Audioの10分間の精度は、Partial YaRNを使用することで28.53%から48.00%に向上した）。
• トレードオフ: 普遍的に優れている単一の手法（Whole vs. Partial）は存在せず、性能はモデルや拡張比率によって変動した。しかし、Partial YaRNはテキスト能力を維持しながらオーディオを拡張することに成功した。

4.2 ファインチューニングとVLAT

• ファインチューニング: コンテキスト拡張手法（Whole YaRNまたはPartial PI）をファインチューニングプロセスに組み込むことは、特に長い長さ（例：10分において絶対的な利得は約19%）において、Vanillaのファインチューニングを劇的に上回った。
• VLATの有効性: VLATは、未知のオーディオ長への強力な汎化を可能にした。2分間のデータでVLATを用いて学習したモデルは、10分間のオーディオに対して**75.11%**の精度を達成した（Vanillaのファインチューニングは32.76%）。
• 組み合わせ: VLATトレーニングとPartial PI推論の組み合わせが最高の性能（10分間のオーディオで81.73%）をもたらし、これらの戦略が相補的であることを示した。

4.3 アブレーション研究

• 周波数グルーピング: 周波数のグルーピングまたはアテンション温度のスケーリングを除去すると、大幅な性能低下を招いた。これは、両方のコンポーネントが極めて重要であることを裏付けている。
• 2グループ vs. 3グループ: 提案された2グループの分割は、特に長いオーディオ長におけるQwen2-Audioにおいて、元の3つのグループによるYaRNの分割よりも優れた性能を示し、「中間」の次元による不整合を回避するという設計の妥当性を検証した。

5. 意義と主張

本論文は、コストのかかるデータ取得やアーキテクチャの再設計を必要とせずに、既存のLALMの長尺オーディオ能力を向上させるための、実用的かつアクセシブルな経路を提供すると主張している。

• モダリティの分離: オーディオの位置操作を隔離することで、全コンテキスト拡張に伴うリスクであるベースLLMのテキスト性能の低下を招くことなく、オーディオコンテキストを拡張できることを著者らは実証している。
• 汎化: 本研究は、長尺オーディオ理解の核心的なボトルネックは、オーディオとテキストの整合性の欠如ではなく、モデルが学習範囲を超えたオーディオの位置に不慣れであることにあることを強調している。VLATは、学習中に未知の長さに汎化させることでこれに対処する。
• 効率性: 提案された手法（Partial YaRNおよびVLAT）は、「ドロップイン」の強化策および効率的なファインチューニング戦略を提供し、幅広い既存モデルへの適用を可能にする。

著者らは、評価がMCQAタスクに限定されており、合成データ生成に依存しているため、オープンエンドな生成や現実世界のオーディオ忠実度のニュアンスを完全には捉えきれていない可能性があるという限界も認めている。また、単一モードのLLMで利用可能な閉形式の解と比較して、Partial YaRNのハイパーパラメータチューニングには計算負荷がかかることも指摘している。