🤖 AI

ARENA: Automated Red-Teaming for Large Audio Language Models

本論文は、テキストのみの防御を回避する有害なテキスト・音声入力を生成することで、大規模音声言語モデルにおける安全性の脆弱性を効果的に暴き出し、複数の最先端モデルにおいて高い攻撃成功率を達成する、クローズドループ型の自動レッドチーミングフレームワークであるARENAを紹介するものである。

原著者： Jiaming He, Zhicong Huang, Tian Jin, Zhen Sun, Cheng Hong, Yi Yu, Wenbo Jiang, Xudong Jiang

公開日 2026-08-18

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jiaming He, Zhicong Huang, Tian Jin, Zhen Sun, Cheng Hong, Yi Yu, Wenbo Jiang, Xudong Jiang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが機械と会話をしている場面を想像してみてください。しかし、その機械はあなたの言葉だけでなく、あなたの声の響きや、背景の雑音、さらには部屋で流れている音楽までも聞き取っています。これは、大規模オーディオ言語モデルとして知られる、人工知能の新たな領域です。これらのシステムは、音声、波が砕ける音や窓が割れる音を認識し、聞いた内容に基づいて質問に答えることができます。これらは、テクノロジーをよりアクセシブルで直感的なものにし、音の豊かさを用いてコンピュータと対話することを可能にすると期待されています。しかし、この「世界を聴く」という新たな能力は、隠れた危険をもたらします。テキストとして読めば完全に無害に見える要求が、特定の音と組み合わされることで、危険なものへと変貌する可能性があるのです。例えば、化学に関する丁寧な質問は、紙の上では安全に見えますが、それが爆発の録音音源と組み合わされた場合、機械はその組み合わせを「爆弾の作り方」の要求であると解釈してしまうかもしれません。このように、見た目が安全であることと、実際に有害な反応を引き起こすことの間のギャップこそが、現在研究者たちが解決しようとしている中心的な課題です。

この目に見えないリスクに対処するため、科学者チームはARENAと呼ばれる新しい手法を開発しました。これは「大規模オーディオ言語モデルのための自動レッドチーミング（Automated Red-Teaming for Large Audio-Language Models）」の略称です。研究者たちは、この問題を、すべてが機械によって行われる「猫と鼠」のゲームのように扱いました。彼らの目標は、これらのオーディオ対応型マシンが安全規則を破るかどうかを確認するために、テストケースを自動生成できるシステムを構築することでした。テストが成功した場合、システムは一対の入力を作成します。それは、単独で読めば完全に安全なテキストの質問と、それに付随するオーディオファイルです。ターゲットとなる機械がこれらを同時に聞いたとき、理想的には回答を拒否すべきです。もし機械が代わりに危険な指示や有害な情報を提供したならば、それは研究者にとっての「成功」であり、システムの安全性における脆弱性を明らかにしたことを意味します。

研究者たちは、この発見プロセスを自動化するために、クローズドループ型のフレームワークを構築しました。まず、コントローラーの訓練から始めました。これは、これらトリッキーなテストのペアをどのように作成するかを学習するAIです。このコントローラーは、2,000個の事例を含むデータセットを用いて訓練され、安全なテキストと、爆発音や欺瞞的な命令を与える声といった特定のオーディオプロンプトをどのように組み合わせるかを学びました。コントローラーは、話し言葉か、あるいは車の警報やガラスの割れる音のような環境音か、という2種類のオーディオの選択肢を持つように教えられました。コントローラーがテストケースを生成すると、それはターゲットとなる機械に送られ、何が起こるかを確認します。もしターゲットの機械がオーディオを認識できなかったり、回答を拒否したりした場合、コントローラーにはフィードバックが返されます。このフィードバックはガイドとして機能し、何が間違っていたのかを正確に伝えます。音が小さすぎたのか、テキストが直接的すぎたのか、あるいは機械が文脈を誤解したのか。コントローラーは、この情報を用いて次の試行を洗練させ、音や言い回しを調整して再挑戦します。

この試行、錯誤、そして洗練のプロセスは、システムがターゲットマシンの防御を突破するまで繰り返されました。結果の信頼性を確保するため、研究者たちは厳格な2段階の評価を用いました。まず、特化した判定器が、テキストの質問自体が安全であるかどうかをチェックしました。次に、別の独立した評価者が、最終的な結果を見て、機械が実際に有害なコンテンツを生成したかどうかを確認しました。極めて重要な点は、学習プロセス中にフィードバックを与えたシステムには、最終的なスコアを見せることが決して許されなかったことです。これにより、システムが単に評価者の好みを暗記してしまうことを防ぎ、発見された脆弱性が、特定の判定器を欺くためのトリックではなく、ターゲットマシンの真の弱点であることを保証しました。

チームは、主要なテクノロジー企業やオープンソースプロジェクトのシステムを含む、4つの異なる大規模オーディオ言語モデルに対してこの手法をテストしました。武器の製造方法から、偽情報の作成方法に至るまで、520種類もの有害な目的を使用しました。結果は驚くべきものでした。ARENAシステムは、ターゲットとなる機械を欺く方法を見事に発見し、かなりの割合で成功しました。最も性能の高いモデルであるAudio Flamingo 3では、87.9パーセントの成功率を達成し、他のモデルでも68.1パーセントから75.4パーセントの間の成功率を示しました。対照的に、あらかじめ用意された静的な攻撃リストに依存する従来の手法では、これらの脆弱性のほとんどを見つけることができませんでした。この研究は、フィードバックに基づいて攻撃を適応させ、洗練させる能力こそが成功の鍵であることを示しました。研究者が洗練プロセスを停止し、初期の試行のみを使用した場合には、成功率が大幅に低下したことから、反復的な学習プロセスがこれらの深い欠陥を暴き出すために不可欠であることが証明されました。

また、この研究は、これらの脆弱性が単一のマシンに固有のものではないことも明らかにしました。あるモデルに対して見つかった成功した攻撃を、調整を加えることなく別のモデルに対して試みたところ、依然としてかなりの割合で機能しました。これは、多くのオーディオ言語モデルが、テキストと音の組み合わせを処理する方法において、同様の弱点を共有していることを示唆しています。さらに、音の生成方法が大きく影響することも判明しました。研究者が同じサウンドクリップの複数のバリエーションを作成したところ、攻撃の成功率が劇的に上昇しました。これは、音の合成方法のわずかな違いであっても、機械の知覚を変えてしまう可能性があり、単純なフィルターでこれらの攻撃を予測し防止することが困難であることを示しています。

結局のところ、この研究は、これらの高度なオーディオシステムの安全性を、テキストのチェックだけで保証することはできないことを実証しています。研究者たちは、書き言葉としては完全に無害な要求であっても、適切な音と組み合わされることで、危害を加えるための道具になり得ることを示しました。これらの組み合わせを見つけ出すプロセスを自動化することで、チームは開発者がシステムを一般に公開する前に、これらの安全性のギャップを特定し修正するための強力なツールを提供しました。本研究は、これらのモデルが音を通じて世界を理解する能力を高めるにつれ、それらをテストするための手法もまた、単なる言葉だけでなく、音のフルコンテキスト（文脈）を聴き取るように進化しなければならないと結論付けています。

技術要約：ARENA – 大規模オーディオ言語モデルのための自動レッドチーミング

1. 問題の定式化

大規模オーディオ言語モデル（LALM）は、テキストから音声、音楽、環境音へとインタラクション能力を拡張しています。これらのモデルは大きな有用性を提供する一方で、特有の安全性表面（safety surface）をもたらします。それは、単体では無害に見えるテキストクエリが、オーディオ信号と結合して解釈された際に有害になる可能性があるという現象です。この現象は**オーディオに根ざした有害な遵守（audio-grounded harmful compliance）**と呼ばれ、テキストクエリ自体は安全であっても、オーディオチャネルが有害な意図（例：爆発音や特定の話し手の声）を伝えることで、モデルの不安全な挙動を誘発する場合を指します。

既存のテキストおよびビジュアルシステム向けの自動レッドチーミング手法は、探索とフィードバックを通じて敵対的プロンプトを最適化することに依存しています。しかし、これらのアプローチはLALMには直接適用できません。その理由は以下の通りです：

攻撃において、テキストで安全なクエリと、特定のオーディオ実現（realization）を調整する必要があること。
有害なコンテキストを、音声（speech）によって伝えるべきか、環境音（environmental sound）によって伝えるべきかをシステムが決定しなければならないこと。
不十分なオーディオ認識、モデルによる拒絶、あるいは単に音の事象を再述するだけで行動に移さないといった失敗から、システムが回復しなければならないこと。

現在の静的なオーディオ・ジェイルブレイク（jailbreak）セットには、異なるLALMに適応したり、特定のモデルの失敗に基づいて攻撃を洗練させたりするための自動化されたメカニズムが欠けています。

2. メソドロジー：ARENAフレームワーク

著者らは、テキストで安全なクエリと、有害でグラウンデッドなターゲットの挙動を誘発するオーディオプロンプトを生成するために設計された、クローズドループ・フレームワークであるARENA（Automated Red-Teaming for LargE Audio Language Models）を提案しています。このフレームワークは、二面的な安全性条件の下で動作します。すなわち、テキスト入力は安全フィルターを通過しなければならず、かつ、結合されたテキスト・オーディオ入力が、有害でグラウンデッドな応答をもたらさなければなりません。

コアコンポーネント

コントローラー・ポリシー ( $\pi_\theta$ ): 構造化された仕様 $z = (q_p, p_a, m)$ を生成するように訓練された大規模言語モデル（LLM）です。ここで、 $q_p$ はテキストクエリ、 $p_a$ はオーディオプロンプト（書き起こしまたは音の記述）、 $m$ は合成モダリティ（音声または環境音）を表します。
モダリティ認識型レンダリング: フレームワークは、特定のレンダラーを利用します。音声ベースの攻撃にはテキスト読み上げ（TTS）を、環境音攻撃にはテキスト・トゥ・サウンドモデル（TangoFlux）を使用します。コントローラーは、目的（objective）に基づいて適切なモダリティを選択することを学習します。
二段階トレーニング:
1. シードプールの構築: 爆発物、暴力、詐欺などのカテゴリをカバーする、2,000個のテキスト・オーディオ仕様からなる分離されたデータセットを作成します。これらは一度実行され、オフラインの実行ログを作成するために使用されます。
2. 報酬加重SFT: コントローラーは、まず報酬加重型教師あり微調整（Reward-Weighted SFT）目的関数を用いて微調整されます。報酬は、ターゲットの応答がグラウンディングされているか、実行可能か、および安全性の違反があるかを評価するモデルであるMD-Judgeからの構造化されたフィードバックに基づいて形成されます。
3. 直接選好最適化（DPO）: コントローラーは、実行ログから得られた選好ペアを用いて、DPOによりさらに最適化されます。ここでは、より高い報酬を得た仕様が、低い報酬の仕様よりも優先されます。
クローズドループ探索と洗練:
- 入力ガード: テキストガード ( $\phi_t$ ) が、オーディオ合成の前にクエリ $q_p$ が安全であることを保証します。
- 実行: ターゲットとなるLALM ( $M_t$ ) がオーディオとテキストを処理します。
- フィードバックループ: MD-Judgeがターゲットの応答を分析し、失敗モード（例：認識の失敗、拒絶、またはイベントの再記述）を特定し、コントローラーに構造化されたフィードバックを提供します。
- 反復的な洗練: コントローラーは、このフィードバックを使用して、予算 $K$ ステップまでの範囲内で、仕様（テキストのフレーミング、オーディオプロンプト、またはモダリティの変更）を洗練させます。
最終評価: 極めて重要な点として、最終的な成功指標は、非適応的なLlama Guard 3エバリュエーターによって決定されます。このエバリュエーターは、トレーニングや探索中にコントローラーに露出されることはなく、コントローラーが報酬信号に過学習することを防ぎます。このエバリュエーターは、テキストが安全であるか、オーディオが正しく認識されたか、そして最終的な応答が有害かつグラウンデッドであるかを確認します。

3. 主な貢献

問題の定式化: テキストで安全な入力と、有害でオーディオに根ざしたターゲット出力の両方を必要とする、自動化されたオーディオ・グラウンデッド・レッドチーミングを問題として定式化しました。
ARENAフレームワーク: 報酬加重SFT、DPO、モダリティ認識型オーディオレンダリング、および失敗認識型の洗練を統合した、コントローラー最適化フレームワークの導入。
包括的な評価: 520個の保持されたAdvBench目的関数を用い、4つの多様なLALM（Audio Flamingo 3, Qwen2-Audio, MiMo-Audio, GPT-Audio）にわたる厳格な評価を実施し、ベースライン比較、転移性分析、およびアブレーション研究を行いました。

4. 実験結果

著者らは、4つのターゲットモデルに対して520のAdvBench目的関数を用いてARENAを評価しました。

パフォーマンス: ARENAは静的なベースライン（AJailBenchおよびJALMBench）を大幅に上回りました。
- Audio Flamingo 3: FDR（故障検出率）87.9%、PSR（プロンプト安全性率）100.0%を達成。
- Qwen2-Audio: FDR 71.5%、PSR 96.3%。
- MiMo-Audio: FDR 68.1%、PSR 100.0%。
- GPT-Audio: FDR 75.4%、PSR 98.5%。
- 対照的に、静的なベースラインのFDRは10.7%から31.2%の範囲でした。
転移性: あるモデルのために生成された攻撃は、他のモデルにも非自明に転移しました（例：AF3の攻撃はQwen2およびMiMoに対して約60%のASRを達成）。ただし、特定のターゲットに対するクローズドループの洗練を行った場合に最も高い成功率が得られました。
アブレーション研究:
- 洗練予算（Refinement Budget）: 成功率は洗練によって大幅に増加しました（例：AF3において、 $K=0$ のときの約23%から、 $K=30$ のときの約88%へ）。これはフィードバックの価値を証明しています。
- サウンドのバリアント: 同一のプロンプトに対して複数のオーディオバリアントを生成することは、成功率を大幅に向上させました。具体的には、Audio Flamingo 3において、1つのバリアントを用いた場合のASRは**70%でしたが、16個のバリアントを用いると95%**に上昇しました。Qwen2-AudioとMiMo-Audioも大幅な向上を示し（例：Qwen2-Audioは59%から96%へ上昇）、LALMが特定の波形実現に対して非常に敏感であることを浮き彫りにしました。
- ターゲットサンプリング: ターゲットの温度（temperature）が高くなると、一般に攻撃成功率が低下しました。これは、決定論的な応答の方がこの文脈においては攻略しやすいことを示唆しています。

5. 意義と主張

本論文は、現在のLALMが、テキストのみのレッドチーミングや静的なオーディオベンチマークでは露呈しない、重大なオーディオ・グラウンデッドの安全性弱点を共有していることを示しています。

安全性表面の可視性: 本研究は、有害な意図が隠れることができる、オーディオチャネルによる独自の安全性表面が存在することを強調しており、テキストとオーディオを調整する専門的なレッドチーミング戦略が必要であることを示しています。
クローズドループの重要性: 結果は、安全性の評価において、生成と実行のフルループをテストする必要があることを示唆しています。静的なプロンプトは、オーディオ認識の精度や特定の波形実現によってモデルの性能が大きく変動するため、不十分です。
洗練の必要性: フレームワークは、フィードバックに基づく洗練が脆弱性の発見に不可欠であることを証明しています。なぜなら、初期の試みは、認識エラーや、拒絶を引き起こすあまりに直接的なテキストフレーミングによって失敗することが多いためです。

著者らは、ARENAがこれらの脆弱性を効果的に特定できる一方で、このような転移可能で洗練可能な攻撃が存在することは、マルチモーダルでオーディオに根ざした相互作用を考慮した堅牢なアライメントメカニズムが必要であることを裏付けていると結論付けています。