💬 NLP

Forgive or forget: Understanding the context of hate in audio retrieval systems

本論文は、感情制御された媒介変数を用いて、意味的な関連性を維持し精度低下を最小限に抑えつつ、テキストからの音声生成システムにおける有害な音声の検索を効果的に抑制する、「Forgive or Forget」と呼ばれるモデルに依存しない事後的な因果的デバイアス・フレームワークを提案する。

原著者： Arghya Pal, Sailaja Rajanala, Raphael C. -W. Phan, Shekhar Nayak

公開日 2026-06-05

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Arghya Pal, Sailaja Rajanala, Raphael C. -W. Phan, Shekhar Nayak

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、言葉で説明するだけで世界中のあらゆる音を見つけ出せる、超スマートな司書を想像してみてください。あなたが「男性と女性が言い争っている声」と言えば、その司書は完璧な音声クリップを取り出してくれます。これが**テキスト・トゥ・オーディオ検索（Text-to-Audio Retrieval）**の約束です。

しかし、問題があります。この司書はインターネット全体から学習したため、あなたが求めていない場合でも、ヘイトスピーチ、侮辱、あるいはいじめを含むクリップを誤って取り出してしまうことがあります。それは、例えば「喧嘩」についての物語を求めたのに、映画のワンシーンではなく、暴力的なヘイトクライムのビデオが出てきてしまうようなものです。

この論文は、この司書が本来の検索能力を損なうことなく、より安全になるように教える新しい方法を紹介しています。著者たちは、その解決策を**「Forgive or Forget（許すか、忘れるか）」**と呼んでいます。

その仕組みを、簡単な比喩を使って説明します。

2段階のセーフティネット

研究者たちは、結果をクリーンアップするための2部構成のシステムを構築しました。それは、**「セキュリティガード（忘却）」と「品質検査官（許容）」**と考えることができます。

1. 「Forget（忘れる）」戦略（セキュリティガード）

問題点： あなたが使う言葉が、悪意のあるものへと歪められてしまうことで、司書が混乱してしまうことがあります。
解決策： 司書が音を探し始める前に、この戦略は、賢いAIに対して、あなたのリクエストを「もしもの意地悪なバージョン」に置き換えたらどうなるかを想像させます。

比喩： 例えば、あなたが「犬」の画像を探しているとします。「Forget」ガードは、裏側でAIに対し、「犬が罵詈雑言を吐いている」や「犬が残酷な振る舞いをしている」といった、意地悪なバリエーションも同時に想像させます。そして、これらすべての異なるバージョンを一緒に検討します。
どのように役立つか： もしリクエストが意地悪な方向に歪められた時に、常に同じ悪い音が表示されるようであれば、ガードは「ああ、この音は、ユーザーが本当に求めているものだからではなく、意地悪なひねりが加わったせいで表示されているのだ」と気づきます。そして、それらの音のランキングを下げます。これは、意図せず有害なものが表示されないよう、有害な関連付けを**「忘れる」**ようにシステムを教えることになります。

2. 「Forgive（許す）」戦略（品質検査官）

問題点： 司書が「惜しい」音を見つけたとしても、その音声自体に、テキストの説明には含まれていない蔑称や脅迫が含まれていることがあります。
解決策： この戦略は、司書が上位10個または20個の音を選び終えるまで待ちます。その後、それらを「聴取」します。

比喩： 司書があなたに10枚の写真の束を渡したと想像してください。「Forgive」検査官は、各写真を取り上げ、その裏に書かれたキャプション（音声の書き起こし）を読み、それが安全かどうかをチェックします。
どのように役立つか： もし検査官が音声の中に不適切な言葉を聞き取った場合、その写真を静かにスタックの底へと押しやり、次に最適な「安全な写真」が繰り上がるようにします。重要なのは、彼らが境界線上のケースに対しては「寛容（Forgiving）」であることです。もしクリップが「言い争い」であっても、ヘイトスピーチを含んでいなければ、そのままにします。彼らは真に有害なものだけを排除するのです。

結果：質を落とさずに、より安全に

著者たちは、3つの異なるスマート司書モデルを用いて、2つの大きな音のライブラリ（AUDIOCAPSおよびCLOTHO）でテストを行いました。

修正前： 司書たちは、上位の結果を探している際に、40%から60%の頻度で有害な音を見つけていました。
修正後： 「Forget」と「Forgive」を併用することで、有害な結果をほぼゼロにまで減少させました（成功率は90%以上に跳ね上がりました）。
良いものまで失ってしまったのか？： いいえ。論文によれば、ヘイトを取り除きつつも、関連性は維持されています。「検査官」は、単に音が大きかったり感情的だったりするからといって良いクリップを捨てたのではなく、実際のヘイトが含まれるものだけを排除したのです。

裏側の「魔法」

この論文では、**因果デバイアス（Causal Debiasing）**と呼ばれる高度な数学を使用しています。

簡単な説明： 特定の音が「良い」かどうかを判断しようとしているとき、そこに隠れた「グレムリン（混乱要因）」が結果をかき乱しているとします。研究者たちは「フロントドア」というトリックを使います。彼らは、結果を変化させるための「中間役（有害なバリエーション）」を導入し、グレムリンがどのように結果を変えているのかを正確に観察します。リクエストに「有害な風味」を加えたときに結果がどう変わるかを観察することで、最終的な答えからその「悪い風味」を数学的に差し引くことができるのです。

まとめ

この論文は、AIによる音声検索エンジンをより安全にする方法を提案しています。

Forget（忘れる）： 「もしものシナリオ」をテストすることで、あなたのリクエストをヘイトに関連付けないようAIに教えます。
Forgive（許す）： 最終的な結果を聴取し、ヘイトスピーチを含む音声は排除しつつ、安全で優れた音声は保持します。

その結果、欲しい音を見つけ出しつつ、ヘイトスピーチは置き去りにする、有用性を損なうことなく誰もがより安全に使えるシステムを実現しています。

技術要約：忘却か、許容か：オーディオ検索システムにおけるヘイトの文脈を理解する

問題提起
大規模なオーディオエンコーダとトランスフォーマーベースの言語モデルに支えられたテキスト・トゥ・オーディオ（text-to-audio）検索システムは、AUDIOCAPSやCLOTHOといったベンチマークにおいて顕著な性能を達成している。しかし、これらのシステムは、意図せず有害な音声（hate audio）を検索してしまうという、極めて重要かつ未探索の課題に直面している。大規模な学習データセットには、不適切な表現、蔑称、いじめを含む有害な発話が不可避的に含まれている。テキストにおける毒性検出は十分に研究されているが、既存のテキスト・トゥ・オーディオ検索における緩和策（言い換えや要約など）は、ユーザーの元の意図を変更したり、重要な意味的詳細を省略したりするリスクがある。核心的な困難は、ヘイトスピーチの文脈依存性にあり、同じ意味的概念であっても、言い回しによって有害にも安全にもなり得る点にある。

手法：事後的な因果的デバイアス・フレームワーク
著者らは、有害な発話を抑制しつつ意味的な関連性を維持するように設計された、モデルに依存しない事後的（post-hoc）な因果的デバイアス・フレームワークを提案している。このアプローチは、フロントドア調整（front-door adjustment）という因果構造の中で、**感情制御メディエーター（sentiment-controlled mediator）**を利用している。

因果構造： 標準的な検索では、入力プロンプト $T$ はモデル $M$ によって $X$ として埋め込まれ、ランキング $Y$ を決定する。 $M$ は観測不可能な交絡因子として機能するため、標準的なバックドア調整では不十分である。著者らは、Hate（ヘイト）、Profanities（卑俗な言葉）、Pornographic Language（ポルノグラフィ的表現）、Slurs（蔑称）、Violence（暴力）、Bullying（いじめ）という6つの特定の有害な意図を注入した $X$ のスタイルのバリエーションを表すメディエーター $Z$ を導入した。これにより、 $X \to Z \to Y$ という媒介経路が作成され、システムが毒性によるバイアスを観察し、抑制することが可能になる。

このフレームワークは、2つの補完的な戦略を通じて動作する：

Forget（忘却：モデルレベルの抑制）：
- メカニズム： この戦略は、大規模言語モデル（LLM）を用いて、入力クエリの反事実的な有害バリアントを生成する。そして、元のプロンプトとその有害なバリアントの間で、ロジット平均化（logit-averaging）（Noise2Noiseの原理に着想）を適用する。
- 論理： 毒性のあるバイアスは異なるスタイルのバリエーション間で変動するが、意味的な関連性は安定している。検索ロジット $\ell_f = \frac{1}{|L|} \sum \ell^{(i)}_Y$ を平均化することで、システムは核となる意味を保持しながら、毒性信号を体系的に打ち消すことができる。これにより、有害な言い回しのために高い順位を獲得しているオーディオクリップが検索されることを防ぐ。
Forgive（許容：オーディオレベルのフィルタリング）：
- メカニズム： この戦略は、検索されたオーディオ候補に対して作用する。検索されたクリップは、軽量な音声認識（Speech-to-Text）モデル（Silero ASR）によってまず文字起こしされ、その後、Detoxifyを用いて毒性が分類される。
- 論理： Top- $k$ の候補内にある毒性のあるオーディオクリップは、**ソフトマックス再正規化（softmax renormalization）**によって順位を下げられる。このアプローチは、明示的なヘイトスピーチはフィルタリングするが、「境界線上」にある安全なコンテンツは保持するという点で「寛容」であり、有用だがデリケートなオーディオが完全に破棄されることを防ぐ。

主な貢献

斬新なフレームワーク： 因果的フロントドア調整と感情制御メディエーターを統合した、オーディオ検索のためのポストプロセッシング・フレームワークの導入。
デュアル戦略アプローチ： 「Forget」（反事実的なプロンプト生成とロジット平均化）と「Forgive」（ASRベースの文字起こしと再ランキング）の開発により、モデルレベルとオーディオレベルの両方で毒性に対処する。
新しい評価指標： 非毒性検索を評価するための3つの特定の指標の提案：
- 成功率（Success Rate）： 検索されたオーディオのうち、非毒性である割合。
- 精度（Accuracy）： 検索された非毒性オーディオが、ターゲットとなるクラスとどの程度一致しているか。
- 感度（Sensitivity）： 特定のクラスの全出現回数のうち、正しく検索された非毒性オーディオの割合。
モデル非依存性： 本フレームワークは、既存の検索パイプライン（ATNLL、TUAR、WavCapsでテスト済み）にシームレスに統合できるように設計されている。

実験結果
実験は、3つの最先端モデルを用いてAUDIOCAPSおよびCLOTHOデータセットに対して行われた。結果は以下を示している：

毒性の低減： 「Forget + Forgive」を組み合わせたアプローチは、一貫して最も高い成功率を達成し、ベースラインを大幅に上回った。例えば、AUDIOCAPSのTop@10において、ATNLLの成功率は、本手法を用いることでベースラインの0.60から0.92へと向上した。
関連性の保持： 強力な毒性フィルタリングにもかかわらず、本フレームワークは高い精度と感度を維持している。組み合わせたアプローチはしばしば最高の総合的な精度を達成しており、これは意味的な関連性が保持されていることを示している。
堅牢性： スピアマンの順位相関係数、ピアソンの相関係数、およびNon-Matching Audio Distance (NOMAD) を用いたオーディオ品質分析により、緩和されたオーディオはグラウンドトゥルースとの類似性を90%以上維持しており、オーディオ品質に知覚可能な劣化がないことが示された。
アブレーション解析： 「Forget」が毒性抑制（成功率）の主要な要因であり、「Forgive」は境界線上の安全なコンテンツを保持することで精度と感度に寄与していることが特定された。

意義と主張
本論文は、テキスト・トゥ・オーディオ検索におけるヘイトスピーチのようなデリケートなトピックの取り扱いは、単なるフィルタリング以上のもの、すなわち文脈依存性の理解を必要とすると主張している。提案されたフレームワークは、意味的な有用性を損なうことなく、毒性のある検索を大幅に減少させるソリューションを提供する。厳格なシステム的抑制（"Forget"）と微細なオーディオレベルのフィルタリング（"Forgive"）を組み合わせることで、著者らは安全かつ信頼性の高いテキスト・トゥ・オーディオ検索を実現している。本研究は、基礎となるモデルの再学習を必要とせずに、現在のマルチモーダル検索システムの重大なギャップに対処し、安全性と信頼性を同時に向上させられることを強調している。