💬 NLP

Forgive or forget: Understanding the context of hate in audio retrieval systems

本文提出了一种名为“宽恕或遗忘”（Forgive or Forget）的模型无关、事后因果去偏框架，该框架利用情感控制的中介机制，在有效抑制文本生成音频系统中的毒性音频检索的同时，保留语义相关性并最小化准确率损失。

原作者： Arghya Pal, Sailaja Rajanala, Raphael C. -W. Phan, Shekhar Nayak

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Arghya Pal, Sailaja Rajanala, Raphael C. -W. Phan, Shekhar Nayak

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一位超级聪明的图书管理员，只要你用文字描述，他就能找到世界上任何的声音。你说：“我想听一段男人和女人争吵的声音”，他就会为你调出完美的音频片段。这就是**文本到音频检索（Text-to-Audio Retrieval）**所承诺的功能。

然而，这里有一个问题。因为这位图书管理员是从整个互联网中学习的，所以即使你并没有这样要求，他也可能会不小心调出包含仇恨言论、侮辱或霸凌的内容。这就像是你想要一个关于“打斗”的故事，结果得到的却是一个暴力犯罪视频，而不是一部电影场景。

这篇论文介绍了一种新的方法，旨在教导这位图书管理员如何在不忘记如何寻找正确声音的前提下，变得更加安全。他们将他们的解决方案称为**“宽恕或遗忘”（Forgore or Forget）**。

以下是其工作原理，我们使用简单的类比来解释：

两步安全网

研究人员构建了一个两部分的系统来清理结果。可以将其视为一个保安（遗忘）和一个质检员（宽恕）。

1. “遗忘”策略（保安）

问题： 有时图书管理员会感到困惑，因为你使用的词汇可能会被扭曲成带有恶意含义的东西。
解决方案： 在图书管理员寻找声音之前，这个策略会让一个聪明的 AI 去想象你请求中的“如果……会怎样”的版本，即那些带有恶意的版本。

类比： 想象你要求一张“狗”的照片。 “遗忘”保安会秘密地让 AI 也去想象“一只正在辱骂人的狗”或“一只行为残忍的狗”。然后，它会将所有这些不同的版本放在一起观察。
作用： 如果每当你的请求被扭曲成恶意内容时，图书管理员都挑选出同一个坏声音，那么保安就会意识到：“啊，这个声音之所以出现，是因为那个恶意的扭曲，而不是因为它真的是你想要的。” 随后，它会降低这些声音的排名。它本质上是在教系统**“遗忘”**这些有毒的关联，以免它们意外出现。

2. “宽恕”策略（质检员）

问题： 有时图书管理员找到了一个几乎正确的声音，但音频本身包含了你文本描述中并未提及的诋辱或威胁。
解决方案： 这个策略会在图书管理员选出前 10 或 20 个声音之后进行干预。然后，它会进行聆听。

类比： 想象图书管理员递给你一叠照片。 “宽恕”质检员拿起每张照片，阅读背面写的说明文字（转录音频），并检查其是否安全。
作用： 如果质检员在音频中听到了难听的词汇，他们会悄悄地将那张照片移到堆栈的底部，并让下一个最好的、安全的照片顶替上来。至关重要的是，他们对边缘案例是“宽恕”的。如果一段音频是在争吵但没有使用仇恨言论，他们会允许它保留。他们只踢出那些真正有毒的内容。

结果：更安全且不失质量

作者在两个大型声音库（称为 AUDIOCAPS 和 CLOTHO）上测试了三种不同的智能图书管理员模型。

修复前： 当寻找前排结果时，图书管理员找到有毒声音的概率在 40% 到 60% 之间。
修复后： 通过同时使用“遗忘”和“宽恕”，他们将有毒结果减少到了几乎为零（成功率跃升至 90% 以上）。
他们丢失了好的内容吗？ 没有。论文声称，虽然他们移除了仇恨，但保留了相关性。由于“质检员”不会仅仅因为声音大或情绪化就丢弃好的片段；他们只移除了那些真正带有仇恨的片段。

背后的“魔法”

这篇论文使用了被称为**因果去偏（Causal Debiasing）**的高级数学方法。

简单解释： 想象你正在试图判断一个特定的声音是否好。但有一个隐藏的“小精灵”（混杂因素）在干扰结果。研究人员使用了一个“前门”技巧。他们引入了一个中间人（有毒的变体），以观察“小精灵”是如何改变结果的。通过观察当加入“有毒风味”到请求中时结果如何变化，他们可以从最终答案中通过数学手段减去那种坏的味道。

总结

该论文提出了一种让 AI 音频搜索引擎变得更安全的方法。

遗忘： 通过测试“如果……会怎样”的情景，教导 AI 不要将你的请求与仇恨联系起来。
宽恕： 聆听最终结果，过滤掉糟糕的音频，同时保留好的、安全的音频。

其结果是一个能够找到你想要的声音，同时将仇恨言论留在身后的系统，这使得该技术在不降低实用性的情况下，变得对每个人都更加安全。

技术摘要：宽恕或遗忘：理解音频检索系统中仇恨的语境

问题陈述
由大规模音频编码器和基于 Transformer 的语言模型驱动的文本-音频检索系统，在 AUDIOCAPS 和 CLOTHO 等基准测试中取得了显著的性能。然而，这些系统面临着一个关键且尚未得到充分探索的挑战：无意中检索到有毒或仇恨性的音频。大规模训练数据集不可避免地包含有害言论，包括亵渎、诋毁和霸凌。虽然文本中的毒性检测已得到深入研究，但现有的文本-音频检索缓解策略（如重写或摘要）存在着改变用户原始意图或遗漏关键语义细节的风险。核心难点在于仇恨言论的语境依赖性，即相同的语义概念根据措辞的不同，可能表现为有毒或安全的表达。

方法论：一种事后因果去偏框架
作者提出了一种模型无关的事后因果去偏框架，旨在抑制有害言论的同时保留语义相关性。该方法在前门调整（front-door adjustment）因果结构中利用了一个情感控制的中介变量（sentiment-controlled mediator）。

因果结构： 在标准检索中，输入提示词 $T$ 被模型 $M$ 嵌入为 $X$ ，以确定排名 $Y$ 。由于 $M$ 是一个未观测到的混杂因素，标准的后门调整是不充分的。作者引入了一个中介变量 $Z$ ，它代表了注入了六种特定毒性意图（仇恨、亵渎、色情语言、诋毁、暴力和霸凌）的 $X$ 的风格变体。这创建了一个中介路径 $X \to Z \to Y$ ，使系统能够观察并抑制由毒性驱动的偏差。

该框架通过两种互补的策略运行：

遗忘（Forget，模型级抑制）：
- 机制： 该策略使用大语言模型（LLM）生成输入查询的反事实毒性变体。它在原始提示词及其毒性变体上应用逻辑值平均化（logit-averaging）（受 Noise2Noise 原理启发）。
- 逻辑： 毒性偏差会在不同的风格变体之间波动，而语义相关性保持稳定。通过对检索逻辑值进行平均（ $\ell_f = \frac{1}{|L|} \sum \ell^{(i)}_Y$ ），系统可以系统地抵消毒性信号，同时保留核心含义。这防止了仅因毒性措辞而获得高排名的音频片段被检索出来。
宽恕（Forgive，音频级过滤）：
- 机制： 该策略作用于检索到的音频候选集。检索到的片段首先通过轻量级语音转文本模型（Silero ASR）进行转录，然后使用 Detoxify 进行毒性分类。
- 逻辑： 该方法对 Top- $k$ 候选集中的有毒音频进行降权，通过 **softmax 重归一化（softmax renormalization）**实现。这种方法是“宽容”的，因为它过滤显性的仇恨言论，但保留了安全的“边缘”内容，确保有用但敏感的音频不会被完全丢弃。

核心贡献

新颖框架： 引入了一个整合了因果前门调整和情感控制中介变量的音频检索后处理框架。
双策略方法： 开发了“遗忘”（反事实提示生成与逻辑值平均）和“宽恕”（基于 ASR 的转录与重排序）两种方法，分别从模型和音频层面解决毒性问题。
新评估指标： 提出了三个用于评估非毒性检索的具体指标：
- 成功率（Success Rate）： 检索到的音频中非毒性音频的比例。
- 准确率（Accuracy）： 非毒性检索音频与目标类别的匹配程度。
- 敏感度（Sensitivity）： 在目标类别的所有出现中，被正确检索到的非毒性音频的比例。
模型无关性： 该框架旨在无缝集成到现有的检索流水线中（已在 ATNLL、TUAR 和 WavCaps 上进行测试）。

实验结果
实验在 AUDIOCAPS 和 CLOTHO 数据集上使用三种最先进的模型进行了。结果表明：

毒性降低： “遗忘 + 宽恕”组合方法一致地产生了最高的成功率，显著优于基准模型。例如，在 AUDIOCAPS 的 Top@10 测试中，ATNLL 的成功率从基准的 0.60 提升到了组合方法的 0.92。
相关性保持： 尽管进行了激进的毒性过滤，该框架仍保持了较高的准确率和敏感度。组合方法通常能达到最佳的整体准确率，表明语义相关性得到了保留。
鲁棒性： 通过使用 Spearman 秩相关、Pearson 相关和非匹配音频距离（NOMAD）进行的音频质量分析显示，经过缓解的音频与地面真值（ground truth）保持了超过 90% 的相似度，表明没有明显的音频质量下降。
消融实验： “遗忘”被确定为驱动毒性抑制（成功率）的主要因素，而“宽恕”则通过保留边缘安全内容，对提高准确率和敏感度有所贡献。

意义与主张
论文声称，处理文本-音频检索中的敏感话题（如仇恨言论）不仅需要简单的过滤，更需要对语境依赖性有深入理解。所提出的框架提供了一种解决方案，在不损害系统效用的情况下，大幅减少了有毒内容的检索。通过结合严格的系统性抑制（“遗忘”）与精细的音频级过滤（“宽恕”），作者实现了安全且高效的文本-音频检索。这项工作强调，可以在不重新训练底层模型的情况下，同时提高安全性与可靠性，填补了当前多模态检索系统中一个关键的空白。