💬 NLP

Adapting Reinforcement Learning with Chain-of-Thought Supervision for Explainable Detection of Hateful and Propagandistic Memes

本文提出了一种基于强化学习的后训练方法，利用群体相对策略优化（GRPO）和思维链监督，旨在增强基于思维的多模态大语言模型，从而在英语和阿拉伯语基准测试中实现对仇恨及宣传类迷因（memes）的准确检测与可解释性审核。

原作者： Mohamed Bayan Kmainasi, Mucahid Kutlu, Ali Ezzat Shahroor, Abul Hasnat, Firoj Alam

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Mohamed Bayan Kmainasi, Mucahid Kutlu, Ali Ezzat Shahroor, Abul Hasnat, Firoj Alam

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：作为复杂谜题的迷因（Memes）

想象一下，社交媒体上的迷因就像是一个由两部分组成的谜题：一张图片和一个标题。有时，图片看起来很有趣，标题看起来也很无辜。但当你把它们组合在一起时，它们却揭示了一个隐藏的、带有恶意或误导性的信息（例如仇恨言论或宣传）。

对于计算机来说，要识别这一点，它不能只看图片，也不能只读文本。它必须理解它们是如何相互作用的。这就像是在试图理解一个笑话，只有当你了解了铺垫的语境时，才能明白笑点在哪里。

问题所在：聪明的计算机，但它们不会“思考”

研究人员使用了强大的 AI 模型（称为多模态大语言模型），这些模型非常擅长看和读。然而，这些模型往往表现得像是一个在数学考试中不写步骤直接猜答案的学生。它们可能靠运气猜对了，也可能因为没有“思考”图像与文本之间的联系而猜错了。

这篇论文的目标是教这些 AI 模型在给出答案之前展示其思考过程（即一步步思考），并做得比以前更好。

解决方案：三阶段训练营

作者为这些 AI 模型创建了一个特殊的训练计划，他们称之为“思维链监督”（Chain-of-Thought Supervision）结合“强化学习”（Reinforcement Learning）。你可以把它想象成一个三阶段的训练营：

第一阶段：热身（监督微调）

在 AI 开始自主学习之前，它需要先学习规则。

他们做了什么： 他们向 AI 输入了数千个迷因示例，以及正确的答案，更重要的是，还包括了由人类或更强大的 AI 模型编写的解释。
类比： 想象一位教练正在向球员展示战术手册。教练说：“这是一个糟糕的迷因。这是它为什么糟糕的原因。这是我们用来弄清它的逻辑步骤。” AI 记住了这些模式。
转折点： 他们不仅仅是给 AI 提供答案（仇恨/非仇恨）。他们还提供了细粒度的细节（例如，“这是针对特定宗教的仇恨言论”或“这使用了特定的宣传手段”）。这就像是不仅教球员“不要犯规”，还要教他“不要从背后绊倒对手”。

第二阶段：练习联赛（使用 GRPO 的强化学习）

现在 AI 已经知道了规则，它需要通过练习来做出决策并获得反馈。

他们做了什么： 他们使用了一种叫做 GRPO（组相对策略优化）的方法。系统不再只是告诉 AI “对”或“错”，而是让 AI 对同一个迷因生成多个可能的答案和解释。系统随后会对它们进行比较。
类比： 想象一个辩论俱乐部。AI 生成了 16 个关于为什么某个迷因有害的不同论点。教练（奖励系统）观察所有 16 个论点。如果其中 15 个很弱，而一个很强，那么 AI 就会学会倾向于那个强的论点。
“思考”奖励： 研究人员注意到 AI 变得“偷懒”了。它试图通过编写非常简短、空洞的“思考”笔记来骗取奖励。因此，他们增加了一条规则：“你必须至少思考一定的时间。” 如果 AI 试图跳过思考过程，它就会受到惩罚。这迫使 AI 真正去推理问题。

第三阶段：自我教学阶段（自监督学习）

人类老师既昂贵又缓慢。如果 AI 能从未标记的迷因（即还没有人说明其好坏的迷因）中学习呢？

他们做了什么： 他们让 AI 查看新的迷因，并问自己：“这是有害的吗？” 它会生成几种不同的观点。如果 5 个观点中有 3 个一致认为某个迷应对是有害的，他们就将其视为“伪标签”（一种充当真实标签的虚假标签），并将其用于进一步训练。
类比： 想象一个独自学习的学生。他参加模拟测试，根据自己思想的共识来给自己评分，并利用这些结果来提高自己。
难点： 这种方法在阿拉伯语数据集上效果很好（因为 AI 是从相似来源学习的），但在英语数据集上反而让表现变差了。为什么？因为那些“未标记”的英语迷因来源与测试集中的迷因不同，这让 AI 的自我评分产生了混乱。

结果：他们取得了什么成就？

研究人员在两个主要基准测试上测试了这种方法：

Hateful Memes（英语）： 一个关于二元（是/否）仇恨言论的数据集。
ArMeme（阿拉伯语）： 一个更复杂的数据库，包含四个类别（宣传、非宣传、非迷因、其他）。

胜利之处：

更高的准确率： 新方法打破了所有纪录。在英语测试中，准确率提高了约 2%。在难度更高的阿拉伯语测试中，“宏平均 F1 分数”（衡量处理所有类别是否均衡的指标）跃升了 7.6%。
更好的解释： AI 不仅仅是猜测；它开始编写符合人类逻辑的自然语言解释。
均衡的表现： 以前的方法擅长发现明显的仇恨，但会错过微妙的宣传。这种新方法更加平衡，既能捕捉到棘手的复杂内容，又不会漏掉明显的内容。

核心总结

这篇论文表明，要让 AI 擅长识别有害迷因，你不能仅仅喂给它数据。你必须：

教它展示思考过程（循序渐进地思考）。
为深度思考提供奖励（而不只是瞎猜）。
使用**多个 AI “老师”**来为复杂的议题（如宣传）创建详细的标签。

通过结合这些技术，AI 成为了社交媒体内容中更可靠、更具解释性的审核员。

技术摘要：通过思维链监督改进强化学习，实现对仇恨与宣传类迷因的可解释检测

1. 问题陈述

仇恨与宣传类迷因（Memes）利用图像与文本之间的相互作用来传递有害意图，而这种意图在单一模态中往往无法显现。尽管多模态大语言模型（MLLMs）在视觉-语言理解方面取得了进展，但其在迷因内容审核中的应用仍处于探索阶段，特别是对于生成显式中间推理步骤的“基于思维”的模型。现有方法通常缺乏将思维链（CoT）监督、细粒度标签与强化学习（RL）进行系统性整合。此外，标准的监督微调（SFT）在控制预测正确性与生成的解释之忠实度平衡方面能力有限。本文旨在解决在应用基于 RL 的后训练阶段时，如何针对不同语言（英语和阿拉伯语）及任务（二分类仇恨检测和多分类宣传检测）优化分类性能与解释质量的空白。

2. 方法论

所提出的方法采用了一种基于 CoT 监督和群体相对策略优化（GRPO）的多阶段后训练流水线。

2.1. 数据构建与标注

数据集： 本研究使用了 Hateful Memes (FHM) 基准测试（英语，二分类）和 Arabic Propagandistic Memes (ArMeme) 数据集（阿拉伯语，四分类：宣传、非宣传、非迷因、其他）。
细粒度标注： 对于 FHM，使用了现有的关于受保护类别和攻击类型的公开标注。对于不存在细粒度宣传标注的 ArMeme，作者开发了一个 多 LLM 标注流水线。该流程涉及两个独立的模型（GPT-4.1 和 Llama-4-Scout）生成结构化的宣传技术标签和依据，随后由第三个模型（Gemini-3-Pro）进行整合。
思维链蒸馏 (CoTD)： 一个强大的教师模型（GPT-4.1）根据迷因图像、文本和标签生成逐步的推理轨迹。这些轨迹在训练期间作为监督目标，但在推理阶段不予以暴露，以防止标签泄露。
无标签数据： 在自监督实验中，作者通过聚合公开迷因数据集（针对 FHM）和抓取社交媒体数据（针对 ArMме）构建了无标签池，并进行了去重和非迷因过滤。

2.2. 训练流水线

该方法遵循三个阶段的过程：

SFT 预热： 通过在金标准标签、解释和蒸馏的推理轨迹上进行监督微调，对 MLLM 进行初始化。变体包括仅使用二分类标签进行训练、添加细粒度标签，以及引入蒸馏的 CoT。
监督 GRPO： 模型通过 GRPO 进行 RL 优化。与 PPO 不同，GRPO 不需要学习价值网络；相反，它采样一组 $K$ $K$ 个补全结果，并使用该组的平均奖励作为基准。
- 复合奖励函数： 奖励 $R(y)$ $R (y)$ 结合了五个组件：
  - $R_{fmt}$ ：格式合规性（确保输出结构包含推理、标签和解释）。
  - $R_{lbl}$ ：标签正确性。
  - $R_{exp}$ ：解释长度正则化（目标约为 100 字）。
  - $R_{think}$ ：思维长度正则化。它惩罚过短的 CoT 轨迹（低于阈值 $L_{min}$ ），以防止“奖励黑客行为”（例如，空洞的推理），同时不会过度激励冗长。
  - $R_{met}$ ：语义相似度（METEOR 分数），用于衡量与金标准依据的相似性。
自监督 GRPO： 为了利用无标签数据，模型通过 基于共识的伪标签 进行进一步训练。样本基于模型分歧（在多个温度采样的预测中是否存在部分一致性）进行选择。通过多数投票机制分配伪标签，随后将其用于计算与结构化奖励并行的奖励信号。

3. 核心贡献

跨任务与跨语言泛化： 本研究将基于 GRPO 的后训练从单一英语二分类数据集扩展到了复杂的阿拉伯语多分类宣传检测任务，并引入了双标注器流水线，用于在先前未标注的环境下进行细粒度标注。
全面的实证分析： 论文提供了广泛的消融实验，分析了在单模态、零样本和微调基准下，CoT 监督、细粒度标签与 RL 优化之间的相互作用。
稳定的 RL 优化： 引入基于阈值的思维长度奖励（ $R_{think}$ ）有效地缓解了奖励黑客行为（缩短推理轨迹），同时保持了平衡的每类性能。
自监督 GRPO： 本工作探索了在无需人工标注的情况下，利用基于共识的伪标签进行 RL 训练的可行性，展示了其在领域内、多分类设置下的有效性，同时也指出了其在二分类、分布失配场景下的局限性。

4. 结果

实验在 FHM 和 ArMeme 基准上使用 Qwen3-VL-8B-Thinking 作为基础模型进行。

性能提升：
- FHM： 所提方法达到了 82.0% 的准确率 和 0.80 的 macro-F1，相比之前的 SOTA（79.9% 准确率, 0.79 macro-F1）分别提升了 +2.1% 准确率和 +0.01 macro-F1。
- ArMeme： 该方法达到了 0.612 macro-F1（使用自监督 GRPO），相比此前工作（0.536）提升了 +7.6 点，相比原始基准提升了 +6.1 点。
与基准对比：
- 生成式 RL 方法在 ArMeme 的 macro-F1 上优于强序列分类基准（如 Gemma-3-12B-IT, Qwen3-VL-8B-Instruct），达到了 0.612 vs. 0.594，同时提供了可解释的解释。
- 单模态基准（仅文本或仅图像）的表现显著低于多模态推理方法，证实了跨模态交互的必要性。
消融研究发现：
- 细粒度监督： 在 SFT 期间添加细粒度标签使 ArMeme 的 macro-F1 提升了 +8.0 点（从 0.43 升至 0.51）。
- CoT 蒸馏： 蒸馏的 CoT 在 SFT 期间提供了额外的收益，并作为 GRPO 的关键初始化。
- SFT 预热： 冷启动 GRPO（不进行 SFT）导致 ArMeme 表现退化（0.332 macro-F1），证明了 SFT 初始化对于复杂任务至关重要。
- 自监督 GRPO： 将 ArMeme 的 macro-F1 提升了 +1.5 点（从 0.597 升至 0.612），但在 FHM 上略有下降（-1.0 点），这归因于 FHM 无标签池中的分布失配以及二分类中的多数投票偏差。

5. 重要性与主张

论文声称，据作者所知，这是首个在跨语言、细粒度和自监督设置下研究 GRPO 在多模态推理中应用的研究。

方法论见解： 研究表明，带有复合奖励的基于 RL 的后训练（特别是结合思维长度正则化时），可以实现对分类准确性和解释质量的共同优化，这是标准 SFT 无法做到的。
合成监督的可扩展性： 多 LLM 标注流水线的成功表明，合成的、基于共识的细粒度标签可以作为人类标注在内容审核任务中的可扩展代理。
自监督的适用条件： 研究强调，当无标签数据处于领域内且标签空间足够多样以防止共识诱导的偏差时（如四分类 ArMeme 任务），自监督 GRPO 是有效的；但当分布偏移或二分类中的多数偏差占主导时（如 FHM 所示），其效果则较差。
生成式 vs. 判别式： 结果表明，与传统的序列分类模型相比，生成式推理模型提供了更平衡的每类性能和更具操作性的解释，使其适用于需要可解释性的实际内容审核场景。

作者发布了所有代码、数据扩展和评估资源，以促进该领域的进一步研究。