VARM-Bench: Benchmarking Verifiable Structured Reasoning in Chinese Abusive Speech Moderation
本文介绍了 VARM-Bench，这是一个旨在评估中文辱骂性言论审核中可验证、结构化推理能力的创新基准测试，它要求模型针对六个关键决策生成基于字段锚定的理由，从而揭示了强大的标签级表现往往会掩盖完整的审核记录中存在的显著错误。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
互联网是一个浩瀚且嘈杂的人类思想市场，在这里，一个句子可能是一个无伤大雅的玩笑、一次尖锐的批评，或是一个真实的威胁。多年来，旨在监管这一空间的计算机程序一直专注于一个简单的问题：这条帖子是坏的还是不是。它们扫描愤怒的词汇并将其标记出来，就像保安检查禁运物品清单一样。但这种方法存在盲点。程序可能会正确地将一个句子标记为“有害”，却完全误解了其原因。它可能认为一个人在侮辱朋友，而实际上那个人是在引用一段侮辱性言论来对其进行批判；或者它可能没意识到对特定群体行为的评论其实是对该群体行为的中立观察。在中文社交媒体这一复杂的语境中，语气、上下文和隐含意义改变了文字的分量，仅仅得到最终的标签是不够的。如果计算机的推理过程是有缺陷的，那么其决策就是脆弱的，系统也无法被信任去处理每天发生的数百万次微妙的互动。
为了解决这个问题，南京航空航天大学及其他机构的研究人员构建了一个名为 VARM-Bench 的新测试场。这个新系统不再只是要求计算机对一条帖子说“是”或“否”，而是强迫计算机以一种结构化的方式解释其思考过程，就像法官撰写一份必须引用具体证据的判决书一样。研究人员创建了一个包含 8,000 条来自中国社交媒体平台真实评论的数据集，并精心挑选了那些难以解读的案例。这些案例包括有人通过引用侮辱性言论来嘲讽该言论，或者对某种行为的批评被误认为是针对个人身份的攻击。对于每一条评论，人类专家都撰写了一份“金标准”解释，明确指出了讨论的对象是谁、作者是在攻击还是反对该对象，以及涉及的具体伤害类型。这创建了一份完整的决策记录，而不仅仅是一个最终得分。
随后，研究人员要求各种人工智能模型阅读这些评论，并按照严格的格式生成它们自己的解释，要求它们识别出六个关键信息：评论的对象、对象的类型、提及的清晰度、作者的立场、是否具有危害性，以及危害的具体类别。系统随后会自动检查 AI 的解释是否与人类专家的记录相匹配。结果揭示了一个令人震惊的差距。许多模型虽然能得出正确的“有害”或“无害”的最终标签，但它们的推理过程却完全错误。一个模型可能会因为看到了某个特定的脏话而正确地将帖子标记为有害，却未能意识到这个词是被用在引用中以批判其所描述的行为。在这些案例中，模型是因为错误的原因得到了正确的答案，这种错误在标准测试中是不可见的，但在现实世界的审核系统中却是危险的。
研究发现，尽管一些先进的模型在给予特定指令和示例时表现良好，但在处理最困难的案例（尤其是涉及讽刺、引用言论或间接指代的情况）时仍然感到吃力。研究人员发现，最大的瓶颈不在于判断某事是否有害，而在于能否正确识别正在讨论的对象或事物。当计算机误判了目标对象时，整个推理链条就会崩溃，即使最终的标签恰好与人类的答案一致。通过强迫模型逐步列出其推理过程，并检查逻辑的每一个环节，这一新基准揭示了这些隐藏的错误。它表明，一个无法清晰解释其决策的系统并不是真正安全的，因为它无法区分真正的威胁与复杂的社会互动。这项工作提供了一种全新的、可验证的方式，来测试 AI 审核工具究竟是在真正理解它们所监管的语言，还是仅仅在记忆攻击性词汇的模式。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。