When AI Rewrites, Classifiers Relax: Uncertainty-Aware Sentiment Analysis on Sarcastic and AI-Paraphrased Social Text
本文表明，情感分类器在处理讽刺性文本时表现出较低的置信度，由于风格一致性而在 AI 改写的评论上实现了更高的准确率，并且可以通过轻量级的置信度感知弃权机制显著提升整体性能，从而倡导在高风险应用中向置信度感知预测转变。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在社交媒体广阔而嘈杂的景观中，计算机正越来越多地被要求“察言观色”。它们的任务是判断一条帖子是快乐还是悲伤，是有益还是有害，这项技术被称为情感分析。这项技术驱动着从客户服务机器人到扫描心理健康讨论中求助信号等各种工具。多年来，这些系统一直是在由人类编写的、干净且直白的文本上进行训练和测试的。但数字世界正在发生变化。人们现在的沟通方式变得刻意刁钻，利用讽刺在微笑背后隐藏真实的感受。与此同时，文本本身也在发生变化，人工智能工具正在将人类的思想改写成新的句子。研究人员面临的问题是，当语言变得具有讽刺意味，或者当文字是由机器生成时，那些阅读我们帖子的计算机是否仍能理解我们。
一位研究人员致力于测试这些数字阅读器如何应对这两项特定的挑战：讽刺和人工改写。他们关注的是一种常见的计算机程序，这种程序会为其猜测分配一个置信度分数，本质上是在告诉我们它对一条帖子是积极还是消极有多大的把握。首先，他们观察了讽刺性的推文。他们发现，当计算机遇到讽刺性言论时，与其阅读直白陈述时相比，其置信度分数显著下降。机器并不需要被明确教导去寻找讽刺；它只是感觉到意义变得难以捉摸，从而变得不再确定。这表明，即使没有经过专门训练，这些系统也有一种内在的警报，在遇到讽察性语言时就会响起。
研究的第二部分产生了一个与研究人员最初预期相反的结果。他们提取了数千条由人类编写的真实客户评论，并要求人工智能工具对其进行改写，在保持相同意思的同时改变措辞。随后，团队要求情感分类器阅读这些新的、由机器编写的版本。结果，计算机并没有被人工改写的文本所迷惑，反而做得更好了。当文本经过人工智能改写后，分类的准确率提高了。研究人员解释说，这是因为人工智能改写剥离了人类写作中那些混乱、独特的怪癖——例如奇特的句子结构或特定的俚语——这些往往会困扰模型。人工智能版本变得更加干净、标准，符合计算机最初训练时的模式，从而使其能够做出更正确的判断。
为了使这些系统更加可靠，研究人员测试了一种简单的安全机制，称为“弃权包装器”（abstention wrapper）。这是一条规则，告诉计算机：“如果你不够自信，不要猜测；直接请求帮助。”他们设定了一个阈值，规定任何计算机把握度低于百分之六十的帖子都会被标记出来，交由人工审核。通过让计算机跳过那最困难的百分之十四的帖子，剩余预测的准确率提升了近七个百分点。被标记出的帖子恰好是计算机最容易出错的部分，这证实了该系统知道自己在何时感到吃力。研究还比较了两种不同的衡量不确定性的方法，并发现对于简短的社交媒体帖子，两种方法的效果几乎完全一致。
这些发现表明，在处理高风险情况（如在线内容审核或心理健康危机筛查）时，我们应该转变使用这些工具的方式。与其强迫计算机对每一条帖子都做出自信的判断，不如让它承认不确定性，并将困难的案例交给人类。此外，关于人工智能编写的文本实际上可以提高分类准确率的发现，揭示了我们在评估这些系统时的一个隐藏陷阱。如果基准测试包含了人工智能改写的文本，它可能会让计算机看起来比实际更聪明，仅仅是因为文本已被平滑处理，以匹配计算机的训练模式。随着人工智能在我们的日常写作中变得越来越普遍，研究人员警告说，我们必须考虑到这一转变，以确保我们的工具保持准确且值得信赖。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。