Evaluating Agreement Between Human Consensus and Large Language Model Ratings of Suicide Reporting
这项研究表明，大型语言模型能够利用 TEMPOS 框架有效地对自杀新闻文章进行评分，且其一致性水平与人类评分者相当，这表明在人类监督下，人工智能是扩展监测负责任自杀报道的一种可行工具。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一个新闻扮演着巨大、隐形镜子的世界。有时，这面镜子反射出的故事能帮助人们找到希望与解决方案；而有时，它可能会在无意中呈现出扭曲的图像，让糟糕的情况显得更加严重。科学家们称之为“维特效应”（Werther Effect），即某些报道自杀的方式可能会不幸地导致更多人伤害自己；以及“帕帕格诺效应”（Papageno Effect），即谨慎且充满希望的故事实际上可以挽救生命。正因如此，健康专家为新闻工作者制定了一套“交通规则”供其遵循，比如避免耸人听闻的标题或加入求助热线。但棘手之处在于，要检查数百万篇新闻文章是否遵循了这些规则，就像试图用手去数海滩上的每一粒沙子一样。这既耗时又令人精疲力竭，而且阅读这么多悲伤的故事会让负责计数的人在情感上感到沉重。这正是使用“人工智能裁判”这一新构想的切入点。一个经过训练、能够理解这些规则的超级聪明计算机程序，能否替我们完成这项计数工作？这就是这项研究旨在回答的大问题。
来自加州大学圣地亚哥分校的研究团队决定通过使用一个名为 TEMPOS（评估媒体对自杀描绘的工具）的特定清单来测试这个想法。可以将 TEMPOS 想象成一个 10 分制的计分卡，新闻文章会因为表现得安全且尊重而得分，也会因为过于煽情或危险而失分。为了观察计算机是否能像人类一样玩好这场游戏，他们收集了 42 篇关于自杀死亡的真实新闻报道。然后，他们安排了两组评委：一组是七名受过训练的人类专家，另一组是五个不同的 AI 模型（即 ChatGPT、Grok 等工具背后的“大脑”）。
人类和 AI 独立阅读了相同的文章，并分别给出了评分，彼此之间互不沟通。首先，研究人员观察了人类之间的共识程度。他们发现，虽然单个人类评委可能会看到略有不同的情况，但当我们将所有七位人类的意见进行平均时，他们创造了一个非常稳定的“金标准”分数（他们将其命名为 HumanGold）。这就像是有一个由七位美食评论家组成的评审团；其中一位可能觉得太咸，另一位可能觉得太淡，但他们的平均意见通常是对一道菜非常可靠的评价。
接下来，他们问道：“AI 评委有多接近 HumanGold？”结果令人惊喜。单个 AI 模型表现出了与人类团队“中等至强”的一致性。其中一个名为 Grok 的模型表现尤为敏锐，其匹配人类共识的程度几乎达到了顶尖人类评委的水平。但真正的魔术发生在研究人员将前三个 AI 模型组合成一个单一的“超级裁判”团队时，他们将这个团队称为 AISilver。这个组合后的 AI 团队与人类共识的相关性达到了 0.797，这几乎与最好的单个 AI 模型不相上下。
然而，研究也发现了一些重要的“警示”信号。AI（甚至人类）在识别具体、显而易见的事物方面表现得更好，例如“文章是否包含了求助电话？”或“文章是否描述了自杀方式？”这些就像是在停车场里寻找一辆红色的车；它要么在那里，要么不在。但 AI 在处理计分卡中那些“模糊”且具有解释性的部分时则显得更为吃力，例如“文章是否让自杀看起来很光鲜亮丽？”或“语言是否具有煽动性？”这些就像是试图评判一首歌的“情绪”；对于计算机（甚至人类）来说，要完美达成共识是非常困难的。此外，研究人员注意到，AI 模型有时给出的平均分数会稍微偏高，就像一位给 A 级太慷慨的老师。
那么，最终的结论是什么？论文指出，AI 目前还不是人类完美的替代品，但它是一个非常有前景的“助手”。它无法独自做出最终的、决定性的判断，尤其是在处理那些棘手的、情感化的部分时。但如果你使用一个 AI 模型团队（如 AISilver 团队）来进行繁重的扫描工作，然后再由一小组人类来检查结果或处理那些复杂的案例，这可能会成为一个游戏规则的改变者。这种方法可以帮助在大规模范围内监测新闻报道，而不会让人类专家感到职业倦怠，从而确保新闻这面镜子反射出的故事是以保护和帮助而非伤害的方式进行的。研究结论认为，虽然我们不应盲目信任 AI，但将 AI 与人类监督相结合，可能是保持数字化时代自杀报道安全且负责任的关键。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。