"Not in My Backyard": LLMs Uncover Online and Offline Social Biases Against Homelessness
本文介绍了一个用于追踪线上与线下话语中针对无家可归者社会偏见的全新多领域语料库及审计协议，揭示了虽然大语言模型能够识别此类偏见，但它们存在显著的失校问题，即系统性地过度标记“邻避主义”（NIMBY）情绪，并低估了事实性陈述。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，互联网就像一个巨大、混乱的城市广场，每秒钟都有数百万人在这里大声喊出他们的想法、抱怨和故事。现在，请想象其中一些呐喊是关于一个非常严肃且痛苦的问题：人们无处过夜。这就是“无家可归”（homelessness）的世界，一种人们缺乏安全住所的境况。在这个数字化的城市广场中，人们争论着该在哪里建立避难所，讨论无家可归者是否值得帮助，或者讨论他们为什么会处于那种境地。有时，这些争论是有益的；但有时，它们充满了偏见、恐惧或恶意的刻板印象。
研究计算机语言的科学家们（一个被称为自然语言处理的领域）开发了被称为“大语言模型”（LLMs）的“智能机器人”。把这些机器人想象成超级快速的图书管理员，他们能在眨眼之间阅读数百万本书籍、推文和论坛帖子。他们的工作通常是充当“偏见检测器”，扫描噪音以寻找特定类型的恶意或不公平言论。但问题在于：仅仅因为一个机器人速度很快且读了很多书，并不意味着它理解它所阅读内容的“感受”或“语境”。它可能会把一个问题误认为是一种攻击，或者认为提到“房子”就意味着某人讨厌无家可归者。这篇论文提出了一个至关重要的问题：这些数字图书管理员真的能分辨出真正的投诉与仇恨偏见之间的区别吗？还是说，它们只是根据错误的线索在进行猜测？
“邻避效应”的混淆
在这项研究中，来自圣母大学和联合国大学的一个研究小组决定测试这些智能机器人在一个非常具体且棘手的课题上的表现：针对经历无家可归状态的人群（PEH）的偏见。他们想看看机器人能否准确识别出人们是否在表达类似“邻避效应”（NIMBY）——这是一个高级说法，意指“我不希望我的房子附近建立无家可归者避难所”。
为了实现这一目标，他们建立了一个庞大的数字图书馆。他们收集了来自十个不同美国城市的超过 50,447 条文本，内容源自四个非常不同的渠道：Reddit 讨论串、X（原 Twitter）帖子、新闻文章，以及实际的市议会会议记录（在那里，真实的人们会对政策进行辩论）。这些数据覆盖了从 2015 年到 2025 年 的整整十年。
但一个图书馆的价值取决于它的目录。因此，研究人员并没有让机器人直接对所有内容进行标注。他们引入了人类专家——即那些在非营利组织中与无家可归人群体共事的人——来阅读一组精心挑选的 1,698 条帖子。这些人充当了“金标准”，即真相的讲述者，负责判定每条帖子的真实含义。他们使用了一份包含 16 个不同类别 的详细清单进行标注，范围涵盖了从“表达观点”到“有害的概括化”，以及当然也包括“邻避效应”。
机器人的重大错误
随后，研究人员要求六个不同的智能机器人（包括 GPT-4.1、Gemini 和 LLaMA 等知名模型）阅读相同的帖子并猜测标签。他们预期机器人的表现会相当不错，可能会在这些棘手的标签上达到约 43% 的正确率（这被称为“宏平均 F1 分数”，即 macro-F1）。事实证明，机器人在纸面上看起来确实还不错，它们表现得似乎做得还算可以。
但随后，研究人员进行了更深入的观察，这时他们发现了故障所在。
他们发现机器人正遭受着严重的“校准误差”。想象一下，一个烟雾探测器过于敏感，以至于每次你烤面包时它都会尖叫“起火啦！”。这就是这里发生的情况。团队测试的每一个机器人都在过度标记“邻避效应”。
平均而言，机器人对 NIMBY 偏见的过度声明比人类专家高出了 11.5 个百分点。用通俗的话说：如果一个人说“这只是陈述一个事实”，机器人往往会大喊：“这个人是 NIMBY（邻避主义者）！”
例如，如果有人发布：“他们拥有所有那些可负担住房，但缺点是它位于 [某城市]。”人类将其标注为仅仅是“陈述事实”或“表达观点”。但六个机器人中的四个立即将其标记为“邻避效应”。为什么呢？因为机器人被两个简单的线索给骗了：
- 住房词汇： 如果文本提到了“住房”或“可负担住房”，机器人就假设有人反对它。
- 问号： 如果帖子是一个问题，机器人就假设这是一个讽刺性的、反问式的攻击。
这些机器人本质上是在玩一场基于浅层词典的“猜偏见”游戏，而不是真正理解其含义。它们将提及“住房”这一行为视为“反对”住房的证据。
“事实”的盲点
机器人不仅过度声明偏见，还错过了真相。研究发现，机器人在识别何时有人在提供事实或主张方面表现得很糟糕。它们对事实性陈述的检测率下降了高达 30.5 个百分点。
这是一个危险的组合。如果你使用这些机器人为城市议会监测公众舆论，你会得到一个扭曲的现实图景。你会认为社区比实际情况更加敌对和反对避难所（因为虚假的 NIMBY 警报），同时你会认为他们提供的基于证据的信息比实际情况要少得多（因为机器人忽略了事实）。
这对未来意味着什么
研究人员不仅指出了问题，还提出了解决办法。他们意识到，你不能仅仅信任机器人的原始数据。即使一个机器人说它的准确率是“80%”，它仍可能在“有多少人具有偏见”这一点上撒谎。
论文建议，如果城市或组织想要使用这些 AI 工具来追踪针对无家可归者的污名化，必须进行“流行度审计”（prevalence audit）。这意味着要不断地将机器人的工作与一小组受信任的人类专家进行对比，以检查机器人是否在夸大数字。他们还发现，相比于那些昂贵的大型模型，规模较小的本地化机器人（比如那些你可以运行在自己电脑上以保护隐私的模型）在这方面的表现甚至更差。
最后，这篇论文是数字时代的一份警告标签。它表明，虽然 AI 是一个倾听世界的强大工具，但它目前仍然是一个非常笨拙的倾听者。它听到“住房”和“问号”就会跳到结论，认为某人在进行攻击。在教会这些机器人理解“事实”与“恐惧”之间的细微差别之前，我们不能让它们独自掌控局面。我们需要让专家保持在回路之中，以确保我们听到的不仅仅是机器人的想象力。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。