Conflicts in Texts: Data, Implications and Challenges
本综述统一了自然文本、人工标注数据以及模型交互中自然语言处理（NLP）领域内信息冲突的概念，分析了其对模型可靠性的影响，并提出了旨在开发具备冲突感知能力的系统的缓解策略。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在雇佣一位超级聪明的助手来帮你写报告、回答问题和做决策。你期望这位助手是可靠的，但有时，它会感到困惑、自相矛盾，或者针对同一个问题给你两个不同的答案。
这篇由 Siyi Liu 和 Dan Roth 撰写的论文，是对为什么这些 AI 助手（称为自然语言处理模型）不断陷入冲突进行的一次大规模“体检”。作者认为，我们不能仅仅忽视这些矛盾；如果我们这样做，AI 就会变得不可信。
他们将这些冲突的来源分解为三个发生问题的“房间”：
1. 混乱的图书馆（自然网络文本中的冲突）
想象一下，互联网是一个巨大的、混乱的图书馆，每个人都在同时大声疾呼着他们版本的真相。
- 问题所在： 有时，图书馆里有两本书对同一个事实说了相反的话（比如，当有两个同名的人时，关于“这座城市的市长是谁？”的问题）。其他时候，人们只是持有不同的观点（比如一部电影究竟是杰作还是糟粕）。
- 类比： 这就像是在人群中询问方向。一个人说“左转”，另一个人说“右转”，第三个人说，“这取决于具体是什么时间”。AI 感到困惑，是因为图书馆里的“真相”并不是一条单一、清晰的线，而是一个由事实、歧义和偏见交织而成的乱麻。
- 结果： 如果 AI 在没有过滤器的情况下从这个混乱的图书馆中学习，它可能会学到因为某个热门博客说 2+2 等于 5，所以 2+2 就等于 5；或者它可能会给你一个带有偏见的答案，仅仅符合某一方的政治立场。
2. 有缺陷的记录员（人工标注数据中的冲突）
在 AI 开始学习之前，人类必须通过标注数据（例如将一条推文标记为“开心”或“难过”）来教导它。但人类是不完美的。
- 问题所在： 两个不同的人可能会看同一句话，却对它的含义产生分歧。一个人可能觉得这个笑话很有趣，而另一个人可能觉得它具有冒犯性。此外，教导 AI 的人类本身也可能有隐藏的偏见（比如认为某种口音听起来很“愤怒”，而实际上那只是一种不同的方言）。
- 类比： 想象一群老师正在批改试卷。一位老师针对同一个答案给出了“A”，而另一位老师却给了“F”。如果 AI 是基于这种“平均”成绩进行训练的，它最终会对什么是“好”答案感到困惑。这就像是通过观察两个互相厌恶且判罚标准迥异的裁判来学习一场比赛。
- 结果： AI 会学会变得不确定，或者更糟的是，它会学会变得不公平，仅仅因为它的老师有偏见，就将无辜的评论标记为有害信息。
3. 健忘的演员（模型交互过程中的冲突）
这是 AI 真正为你“工作”的时候，它正在尝试实时回答一个问题。
- 问题所在： AI 有一个“记忆”（它在训练期间学到的东西），它也有“上下文”（你刚刚提供的新信息）。有时，这两者会发生冲突。
- 知识冲突： 你告诉 AI，“今天天空是绿色的”，但它的记忆告诉它，“天空是蓝色的”。它是该相信你，还是相信它的记忆？通常，它会固执地坚持旧有的记忆，即使你提供了新的证据。
- 幻觉： 有时，AI 会凭空捏造。它可能会讲述一个从未发生的历史事件，或者通过编造原本不存在的事实来总结一份文档。
- 类比： 把 AI 想象成一个背熟了剧本（它的训练内容）但现在正在使用新道具（你的输入）进行即兴表演的演员。如果道具与剧本相矛盾，演员可能会忽略道具，继续背诵旧台词。或者，演员可能会因为太紧张而开始编造一些毫无逻辑的台词。
- 结果： AI 可能会自信满满地告诉你一个谎言（幻觉），或者因为它太过于沉溺于过去的训练知识，而忽略了你刚刚提供的事实。
大局观：我们应该怎么做？
作者说，我们需要停止假装这些冲突不存在。与其试图强迫 AI 始终给出一个“完美”的答案，我们不如构建能够感知冲突的系统。
- 成为侦探： AI 应该能够识别出信息存在矛盾的情况。
- 请求澄清： 如果问题具有歧义，AI 应该询问：“你指的是哪一个？”而不是靠猜。
- 展示双方观点： 如果人们持有不同意见，AI 应该公平地总结各方论点，而不是选出一个赢家。
- 核实事实： AI 需要更好的工具来验证它所说的话是符合现实，还是仅仅在凭空捏造。
底线：
就像人类需要应对充满分歧、谣言和变化事实的世界一样，AI 也需要学习如何优雅地处理冲突。如果我们不教它如何处理这些矛盾，无论其底层代码多么聪明，它都会不断出错、撒谎或表现得不公平。目标是构建一种知道自己何时感到困惑，并知道如何应对现实世界复杂性的 AI。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。