Language Models Agree With Each Other, Not With Readers

AI 回声壁 vs. 寂静的读者

想象一下，你置身于一个充满人的房间里，大家都在试图猜测一本神秘且隐形的书在讲什么。如果你请一群人类去读一页书，并标出最重要的句子，你会得到一种混乱而美丽的混沌。一个人可能会高亮出一个有趣的笑话，另一个人可能会标记一个悲伤的事实，而第三个人可能会圈出一个他觉得读起来顺口的词。他们都是为了各自不同的目的而阅读，没有指令，没有奖赏，也没有人告诉他们什么是“重要”。这就是真实的阅读方式：它是个人的、混乱的，且充满了分歧。

现在，想象一下你用一群超级智能的计算机取代了那些人类，这些计算机都接受过同一座庞大互联网图书馆的训练。你向它们提出了完全相同的问题：“这个故事中哪些句子很重要？”你可能会预期它们会和人类一样混乱，甚至因为它们是不同的机器而更加多样化。但转折点在于：这些计算机开始听起来和彼此一模一样。它们都在挑选相同的句子，其达成共识的程度是任何人类群体都无法企及的。这篇论文调查了这一奇特的现象。它在问：这些 AI 模型是在互相模仿，还是它们已经以某种方式共同决定了一种“正确”的阅读方式？如果它们彼此之间如此一致，那么它们是否也与我们一致？

实验：一场高亮之战

为了寻找答案，研究人员设计了一个独特的游戏。他们没有雇佣人类来充当受试者，也没有付钱让他们遵循规则。相反，他们观察了一个真实的社交平台，在那里，成千上万的普通人在阅读 120 篇不同的网络文章时，出于自己的个人原因进行了文本高亮——也许是为了记住一个事实，也许是为了引用朋友的话，或者仅仅是因为某个句子感觉很对。至关重要的是，这些读者看不到彼此的高亮内容；他们在完全孤立的状态下进行阅读。

随后，研究人员要求 1-18 个不同的 AI 模型（来自 OpenAI、Google 和 Anthropic 等大公司的模型，涵盖从小型到超强力的“前沿”模型）阅读同样的 120 篇文章，并选出它们认为最重要的前 20% 的句子。他们对比了 AI 之间的共识程度与真实人类之间的共识程度。

重大发现：AI 是最好的朋友（但不是和你）

结果令人震惊。当两个不同的 AI 模型阅读同一篇文章时，它们对哪些句子重要的共识程度，比两个随机人类读者之间的共识程度高出了 2.3 倍。

为了让你更有概念：

• 两个人类阅读同一页时，在典型的 14 个句子中，大约会共享 4.1 个高亮句子。
• 两个 AI 模型阅读同一页时，大约会共享 8.7 个句子。
• 更令人震惊的是：来自竞争对手公司的两个最强大的 AI 模型（GPT-5.4 和 Claude Opus 5）之间的共识程度，是两个人类之间共识程度的 5.1 倍。事实上，它们之间的共识程度几乎等同于单个人类在两次阅读同一文本时自己与自己的共识！

这篇论文将其称为“收敛”（convergence）。这意味着 AI 正在齐步走，挑选相同的“最佳”句子，而人类则在朝着不同的方向行进。

这不是什么（排除错误的解释）

研究人员非常谨慎，确保这不是一个陷阱。他们测试并排除了几个显而易见的、可能导致 AI 高度一致的原因：

• 并非因为它们属于同一家公司： 来自完全不同实验室和国家的模型，其一致程度与来自同一公司的模型一样高。
• 并非因为它们是“确定性的”（机器人式的）： 即使同一个 AI 被问及完全相同的问题两次，它也不总是选择完全相同的句子（它与自身的共识率仅为 27%）。但当它与另一个不同的 AI 进行对比时，它们的共识程度要高得多。
• 并非因为提示词的措辞： 稍微改变指令的措辞并不能阻止它们达成一致。
• 并非因为它们在模仿一个“正确”的答案： 这个任务本身并没有标准答案。AI 只是在挑选它们认为重要的内容。

“语域”之谜：它们喜欢不同的词吗？

人们可能会猜想，AI 之所以如此一致，是因为它们都热爱冗长、华丽、科学的句子，而人类则喜爱简短、感性的句子。研究人员通过观察 11 种不同的句子特征（如长度、标点符号和词汇类型）进行了检查。

他们发现，当他们根据长度和位置匹配句子时，并没有发现差异。AI 和人类选择的句子在表面特征上看起来完全一样。AI 并没有选择“机器人词汇”；它们选择的词汇类型与人类一致，只是选择的句子集合完全不同。AI 与人类之间的距离正在扩大，但这并不是因为它们在说不同的语言。

天花板：AI 正在失去“像人”的空间

这是故事中最有趣的部分。研究人员问道：“随着 AI 变得越来越聪明，它是否会开始与人类达成一致？”

答案是是的，但仅限于一定程度内。

• 更新、更强大的模型确实比旧的、较弱的模型更能与人类达成一致。
• 然而，它们遇到了一个“天花板”。即使是研究中最优秀的 AI，也只能达到完美“群体共识”（许多人类意见的平均值）所能达到的共识水平的 84% 左右。
• 与此同时，两个 AI 之间的共识程度却在不断攀升，超过了人类的天花板，并达到了更高的水平。

这就像是 AI 正在学习像人类一样阅读，但它们学习像彼此一样阅读的速度更快。它们正变得如此擅长模仿一种特定的“理想”读者，以至于它们正把真实的个体人类甩在身后。

程序问题：一场公平的比赛吗？

论文也承认了游戏进行过程中的一个特性。当人类高亮文本时，他们可能会标记 20 个句子，但研究人员只允许他们保留其中最好的 14 个（这是从他们最好的句子中随机选择的）。然而，AI 则被迫选出其绝对最好的 14 个句子。这给了 AI 一个不公平的优势，就像一个篮球运动员可以从自己最好的 14 次投篮中挑选，而人类必须从 20 个球中随机挑选 14 个。

当研究人员让 AI 按照人类的规则进行游戏（从其顶尖选择中随机挑选）时，AI 与人类之间的共识差距缩小了一半。但即便如此，AI 之间的共识仍然显著高于人类。差距并没有消失，只是变小了。

总结

论文得出结论，语言模型不仅仅是帮助我们阅读的工具；它们正在成为一种全新的阅读者。它们正在收敛到一种共享的、内在的文本理解方式，这种方式比真实人类的阅读方式要统一得多。虽然它们正在变得更擅长理解我们，但它们也变得更擅长理解彼此。其结果是，在一个由 AI 模型构成的世界里，它们彼此之间来自不同公司的竞争对手之间的共识，可能比它们与正在阅读文本的人类之间的共识还要高。这是一个强大且略带诡谲的回声壁，机器都在齐声吟唱着相同的曲调，而人类仍在唱着各自独特的歌。