Floor, Ceiling, and the Fusion Gap: How Much of Crowd Reading Attention Can Machines Predict?

想象一下，你正在试图教一个机器人像人类一样读书。你希望机器人能知道哪些句子是“精彩部分”，这样它就能为你高亮显示出来。这在人工智能领域是一个巨大的挑战，特别是在一个被称为“信息检索”或“自然语言处理”的领域。核心问题不仅是“机器人能否猜对？”，而是“它到底能做得多好？”

为了回答这个问题，科学家需要两个东西：一个底线（Floor）和一个天花板（Ceiling）。底线是最糟糕、最愚蠢的猜测——比如仅仅高亮页面开头的几句话，因为人们通常从那里开始阅读。天花板是理论上的完美极限。它代表了即使拥有魔法力量的人也可能达到的最高分，因为人类读者对于什么是“精彩”并不总是有共识。如果机器人的得分是100，但人类之间的共识率只有80%，那么机器人就不可能达到完美的100分；天花板会比100低。

这篇论文是一部关于寻找特定任务之“底线”与“天花板”的侦探故事：预测普通大众会对网页文章中的哪些句子进行高亮标注。研究人员想要知道：我们最聪明的AI模型是否已经接近人类的完美水平，还是仍在黑暗中摸索？如果还没达到，那么最廉价、最简单的方法是什么？

伟大的高亮劫案

研究人员使用120篇真实的网页文章进行了一场大规模实验。他们观察了一群未经培训的普通读者如何为了自己的乐趣而高亮显示句子。然后，他们建立了一个计分板，用以衡量不同AI模型预测这些高亮内容的表现。

首先，他们确立了底线。他们尝试了最笨的策略：只高亮顶部的句子（即“导语”）。令人惊讶的是，这个简单的技巧效果相当不错，得分达到了 0.2410。这可以理解，因为大多数文章都会把最重要的信息放在开头。

接着，他们构建了天花板。他们将读者群体一分为二。他们问道：“如果一半的读者试图预测另一半读者会高亮哪些内容，他们能做得多好？”这是任何人可能达到的极限，因为它考虑到了人类是具有随机性的，且并不总是达成一致。天花板得分为 0.4437。

底线（0.2410）与天花板（0.4437）之间的差距就是“上升空间（Headroom）”——这是AI可以真正实现进步的空间。这个差距是 0.2028。大问题在于：目前的AI能填补多少这个差距？

结果：AI完成了一半的任务

研究人员测试了五种世界领先的先进AI模型（“前沿模型”）。他们发现，表现最好的单个模型只能填补约 53% 的差距。换句话说，这项任务大约完成了一半。AI比那个愚蠢的“第一句”猜测要好得多，但在匹配人群的集体智慧方面仍有很长的路要走。

在这里，研究人员试图弄清楚为什么AI做得不够好。

• 仅仅是关于位置吗？ 他们尝试教一个简单的计算机程序仅根据句子的位置和长度来进行预测。该程序仅找回了 5% 的差距。这证明了缺失的部分不仅仅是“在哪里”，而是关于句子本身“说了什么”（语义）。
• 是关于文本压缩吗？ 他们尝试使用一种旨在缩小文本体积的高级工具（LLMLingua-2）来观察它是否能找到高亮部分。它失败得很惨，得分甚至比那个愚蠢的“第一句”猜测还要差。这意味着，试图总结或压缩文本并不能帮助AI理解人类对什么感兴趣。

“融合（Fusion）”的魔力

那么，如果一个聪明的AI不够，如果问五个不同的AI呢？

研究人员创建了一个融合模型（Fusion）。他们提取了五个顶级AI模型的排名并取其平均值。他们还加入了一个微小的推动力，以偏向文章开头的倾向（“位置先验”）。

结果如何？融合模型填补了 60% 的差距。这是一个显著的飞跃。

• 它击败了最好的单个模型： 融合模型以微弱但具有统计学意义的优势超过了表现最好的单个AI。
• 它不需要“明星”： 即使你从组中移除表现最好的那个AI，仅对剩下的四个进行平均，这个组合仍然优于那个表现最好的单个模型。这表明不同的AI会犯不同的错误，当我们将它们平均化时，这些错误会相互抵消。
• 这不是偶然： 团队在另一组全新的217篇文档上再次进行了这项实验（一项预注册的复制实验）。融合模型依然胜出，证实了这一结果并非运气使然。

“蒸馏（Distillation）”的惊喜

最后，研究人员问道：“我们能否教一个更小、更便宜的AI来做这件事？”他们提取了五模型融合模型的“智慧”，并尝试将其教给一个单一的、较小的AI模型（一个80亿参数的模型）。

他们尝试了两种类型的学生：

1. 局部学生（The Local Student）： 一个只能阅读当前句子及其相邻句子的模型。这个学生仅保留了融合模型 63% 的优势。
2. 全篇文档学生（The Whole-Document Student）： 一个可以一次性阅读整篇文章的模型。这个学生保留了融合模型 90% 的优势，并且表现得与最强的单个AI模型一样好。

这告诉了我们一个深刻的事实：人类觉得有趣的信息信号存在于整个文档的结构中，而不仅仅是局部的句子。要成为一个优秀的高亮器，AI需要看到全局。

总结

这篇论文并不是声称AI已经“解决”了阅读问题。相反，它给了我们一个现实的区间：

1. 这项任务完成了一半。 我们还没达到目标。
2. 未解决的一半是关于意义，而非位置。 简单的技巧行不通；AI必须理解文本。
3. 最廉价的升级是询问多个模型。 如果你现在想要最好的结果，不要只使用一个AI。询问五个不同的AI并平均它们的答案。这是一个简单的技巧，它能击败最好的单个模型。

作者也警告说，随着AI模型变得越来越聪明并开始达成更多共识，这种“融合优势”可能会缩小。但就目前而言，如果你正在构建一个“高亮AI”，秘诀很简单：不要只依赖一个大脑；要使用一个委员会。