How Human Feedback Shapes AI-generated Community Notes
本文通过分析大量关于 X 的协作笔记，旨在证明虽然人类反馈能显著提升 AI 起草内容的帮助性——尤其是在事实纠错和挑战性陈述方面——但这些混合型笔记由于参与度有限而面临采用瓶颈，并最终通过针对纯人工或纯 AI 审核所忽略的帖子，发挥其补充性作用。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一个巨大的城镇广场，人们在那里发布消息，而有些消息可能包含谎言或半真半假的信息。为了保持广场的诚实，平台使用了一种名为“社区附注”（Community Notes）的系统。你可以把它想象成一种邻里守望机制，由普通的公民而非专业的警察站出来，为误导性的帖子撰写“事实核查”。
最近，该平台（X）尝试了一项新实验：协作式附注（Collaborative Notes）。在这种模式下，人类不再从零开始撰写附注，而是由一个 AI（机器人作家）先起草一份草案。然后，人类邻居阅读这份草案、提出修改建议，再由 AI 进行重写。这个过程会不断循环，直到附注达到足以向大众展示的标准。
这篇论文就像是一份关于这个“人机协作”团队表现如何的成绩单。以下是研究人员的发现，用通俗易懂的方式进行了解释：
1. 反馈循环：谁在说话，他们在说什么？
当 AI 撰写草案时，人类会介入进行批评。研究人员观察了数千条此类批评，并将其分类：
- “事实核查员”： 指出错误或补充缺失背景的人（例如，“这个来源是假的”或“你忘了提到日期”）。
- “编辑”： 修改语法或格式的人。
- “哲学家”： 争论这类附注是否应该存在，或表达个人道德观的人。
- “反机器人”群体： 明确表示“我们不希望 AI 做这件事”的人。
结论： AI 非常擅长听取“事实核查员”和“编辑”的意见。如果你提供一个来源链接或清晰的更正，它通常能完成修正。然而，它很大程度上忽略了“哲学家”和“反机器人”群体。如果你只是说“我讨厌这条附注”而没有给出具体原因，AI 通常会维持原样。
谁在说话？ 研究发现，对 AI 草案进行批评的人并不是普通用户。他们是“资深人士”——那些在平台上活跃多年、评分过数千条附注、且往往持有非常强烈且两极分化政治观点的人。这就像是城镇广场的会议被那 50 个声音响亮、经验丰富的老邻居所主导，而不是整个社区。
2. 演进：附注变得更好了吗？
想象一下雕塑。AI 从一块粗糙的石块开始。人类进行凿刻，AI 进行打磨。
- 是的，它变好了： 平均而言，最终版本的附注比 AI 最初制作的第一份草案要有用得多。
- 但过程并不平坦： 这种进步并不是一条直线。有时一次修改会让附注变得更糟，然后才使其变好。这就像是在玩“热与冷”的游戏，质量会在最终稳定在一个好的版本之前发生波动。
- 轮次越多 = 结果越好： 经过多次修订轮次的附注（长链条）最终呈现出的质量，要比仅经过一两次微调的附注高得多。
3. 现实检验：这个新系统真的奏效了吗？
这里是棘手的部分。尽管通过人类帮助，附注确实变得更好了，但“人机协作”型的附注在表现上正处于困境，逊于纯人工编写或纯 AI 编写的附注。
- “有用性”差距： 协作式附注被评为“有用”的频率远低于其他类型。只有约 1.8% 的协作式附注达标，相比之下，纯 AI 附注为 14%，纯人工附注为 9%。
- “速度”问题： 协作式附注需要更长的时间才能获得足够的投票以被展示。与快速行驶的汽车相比，它更像是一列缓慢移动的火车。
- “人群”问题： 为什么它们表现不佳？因为参与投票的人不够多。
- 人们似乎对对 AI 草案进行评分感到犹豫。
- 人们会感到疲劳。如果你对第一份草案进行了评分，你很少会回来为第二或第三份草案评分。由于“观众”一直在变化，因此附注永远无法获得稳定的共识。
4. 积极的一面：为什么要继续做下去？
如果它们速度较慢且受欢迎程度较低，为什么还要继续？研究人员发现，这些附注发挥了互补作用。
再次回到那个城镇广场。 “纯人工”和“纯 AI”团队正忙于核查那些最明显、最热门的谎言。但还有成千上万的其他帖子无人问津。而“协作式”团队则介入到了这些被遗忘的帖子中。他们在没有人关注的缝隙中填补空白。
总结
实验表明，AI 可以写出一个好的初稿，而人类可以对其进行修正，但目前的系统存在一些缺陷：
- 参与人数太少，人们不太愿意参与修复 AI 草案。
- 那些真正参与其中的人大多是持有强烈观点的“资深人士”。
- 过程太慢，人们在看到第一份草案后就会失去兴趣。
论文建议，为了解决这个问题，平台需要让普通人更容易参与进来，例如不要强迫他们写长篇评论，并鼓励他们回到后续版本进行投票。如果他们能吸引更多人参与，这些“人机协作”型的附注就能成为清理互联网的强大工具。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。