ShareChat: A Dataset of Chatbot Conversations in the Wild
本文介绍了 ShareChat，这是一个包含 142,808 条真实世界聊天机器人对话的大规模多平台数据集，该数据集在 95 种语言中保留了原生界面的交互特性，从而能够在超越统一纯文本基准的更真实环境中评估大语言模型。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你一直在研究人们如何与机器人交谈，但你始终只是透过一扇普通的单面玻璃窗观察他们。你看到了他们输入的词语，却错过了他们所在房间的独特之处：墙上的特定工具、机器人如何大声思考，或是不同机器人被设计成提供帮助的各异方式。
这正是本文作者 SHARECHAT 试图解决的问题。他们建立了一个庞大的新库，收录了人类与五种不同 AI 聊天机器人（ChatGPT、Perplexity、Grok、Gemini 和 Claude）之间的真实对话，以证明你与 AI 交谈的地点会改变你与它交谈的方式。
以下是他们所做工作及发现结果的简要说明：
1. “玻璃窗”问题
以往的大多数研究都通过一种“一刀切”的视角审视 AI 对话。它们剥离了每个应用程序的所有独特特征，以使数据看起来一致。
- 类比：想象一下，你只通过查看配料表来研究人们如何点餐，却忽略了他们是在快餐得来速窗口、高档正餐厅还是餐车上。你错过了背景！
- 解决方案：SHARECHAT 就像是在上述所有五个地点拍摄人们点餐的高清录像。它保留了“得来速扬声器”（Grok 的社交媒体链接）、“厨师的特别备注”（Claude 的代码工具）以及“菜单引用”（Perplexity 的源链接）。
2. 库中有什么？
研究人员从自愿在网上分享聊天链接的用户那里收集了 142,808 次对话（超过 660,000 条来回消息）。
- 规模：非常庞大。虽然其他库包含的是简短、零碎的聊天（像快速短信），但 SHARECHAT 包含的是漫长、深入的对话，用户在其中提出后续问题、改变主意，并在多个回合中解决复杂问题。
- 多样性：它涵盖 95 种不同语言，而不仅仅是英语。
- 隐私：他们从聊天中擦除了所有姓名、电子邮件和电话号码，以确保无人能被识别，就像在人群照片中模糊人脸一样。
3. 三大发现（案例研究）
作者利用该库进行了三项具体测试，以观察这些机器人究竟有多大差异：
A. “你明白了吗？”测试（对话完整性）
他们检查了 AI 是否真正完成了用户的要求。
- 发现：有些机器人像可靠的图书管理员，总能找到整本书（ChatGPT 和 Claude）。而另一些则更像搜索引擎，给你精彩的首页，但可能在你找到答案之前就停止了（Perplexity 和 Grok）。在现实世界中，许多对话结束时用户仅感到部分满意，这是一个细微差别，而以往的研究因只关注单个问题而忽略了这一点。
B. “你看了哪里？”测试（来源依据）
他们观察了两个专注于搜索的机器人（Grok 和 Perplexity）是如何找到答案的。
- 发现：它们就像两位不同的侦探。
- Grok 痴迷于 社交媒体。它主要引用 X（Twitter）的帖子和新闻网站，表现得像一个实时新闻滚动条。
- Perplexity 则是一位 研究员。它引用维基百科、科学期刊和 Reddit 等论坛，表现得像一位在档案中挖掘的图书管理员。
- 启示：它们不仅仅是"AI"；它们是专为不同工作构建的不同工具。
C. “思维速度”测试（时机）
他们测量了用户在 AI 发言后输入回复所需的时间。
- 发现：对话的节奏会根据机器人的不同而变化。
- 对于 ChatGPT，随着聊天进行，机器人变得更快（也许它正在学习你的风格或缓存答案）。
- 对于 Grok，随着聊天变长，机器人反而变慢了（也许它被所有的历史记录压得喘不过气）。
- 这表明聊天的“个性”不仅仅关乎措辞；它还关乎时机和流程。
4. 为什么这很重要
该论文认为，如果我们只通过通用的、被剥离的视角来研究 AI，我们就错过了最重要的部分：用户的现实。
- 现实生活是混乱的：人们不会只问一个问题就离开。他们会进行漫长、曲折的对话。
- 工具很重要：用户将不同的 AI 视为不同的工具。他们用其中一个进行编程，用另一个获取新闻，再用另一个进行创意写作。
- 更好的训练：通过向研究人员提供这种保留所有独特特征的“现实世界”数据，我们可以构建更好的 AI，使其不仅懂得说什么，还能懂得在它所处的特定应用程序背景下如何说。
简而言之：SHARECHAT 是一个庞大、多样的现实世界 AI 聊天集合，它证明了我们不能在真空中观察这些机器人来理解它们。我们必须将它们置于其自然栖息地中，才能真正了解它们是如何运作的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。