ThoughtTrace: Understanding User Thoughts in Real-World LLM Interactions
本文介绍了 ThoughtTrace，这是首个将真实世界的人机对话与用户自我报告的思想配对的大规模数据集，揭示了这些潜在认知状态与口头信息截然不同、难以被模型推断，且对于改进用户行为预测及训练个性化、目标对齐的助手具有极高价值。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在观看一场戏剧，演员们只能说出他们的台词，而你完全无法窥见他们的内心独白、隐藏的恐惧、突然的领悟或无声的评判。这就是我们目前与人工智能互动的方式。我们能看到用户对聊天机器人说了什么，却完全不知道他们实际上在想什么。
论文《ThoughtTrace》引入了一种新的方式来揭开幕布的一角。这就像为演员的内心想法配备了一个麦克风，将其与他们的口头台词一同记录下来。
以下是用简单类比对该论文发现的拆解：
1. 核心理念：“内心独白”数据集
多年来，研究人员通过查看聊天记录（人们输入的内容）来研究人工智能。但输入往往只是思维的“有损”版本。你可能会输入“帮我列个清单”，但你真正的想法可能是：“我是个缺乏经验的旅行者，我害怕会忘记带护照。”
ThoughtTrace 是首个大规模收集的真实世界对话数据集，其中用户不仅进行聊天，还点击按钮记录下他们的实时想法。
- 原因：他们发送消息的缘由（例如：“我需要把这个大任务分解成小步骤，以免人工智能感到困惑”）。
- 反应：人工智能回复后他们的想法（例如：“这很有帮助，但感觉太泛泛而谈，忽略了我是要去参加会议”）。
该数据集规模庞大：超过 1,000 人，2,000 次对话，以及 10,000 多个想法标注。
2. 他们的发现：“隐藏层”
研究人员分析了这些数据，发现了关于这些“想法”的四个令人惊讶的事实：
- 想法不仅仅是文字的重复：如果你对比用户输入的文字与其书面想法的“含义”，你会发现它们截然不同。这就像菜单上的菜品（“牛排”）与厨师的秘密食谱笔记之间的区别。想法包含了一层全新的信息，这是输入的文字所遗漏的。
- 人工智能不擅长读心：即使是最先进的人工智能模型（“前沿”模型）尝试仅根据聊天记录来猜测用户在想什么，它们也彻底失败了。这就像试图仅通过品尝最终菜肴来猜测一个人的秘密食谱；人工智能无法找出隐藏的配料（用户的真实意图或挫败感）。
- 想法随着对话的推进而变化：
- 对话初期：想法主要集中在目标上（“我想规划一次旅行”）。
- 对话后期：想法转向细化（“这个清单太长了，缩短一点”）或检查约束条件（“等等，我的预算是 500 美元”）。
- 想法是多样化的：它们不仅仅是“好”或“坏”。它们涵盖了从“我对这个感到焦虑”到“我喜欢这个语气，但格式很乱”等所有内容。
3. 为何这很重要：两项超能力
该论文表明，如果我们让人工智能能够访问这些“想法”，它在以下两件事上会变得好得多：
A. 预测未来（水晶球）
- 实验：研究人员要求人工智能模型猜测用户接下来会输入什么。
- 结果：当人工智能被允许“看到”用户的想法时，其预测准确率跃升了41.7%。
- 类比：这就像气象预报员的区别：一个仅根据当前风向猜测是否会下雨，而另一个还知道气压计正在下降且天空正变得灰暗。“想法”为人工智能提供了缺失的上下文，使其能够确切知道用户接下来会说什么。
B. 学习变得更好（私人教练）
- 实验：他们训练人工智能变得更加乐于助人。他们比较了两种方法：
- 消息引导：人工智能从用户说的不满意之处学习（例如：“缩短一点”）。
- 想法引导：人工智能从用户想的不满意之处学习（例如：“这太长了而且杂乱无章，我需要一个检查清单”）。
- 结果：基于想法训练的人工智能，在遵循指令和满足用户方面，显著优于仅基于消息训练的人工智能。
- 类比：想象一位教练。
- 消息引导：运动员说：“我输了。”教练说：“再努力点。”
- 想法引导：运动员心想：“我输了是因为我的鞋子太紧了。”教练说：“让我们把鞋子修好。”
“想法引导”的教练理解了真正的问题，而不仅仅是表面的抱怨。
总结
ThoughtTrace 证明了人们所想的内容是当前人工智能缺失的秘密配料。通过记录这些想法，我们可以构建出不仅倾听我们的话语，而且真正理解我们的目标、挫败感和隐藏需求的人工智能。它将人工智能从一台简单的打字机转变为真正“懂”我们的对话伙伴。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。