DigitalCoach: Communication and Grounding Gaps in Human and Agentic Computer Use Coaching
本文介绍了 DigitalCoach，一个包含人类专家与新手计算机辅导过程的多模态数据集，旨在揭示当前的 AI 模型在有效教学方面存在困难，即它们倾向于依赖直接指令而非解释，并且无法维持视觉落地，从而阻碍了学习者的深度参与。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在尝试学习如何使用一个复杂的软件，比如一个 3D 设计工具或电子表格程序。你有两种获取帮助的选择：
- 人类教练： 一位专家坐在你旁边（或通过视频通话），看着你的屏幕，然后说：“我看到你被那个按钮卡住了。它之所以是灰色的，是因为你还没有先选中那个形状。让我们试着先点击形状，然后再点击按钮。你明白为什么会这样了吗？”
- AI 教练： 一个聪明的计算机程序读取你的屏幕并说：“点击这个按钮。然后点击确认框。最后保存文件。”
论文 DIGITALCOACH 提出了一个简单但重要的问题：AI 教练能否像人类教练一样教好你？
为了找出答案，研究人员为 AI 建立了一个巨大的“训练馆”。以下是他们所做的工作以及他们的发现，使用了许多日常类比。
1. 数据集：构建“训练馆”
研究人员创建了一个名为 DIGITALCOACH 的新数据集。你可以把它看作是一个巨大的录像库。
- 内容： 他们记录了 72 场真实的教学过程，由一位人类专家教授初学者如何使用 5 种不同的软件程序（如用于 3D 艺术的 Blender、用于电子表格的 Excel 以及用于工程设计的 OnShape）。
- 细节： 这不仅仅是音频。他们记录了屏幕、每一次鼠标点击、每一次按键，并保存了文件的快照。这就像拥有整个学习过程的高清重放，而不仅仅是对话。
- 目标： 他们利用这些录像来观察人类究竟是如何教学的，并测试 AI 模型是否可以模仿这种风格。
2. 问题：“机器人老师” vs. “人类导师”
当研究人员测试目前最优秀的 AI 模型时，他们发现机器人的教学方式与人类的教学方式之间存在巨大的差距。
人类教练（“导师”）：
- 解释“为什么”： 他们不只是说“做这个”。他们会解释你为什么要这样做。“我们点击这个是因为它能把你的平面形状变成 3D 物体。”
- 检查理解程度： 他们会提问，例如：“你看到那个按钮在哪里了吗？”或者“你觉得接下来会发生什么？”
- 适应屏幕变化： 如果你点错了，他们会立即注意到并说：“噢，那个按钮被禁用了，因为……”
AI 教练（“机器人”）：
- 只下达指令： AI 大多只是说：“点击这里。然后点击那里。”它就像一个只提供转弯指令而从不解释地图的 GPS。
- 对屏幕视而不见： AI 经常忽略你屏幕上实际发生的情况。如果你点击了错误的按钮，AI 可能会继续让你点击那个相同的按钮，而没有意识到它已经变灰或失效了。
- 没有提问： 它很少询问你是否理解。它只是不断地推进下一个指令。
3. 实验：谁学得更多？
研究人员用真人进行了这项测试。
- A 组 由人类专家进行教学。
- B 组 由 AI 教练进行教学。
结果：
- A 组（人类）： 学习者更好地理解了概念。他们完成了更多的任务，更重要的是，他们在之后能够独立完成类似的任务。他们学到了技能，而不仅仅是步骤。
- B 组（AI）： 学习者更容易卡住。他们盲目地遵循指令，但并不理解自己在做什么。当任务发生轻微变化时，他们就无法应付了。他们就像是在跟随一个拒绝解释路线的司机在坐车；如果司机停下来，乘客就会迷失方向。
4. 核心问题：“落地性”（Grounding）
论文使用了 “落地性”（Grounding） 这个术语。
- 想象你在和朋友一起玩电子游戏。如果你的朋友说：“跳过那个红色方块”，但你面前的方块是蓝色的，一个具有“落地性”的朋友会说：“等等，那是蓝色的。你是说后面那个红色的吗？”
- 人类教练 是具有落地性的。他们看着屏幕并将言语与所见相匹配。
- AI 教练 是“脱离现实”的。它经常忘记观察屏幕。它过于依赖文本对话，而不是视觉现实。它就像一个对着剧本朗读的老师，而学生实际在做的却是另一回事。
5. 结论
论文得出结论：虽然 AI 在为我们执行任务（如编写代码或移动文件）方面变得非常出色，但目前它并不擅长教人类如何亲自完成这些任务。
AI 更像是一个执行命令的远程控制器，而不是一个帮助你建立自身技能的教练。要让 AI 教练真正发挥作用，它们需要学会：
- 实时观察屏幕。
- 通过提问来检查你是否理解。
- 解释步骤背后的“为什么”，而不仅仅是“是什么”。
在 AI 能够做到这些之前，最好将其视为一个为你完成工作的工具，而不是一个帮助你学习工作的老师。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。