RECAP: An End-to-End Platform for Capturing, Replaying, and Analyzing AI-Assisted Programming Interactions
本文介绍了 RECAP，这是一个开源平台，能够被动捕获并统一 AI 聊天会话与细粒度代码编辑，以支持对开发者与 AI 交互模式的交互式重放和高级分析，其有效性已通过涉及 41 名学生的部署得到验证。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在尝试理解一名学生是如何通过观察他们使用智能厨房助手来学习烹饪的。如果你只盯着最终菜肴（他们提交的代码）或者只阅读他们发送给助手的短信（聊天记录），你就会错过整个故事。你看不到他们尝试后又丢弃的食材，看不到他们忽略助手建议的时刻，也看不到他们的烹饪策略如何随时间演变。
RECAP 是一款旨在消除这一盲点的新工具。它就像是为在代码编辑器（VS Code）中使用 AI 编程助手（如 GitHub Copilot）的程序员所配备的“黑匣”记录仪。
以下是其工作原理，分解为简单部分：
1. “影子”记录仪（摄像头）
把程序员的电脑想象成一个繁忙的厨房。通常，程序员只在点击“提交”（commit）时保存工作（就像每小时给菜肴拍一张照片）。这遗漏了其间发生的所有切菜、品尝和烧焦的过程。
RECAP 安装了一个名为 Copilot Interaction Archiver 的微小、不可见的扩展程序。
- 它监视聊天：它记录学生向 AI 提出的每一个问题以及 AI 给出的每一个回答。
- 它监视代码：它创建一个代码的“影子”版本，每次学生点击保存，甚至在他们只是输入尚未保存时，都会保存一个快照。
- 魔法链接：它将两者连接起来。它知道在下午 2:00，学生向 AI 请求了一个特定的修复，而在下午 2:02，那个确切的修复出现在了代码中。它将“提示”与“结果”关联起来。
2. 时光穿梭查看器（回放）
一旦数据被收集，研究人员可以使用 Session Replay Viewer（会话回放查看器）。这就像电子游戏的回放功能，但是针对编程的。
- 时间线：你看到的不再仅仅是文件列表，而是一条单一的、色彩丰富的时间线。
- 蓝点代表向 AI 提出的问题。
- 黄点代表 AI 建议的代码。
- 绿点代表人类自己输入的代码。
- 逐步演示：研究人员可以点击播放，观看学生的整个会话展开。他们可以看到：“啊，这里学生请 AI 修复了一个 bug，AI 提出了一个解决方案，学生拒绝了它，自己尝试却失败了，然后再次回到 AI 那里。”
3. 他们发现了什么？（侦探工作）
研究人员在一所大学的班级中测试了该工具，41 名学生参与了一个为期两周的项目。他们不仅仅统计学生使用 AI 的次数；他们利用回放功能发现了原本不可见的有趣模式：
- “卡住”的循环：一名学生陷入了长达 11 分钟的循环。他们粘贴错误消息，AI 修复它，出现新的错误，他们粘贴那个，循环重复。回放清晰地展示了这种循环挣扎，而最终的代码文件看起来只是一个完成的项目。
- “弗兰肯斯坦”式方法：一名学生使用一个 AI（ChatGPT）制定一个大计划，然后将该计划粘贴到另一个 AI（Copilot）中来编写代码。回放将这两个不同的工具联系起来，展示了学生是如何混合搭配 AI 助手的。
- 学习驾驶：随着项目的推进，学生减少了对 AI 编写实际代码的依赖。他们更多地使用 AI 来解释概念和进行规划，这表明他们正在学习自己驾驶汽车，而不是让 AI 掌舵。
为什么这很重要
在 RECAP 出现之前，研究人员就像侦探，试图通过只查看犯罪现场（最终代码）或嫌疑人的日记（聊天记录）来破案，却从未目睹实际事件。
RECAP 提供了完整的电影。它让教育者和研究人员能够确切地看到人类和 AI 如何在长时间内协同工作，揭示出导致最终结果的混乱、试错过程。
重要提示：论文强调，该工具目前专为 VS Code 和 GitHub Copilot 设计。它是一个供研究人员和教师研究人们如何学习和工作的开源工具，而不是用于给学生评分的工具，也不是医疗设备。收集的数据经过严格匿名化和保护，以确保学生隐私。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。