PromptDecipher: Supporting AI Tutor Authoring Through Editable Simulated Interactions
针对教育者很少在部署前测试 AI 辅导机器人的问题，本文提出了 PromptDecipher 系统，该系统通过允许教师在实时预览中直接修正机器人的不良回复来简化创作过程，从而自动生成有针对性的提示词重写并通过问答流程对其进行验证。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你是一位教师，希望为学生构建一个有益的 AI 导师。目前，大多数工具要求你完成一项非常困难的任务：用纯文本编写一套庞大而复杂的指令（称为“系统提示”），并寄希望于 AI 能完全理解你的确切意图。这就像试图通过向一名从未见过的新员工递上一本 50 页的规则手册来教导他，却从不让他们进行任何练习。
论文《PromptDecipher》认为，这种做法是错误的。教师是评估学生作业的专家，但他们并非编写代码或为计算机撰写复杂指令的专家。
问题：指令的“黑箱”
目前，如果教师创建了一个机器人，而它给出了错误的答案，教师就必须猜测是哪一部分庞大的指令导致了错误，重写该部分，并寄希望于结果能改善。作者在一项针对 100 多名教师的研究中发现，几乎没有人会在让学生使用之前测试他们的机器人。这就像厨师在从未尝过新菜的情况下，就将其端上餐厅餐桌。
解决方案：“先编辑，后解释”方法
PromptDecipher 扭转了这一局面。你不再先编写指令，而是从扮演学生的角色开始。
- 模拟：你与新的机器人进行对话。
- 修正：如果机器人说了错误或无益的话，你不必回到指令手册。相反，你只需在聊天窗口中直接编辑机器人的回复，将其重写为你希望它表达的确切内容。
- 神奇翻译器：一旦你点击“提交”，系统就会像一个超级聪明的翻译器那样运作。它会查看你的修正，并问道：“啊，所以教师希望机器人提出问题，而不是直接给出答案？”
- 自动更新：随后，系统会自动重写隐藏的指令手册（即提示），以匹配你的修正。它会向你展示这些更改，就像 Word 文档中的“修订”功能一样，让你清楚看到它做了什么。
- 安全检查：在你发布机器人之前，系统会运行一次快速测试。它会检查：“修复这一个错误是否破坏了其他方面？”如果机器人在其他场景中开始表现异常，它会阻止你并提示：“嘿，我们也需要修复这个问题。”
类比：排练室
将构建 AI 导师想象成执导一场戏剧。
- 旧方法：你为演员（即 AI）编写一份庞大的剧本，并寄希望于他们能正确演绎。如果他们念错了一句台词，你就必须猜测剧本的哪一部分需要修改。
- PromptDecipher 方法：你观看演员的表演。如果他们念错了台词，你便介入并说：“不，试着这样来说。”随后，系统会采纳你的新台词，并构思如何重写剧本，以便演员下次记得这样来说。你持续这样做，直到表演完美为止；在排练成功之前，系统不会允许你打开剧院大门（即发布机器人）。
为何重要
这套系统迫使教师在不自觉的情况下扮演质量控制工程师的角色。通过让“修复”环节变得简单且熟悉（只需编辑聊天内容），它确保了机器人在真实学生看到之前，实际上已经过测试和改进。作者计划在一门面向数百名大学讲师的课程中使用此工具，以观察这种方法是否有助于他们构建更好、更安全的 AI 导师。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。