💻 computer science

Teaching Prompt-Based Programming with LLMs: A 45-Minute Lesson with Guided Practice for End-User Programmers

本文通过一项随机对照研究表明，一段时长为45分钟、关于基于提示词编程的引导式课程显著提高了工程专业学生的自我效能感，并与传统的代码追踪活动相比，在向大语言模型指定计算目标的能力方面显示出虽不具有统计学显著性但仍有小幅度的提升。

原作者： Keith Tran, Samiha Marwan, Thomas Price

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Keith Tran, Samiha Marwan, Thomas Price

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个非常有才华、但有点过于“死板”的机器人助手。你想让它烤一个蛋糕，但你不能直接给它一份食谱，而是必须用平实的英语精确地描述你的需求。如果你说“做一个蛋糕”，它可能会给你一块面粉砖。但如果你说“混合两杯面粉、三个鸡蛋，并以350度烘烤30分钟”，你就能得到一个蛋糕。

这就是**提示词编程（Prompt-Based Programming）**的核心理念。你不再编写复杂的计算机代码（即“食谱”），而是编写自然语言指令（即“提示词”），让 AI 为你编写代码。

Keith Tran、Samiha Marwan 和 Thomas Price 的这篇论文提出了一个简单的问题：我们能否在仅仅一个课时（45分钟）内，教会人们如何有效地与这个机器人助手交流？

以下是他们利用日常类比对这项研究进行的拆解：

问题所在：“模糊指令”问题

许多人，尤其是那些非计算机专家的人，尝试使用 AI 来编写代码。但他们往往难以做到具体。这就像去餐厅点餐时只说“我要点个好吃的”，结果当服务员给你端上一份沙拉而不是汉堡时，你会感到困惑。AI 并没有坏掉，只是指令太模糊了。

实验设计：两场课程之间的竞赛

研究人员召集了 55 名工程系学生（他们几乎没有编程经验），并将他们分为两组，进行 45 分钟的课程学习。

A 组（实验组）：学习如何与 AI 对话。
- 教学内容： 他们学习了一套特定的“模板”来下达指令。他们不再只是说“做这个”，而是学会了说：“这是输入（食材），这是输出（成品菜肴），以及这是将食材转化为菜肴的具体步骤。”他们通过三个不同的任务练习了这一方法。
- 类比： 他们学习了如何为机器人厨师写一张完美的食谱卡。
B 组（对照组）：学习阅读代码。
- 教学内容： 他们花了同样的 45 分钟来阅读现有的代码，并逐步追踪代码的运行过程，以了解其功能。这是传统计算机课程通常的做法。
- 类比： 他们学习了如何阅读别人已经写好的食谱卡，但他们并没有学习如何为机器人编写自己的指令。

测试环节：“提示词”挑战

在课程开始前和结束后，两组都进行了一项测试。他们拿到一个谜题（例如“过滤掉所有大于 10 的数字”），然后必须为 AI 写一段提示词来解决它。他们不能直接复制谜题的描述，而是必须将其转化为给 AI 的清晰指令。

结果：信心 vs. 技能

以下是发生的情况：

信心（自我效能感）： 经过课程学习后，A 组（提示词学习者）对于自己与 AI 对话的能力感到更加自信。他们的信心得分比 B 组显著提高。这就像 A 组觉得：“我现在知道该如何在餐厅点餐了！”
实际技能（任务表现）： A 组确实在解决谜题方面有所进步，但这种进步是微小的，且在统计学上并未被“证明”是一个巨大的飞跃。与 B 组相比，他们平均多解决了大约 1 个问题（总共 8 个）。
- 启示： 这节课让他们觉得自己能行，也让他们表现得稍好了一些，但他们并没有因此成为大师。这就像学习驾驶的基础知识只需一天：你感觉可以发动汽车了，但你还没准备好进行一场跨国公路旅行。

为什么这很重要

研究人员发现，一节简短且专注的课程可以帮助“最终用户程序员”（即那些需要在工作中解决特定问题，但不想成为专业程序员的人）更好地与 AI 进行沟通。

好消息： 你不需要整个学期来学习与 AI 对话的基础知识。仅仅一个课时就可以提升信心并带来微小的性能优势。
难点： 45 分钟不足以让你成为专家。就像你不能在一小时内学会成为一名顶级大厨一样，你也无法通过一个课时就精通提示词工程。学生们需要更多的练习才能真正达到流利水平。

总结

这篇论文表明，教人们“如何”向 AI 求助是一项非常有价值的技能，而且可以在繁忙的日程中挤出时间来学习。它充当了一座桥梁，帮助非编程人员开始使用 AI 工具。然而，要真正变得优秀，你需要的不仅仅是快速的一课；你需要时间去练习并从错误中学习。

简而言之： 教导人们如何为 AI 编写清晰的指令是非常有效的，足以让他们感到胜任并略微提高效率，但真正的精通需要比一个课时更长的时间。

技术摘要：利用大语言模型教授基于提示词的编程

问题陈述
大语言模型（LLMs）的出现引入了“基于提示词的编程”（prompt-based programming）这一模式，即用户通过自然语言而非编写传统代码来表达计算目标。虽然这降低了入门门槛，使非计算机专业学生或仅将编程作为手段的终端用户能够参与其中，但这并不意味着可以消除对基础计算思维能力的需求。研究表明，学习者（尤其是初学者）在向 LLM 清晰传达意图方面存在困难，经常产生模糊或定义不足的提示词，缺乏调试策略，并将技术术语与口语化术语混淆。目前存在一个关键差距，即如何将关于提示词设计的显式教学整合到时间受限的现有课程中。具体而言，尚不清楚需要多少教学时间才能在提示词能力和自我效能感方面产生实质性的提升。

方法论
作者对某大学 55 名一年级工程专业的学生进行了一项随机对照实验（RCT）。该研究将一个 45 分钟的实验性干预措施与一个时长相等的“常规业务”对照组进行了比较。

实验组： 一个关于基于提示词编程的 45 分钟课程，并辅以引导式练习。该课程采用“逆向设计”方法，重点关注五个学习目标，这些目标源自“构想鸿沟”（Gulf of Envisioning）框架：指定函数结构、描述数据转换（映射、过滤、归约）、表达条件逻辑、处理边缘情况以及调试失败的提示词。学生学习了一种可复用的提示词模板，并在三个 Promptly 问题（要求学习者从输入/输出对中推断函数行为，并提示 LLM 来解决这些问题）上进行练习。
对照组： 一个关于代码追踪（一种标准的计算机科学入门实验活动）的 45 分钟课程。该组接受了关于 Python 语法、控制流和使用 Python Tutor 进行代码追踪的指导，并在三个等效的问题上进行练习，这些问题侧重于阅读和理解代码，而非编写提示词。
设计： 两组均完成了由 8 个 Promptly 问题组成的前测和后测，以及测量先前编程经验和提示词自我效能感的调查。研究使用线性混合效应模型进行数据分析，考虑了重复测量和会话层级的聚类。

核心贡献

轻量化干预： 作者提供了一个公开可用的、时长 45 分钟的教案及引导式练习，旨在教授特定于计算机科学的提示词策略（例如：结构化模板、数据转换模式），且无需具备先前的计算机科学背景。
关于短时干预的实证证据： 该研究提供了关于简短干预有效性的受控实验数据。它证明了单次 45 分钟的课程可以显著提高学习者在提示词方面的自我效能感，并与标准的代码追踪活动相比，在任务表现上产生实质性的（尽管在统计学上较为微小的）提升。

结果

任务表现 (RQ1)： 实验组在解决 Promptly 问题上的平均增幅高于对照组（+10.8 个百分点对比 +1.1 个百分点）。然而，该差异在 $\alpha=0.05$ 水平上不具有统计学显著性（ $p=0.056$ ）。其效应量与先前编程经验的一个完整标准差的影响相当。
提示词自我效能感 (RQ2)： 实验组在提示词自我效能感方面的增长显著高于对照组（+35.4 个百分点对比 +21.9 个百分点； $p=0.029$ ）。
预测因子： 先前的编程经验是两组条件下任务表现的重要预测因子。

意义与主张
本文声称，简短且有针对性的干预措施足以提高学习者向 LLM 指定计算目标的能力，并显著增强他们在执行此操作时的信心。作者将基于提示词的编程定位为传统编码教学的补充路径，而非替代方案，它可能为那些对语法感到畏难的终端用户提供一个更易于进入的切入点。

然而，作者对其收益的幅度保持了谨慎的态度。他们承认，虽然干预产生了有意义的改进，但对任务表现的影响较小（平均每人多解决不到一个问题），这表明 45 分钟的时间可能不足以让学习者达到流利或精通的程度。结果表明，提示词技能需要更多的时间和练习才能得到充分发展。该研究结论认为，虽然短时干预可以集成到现有课程中而不会造成实质性干扰，但仍需未来的研究来确定如何将这些收益扩展到复杂的、开放式的、多步骤的编程任务中。