💻 computer science

From Prompting to Verification: How Experience Shapes Vibe Coding Practices

这项针对非程序员、新手和专业人士共 162 名用户的研究表明，尽管经验水平同样影响人们对 AI 生成代码质量的感知，但他们在动机和验证实践上存在显著差异，从而造成了一种“感知—行动鸿沟”，即软件创作的访问权得到了民主化，而评估这些创作所需的专业知识却未能得到相应的普及。

原作者： Ahmed Fawzy, Amjed Tahir, Kelly Blincoe

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ahmed Fawzy, Amjed Tahir, Kelly Blincoe

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《从提示到验证：经验如何塑造“氛围编程”实践》的解释，已用日常语言和类比进行翻译。

核心理念：“氛围编程”

想象你想制作一把木椅。

传统编程： 你是一名木匠。你测量木材、切割榫卯、打磨边缘，然后亲自组装。你确切地知道每个螺丝是如何安装的。
氛围编程： 你是一名导演。你告诉一个魔法机器人：“给我造一把结实的椅子”，机器人瞬间就造出了一把。你不知道榫卯是如何切割的，但你坐上去试试。如果椅子摇晃，你不会去修理木材，而是直接告诉机器人：“让它更结实点”，然后希望它能自行修复。

这篇论文研究了使用这种“氛围编程”方法（即通过自然语言利用 AI 编写代码）的人群，并提出了一个问题：无论你是专业木匠、初学者，还是从未拿过锤子的人，这重要吗？

研究：桌上的三组人

研究人员调查了 162 人，并将他们分为三组：

非开发者： 没有接受过正式编程培训的人。
初学者： 上过课或做过小项目，但还不是专业人士的人。
专业人士： 以此为生的经验丰富的软件工程师。

他们向这三组人提出了四个主要问题：

你为什么要这样做？（动机）
感觉如何？（体验）
你信任结果吗？（感知质量）
当它出问题时你会怎么做？（质量保证）

研究发现：什么相同，什么不同？

1. “感觉”和“信任”是相同的（共同的看法）

令人惊讶的是，所有三组人对 AI 工作的体验和质量的感受都是一样的。

类比： 想象桌上的每个人都在吃一位名厨做的饭。非程序员、学生和专家都同意：“这食物美味且快捷，但有时口感奇怪，你不会在盛大的婚礼上端出它。”
结果： 每个人都清楚，AI 代码非常适合快速原型开发，但对于严肃的工作来说，它可能“不稳定”或“有漏洞”。他们都怀着同样的兴奋与谨慎交织的心情。经验并没有改变他们看待AI 的方式。

2. “为什么”和“怎么做”是不同的（不同的方法）

虽然他们看待AI 的方式相同，但他们使用它的方式却大相径庭。

非开发者（魔法棒使用者）： 他们的主要动力是获取能力。他们说：“没有 AI 我就无法构建这个。”他们倾向于让 AI 几乎完成所有工作，自己只提供极少的输入。这就像把一块空白画布交给机器人，然后说：“创作艺术吧。”
初学者（学习者）： 他们的动力是学习。他们利用 AI 进行实验，观察事物是如何运作的。他们就像看着大师烹饪的学生，试图理解食谱。
专业人士（指挥家）： 他们利用 AI 进行工作。他们不只是说“造把椅子”；他们会给出详细的指令、背景和约束条件。他们将 AI 视为需要小心管理的初级助手。

3. 巨大的鸿沟：当事情出错时（“感知 - 行动”鸿沟）

这是最重要的发现。尽管每个人都知道 AI 会犯错，但只有专家知道如何修复这些错误。

类比： 想象机器人造了一把椅子，但其中一条腿摇晃。
- 非开发者： 会说：“哦不，它摇晃了！”然后立即告诉机器人：“把腿加长！”他们会一直要求机器人修复，直到它不再摇晃，而从未亲自查看木材。
- 初学者： 试图修复但感到困惑。他们可能会放弃，或者继续向机器人寻求帮助。
- 专业人士： 会说：“哦不，它摇晃了！”他们拿起扳手，检查榫卯，找到松动的螺丝，并亲自拧紧。在坐下之前，他们会检查工作。

论文的结论： 存在一个**“感知 - 行动鸿沟”**。

感知： 每个人都知道 AI 可能会出错。
行动： 只有经验丰富的人具备验证和调试错误代码的技能。

“部分民主化”的比喻

作者将这种现象称为**“部分民主化”**。

已民主化： AI 降低了制造软件的门槛。现在任何人都可以构建一把数字“椅子”。
未民主化： 检查和保证这把椅子质量的能力，仍然被锁在一扇门后，只有经验丰富的人才有钥匙。

我们给了每个人一把创造事物的魔法棒，但尚未给每个人一本训练手册，让他们知道所创造的东西是否安全可用。

人们想要什么？

当被问及什么能让他们更信任 AI 时，所有人（从非程序员到专家）都想要同样的东西：

可靠性： “只要确保它能运行。”
透明度： “告诉我为什么要这样构建它。”
安全性： “不要给我可能日后会出问题的代码。”

总结

该论文认为，虽然 AI 工具让任何人都能创建软件变得容易，但并未让任何人都能验证它变得容易。

初学者依赖 AI 自行修复错误（重新提示）。
专家亲自检查工作（调试）。
每个人都知道 AI 并不完美，但只有专家知道当它失败时如何修复。

风险不在于人们不知道 AI 会犯错；风险在于许多人缺乏在错误发生时修复这些错误的技能。

技术摘要：从提示到验证：经验如何塑造“氛围编程”实践

问题陈述
由大型语言模型（LLM）驱动的人工智能代码生成工具，已将软件创作从专业开发人员扩展至非开发人员和初学者。这一转变催生了“氛围编程”（vibe coding），即用户通过自然语言提示生成软件，主要通过执行来评估输出，并通过重新提示而非系统性调试来进行迭代。虽然先前的研究已考察了特定群体（通常是专业人士或学生）内的人工智能辅助编程，或孤立地研究了非专家，但缺乏跨经验水平的系统性比较。目前尚不清楚非开发人员、新手开发人员和专业开发人员之间，在动机、交互风格、感知代码质量以及质量保证（QA）实践方面存在何种差异。至关重要的是，目前尚不清楚对人工智能生成代码局限性的广泛认知，是否在所有经验水平上都转化为有效的纠正行动，或者在认知与行为之间是否存在差距。

方法论
作者对 162 名参与者进行了定量横断面调查，这些参与者均匀分布在三个经验组中：非开发人员（无正式培训但使用人工智能工具）、新手开发人员（通过教程或课程获得有限经验）和专业开发人员（拥有正式或专业编程经验）。

工具：问卷基于先前的灰色文献综述，该综述确定了“氛围编程”的四个行为维度：动机、体验、感知代码质量和质量保证实践。这些维度被操作化为李克特量表构念（5 点量表），并辅以开放式问题。
数据收集：参与者通过 Prolific 平台招募。通过完成度过滤、基于时间的认知合理性检查（排除少于 4 分钟的回复）以及回复模式诊断（检测直线作答），严格实施了数据质量控制。
分析：研究采用了适用于序数李克特数据的非参数统计方法。使用 Kruskal–Wallis $H$ 检验评估三个独立组之间的差异，并采用 Benjamini–Hochberg 校正进行多重比较，使用 Dunn 事后检验进行成对比较。效应量使用 epsilon-squared ( $\varepsilon^2$ ) 计算。此外，还使用序数逻辑回归来确定质量保证差异是由经验组别还是潜在的使用维度（例如独立编程小时数、采用时长）驱动的。

主要结果
研究表明，经验选择性地塑造了“氛围编程”实践，形成了独特的“认知—行动差距”。

共享的认知（RQ2 和 RQ3）：在主观体验（如心流、挫败感、幻觉）或代码质量感知方面，不同经验水平之间不存在统计学上的显著差异。所有群体都认识到相似的优势（快速原型设计、结构清晰）和局限性（脆弱性、隐藏的错误、不适合生产环境）。这表明对人工智能生成代码的风险和益处存在广泛共享的总体认知。
分化的动机与风格（RQ1 和交互风格）：
- 动机：非开发人员最受可及性和赋权（构建他们 otherwise 无法构建的软件）的驱动。新手受学习和实验的驱动。专业人士更具目标导向，通常在工作相关情境中使用“氛围编程”。
- 交互风格：非开发人员表现出更高程度的“人工智能主导生成”依赖（委托代码创建，干预极少）。专业人士则更多地参与“交互式对话”（迭代提示和细化），并提供“更丰富的上下文”。
分化的质量保证实践（RQ4）：最显著的差异出现在验证行为上。
- 调试与重新提示：非开发人员显著更依赖重新提示人工智能来修复错误，而不是手动调试。他们还报告了更高程度的“质量保证崩溃”（因无法理解代码而放弃）。
- 验证频率：约 45% 的专业人员表示在使用前总是检查人工智能生成的代码，而非开发人员是唯一报告“从不”检查代码的群体。
- 回归发现：回归分析表明，这些质量保证差异不仅仅是组别类别的函数，而是由累积的编程实践和工具接触（具体而言，独立非“氛围编程”的小时数）驱动的。

主要贡献

对“氛围编程”的经验性刻画：本研究提供了非开发人员、新手和专业人员之间“氛围编程”实践的首次系统性定量比较，超越了轶事证据或单组研究。
识别“认知—行动差距”：本文识别出一种关键的脱节现象，即对人工智能代码风险的普遍认知分布于所有经验水平，但评估、调试和验证这些风险的能力仍取决于经验。
完善“部分民主化”概念：作者认为，“氛围编程”通过降低生产门槛，部分实现了软件创作的民主化，但并未同等分配评估所需的专业知识。障碍已从编写代码转移到了分解问题、明确意图和验证输出。
使用驱动的行为：研究表明，质量保证行为更能由经验的具体维度（编程实践和工具接触）预测，而不仅仅是宽泛的类别标签。

意义与主张
该论文主张，“氛围编程”的风险不仅取决于人工智能工具的能力，还显著取决于用户将其对工具局限性的认知转化为行动的能力。作者将研究结果解读为**“认知—行动差距”**的证据：尽管全谱系的用户都认识到人工智能生成的代码可能存在缺陷，但经验较少的用户缺乏将这种认知转化为系统性验证的具体技能。

因此，作者建议：

工具设计：人工智能代码生成工具应为经验较少的用户提供更强的脚手架（例如，主动的错误呈现、解释性支持、不确定性信号），同时对专家保持无干扰。
教育：对人工智能生成代码的评估必须被视为一种独立于提示的特定技能，需要接受关于测试、边界情况识别和代码推理的指导。
未来研究：“认知—行动差距”被提出作为未来行为研究的假设进行检验，因为目前的发现依赖于自我报告数据而非观察到的行为。

该论文得出结论：随着“氛围编程”扩大了软件创作的参与度，确保评估所产生代码的能力与生成代码的能力保持同步，是实现安全有效采用的核心。