💻 computer science

NL2Scratch: An Executable Benchmark and Evaluation for Block-Based Programming

本文介绍了 NL2Scratch，这是一个大规模可执行基准测试以及用于解决传统 NL2Code 在积木式编程中评估局限性的语义对齐一致性（SAC）指标，揭示了当前的语言大模型虽然通常能获得较高的词法相似度，却往往无法捕捉到生成正确 Scratch 程序所需的语义对齐。

原作者： Heejin Do, Alexandre Ballenghien, Yang Wu, April Yi Wang

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Heejin Do, Alexandre Ballenghien, Yang Wu, April Yi Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人根据你的口头指令画图。如果你说，“画一个红色的圆圈”，机器人需要理解“红色”和“圆圈”到底是什么意思，以及如何将它们组合在一起。

这篇论文介绍了一个名为 NL2Scratch 的新测试，旨在观察 AI 在处理此类任务时的表现，但它有一个特别之处：AI 不是通过编写文本代码（如 Python），而是通过使用 Scratch 积木来构建程序。Scratch 是一种孩子们用来制作游戏和动画的彩色拖拽式编程语言。

以下是这篇论文故事的拆解，使用了简单的类比：

1. 问题所在：“看起来不错”的陷阱

多年来，研究人员一直在通过文本编程来测试 AI。他们检查 AI 的答案是否与正确答案看起来相似（比如检查两个句子是否共享相同的单词）。

但 Scratch 是不同的。它就像一套 乐高积木。

在文本编程中，如果你漏掉一个逗号，整个句子可能会崩溃。
在 Scratch 中，你可以拥有正确的“积木类型”（比如一个“移动”积木、一个“重复”积木）以及其中正确的“单词”，但如果你把它们放错了顺序，或者连接到了错误的触发器上，游戏就无法运行。

该论文认为，目前的 AI 测试就像仅仅通过数一数用了多少块红砖和蓝砖来评判一座乐高城堡。如果 AI 使用了正确数量的红砖和蓝砖，测试就会说“做得好！”，即便这座城堡因为砖块堆叠倒置而倒塌了。

2. 解决方案：一个新的测试和一个新的标尺

作者构建了 NL2Scratch，这是一个包含 311,000 个示例的海量库。

来源： 他们使用了人类制作的真实 Scratch 项目。
转换： 他们利用 AI 为这些项目编写了自然语言形式的英文描述（例如：“当绿旗被点击时，让猫移动 10 步”）。
过滤： 他们确保每一个示例都能在 Scratch 引擎中实际运行。

新的标尺 (SAC)：
他们发明了一个名为 语义对齐一致性 (Semantic Alignment Consistency, SAC) 的新测量工具，而不是仅仅通过计数匹配的单词。

这可以看作是一个清单。
它是否提到了正确的 触发器（比如绿旗）？
它是否提到了正确的动作（比如移动）？
它是否包含了正确的数字（比如 10 步）？
SAC 会检查清单上的每一项。如果 AI 对“触发器”对了但对“数字”错了，清单就会显示一个红色的 X，即使句子的其余部分看起来非常完美。

3. 重大发现：AI 擅长模仿，但不擅长理解含义

研究人员在这一新测试上测试了几种智能 AI 模型（如 GPT-4 和开源模型）。以下是他们的发现：

成功的幻觉： 当使用旧式的测试方法（计数单词）时，AI 表现得非常出色。它能写对 93% 到 97% 的单词。它听起来就像完全知道该做什么一样。
现实检验： 当他们使用新的 SAC 清单 时，AI 的得分大幅下降。只有大约 18% 的 AI 回答在含义上是完全正确的。
“长线”问题： Scratch 项目越长、越复杂，AI 在把握细节方面就表现得越差，尽管它听起来仍然与正确答案非常相似。

AI 在哪里失败了？
AI 擅长处理“大局”（知道它需要一个“循环”或一个“变量”）。但它总是在 操作细节 上出错：

它会说“向前移动”，而实际上应该是“向后移动”。
它会说“重复 10 次”，而实际上应该是“重复 5 次”。
它会弄错条件（例如，“如果碰到墙壁” vs “如果碰到猫”）。

这就像一个学生完美背诵了词汇表，却因为把加法做成了减法而导致数学题不及格。

4. 修复方案：“第二意见”

论文还展示了你可以利用这个新清单 (SAC) 在 AI 生成答案之后来修正它的错误。

想象 AI 写了 10 个不同版本的程序。
与其只挑选第一个，不如将所有 10 个版本都通过 SAC 清单进行检查。
你挑选出那个最符合清单要求的版本。
结果： 仅仅通过这一个简单的步骤，就在不需要重新训练 AI 或教授它任何新知识的情况下，显著提高了 AI 的准确率。

总结

论文得出结论：对于基于积木的编程（如 Scratch）而言，仅仅看起来相似是不够的。AI 可以听起来像个程序员，但实际上并不具备程序员的思维。要真正评估该领域的 AI，我们需要检查“齿轮和轮子”（具体的动作和数字），而不仅仅是“油漆涂层”（单词）。他们已经构建了能够做到这一点的工具。

技术摘要：NL2Scratch

问题陈述

自然语言转代码（NL2Code）研究主要集中在顺序式的、基于文本的编程语言（如 Python、SQL、Java），并依赖于诸如词元级词汇重叠度（BLEU、CodeBLEU）或单元测试执行等评估指标。然而，像 Scratch 这样广泛应用于 K-12 教育的积木式编程环境，其运行机制在根本上属于不同的范式：程序是事件驱动的、视觉组合式的，并且分布在多个并发脚本中。

在这种背景下，传统的评估协议是不充分的。一个与参考程序具有高表面层级词元相似性的 Scratch 程序，仍可能因事件触发器不匹配、控制流错误或参数不一致而导致执行失败或行为异常。此外，现有的 Scratch 教育 AI 研究主要集中在对话式辅导、调试或程序理解上，缺乏一个能够验证结构正确性和语义保真度的可执行自然语言转 Scratch 生成基准。

方法论

1. NL2Scratch 基准构建

作者引入了 NL2Scratch，这是一个包含 311,648 个解析有效的自然语言（NL）– 程序对的可执行基准。构建流程包含三个阶段：

Scratchblocks 提取： 将真实的 Scratch 项目（来自 Aivaloglou 等人的语料库）转换为 scratchblocks，这是一种归一化的文本表示法，保留了事件触发器、积木排序和控制流层级。使用 Scratch VM 解析器对脚本进行验证，以确保结构有效性。
自然语言生成： 对于每个有效的程序，通过基于规则的转换器生成确定性的描述。随后由大语言模型（LLM）进行重写，以提高流畅度和“类学生”的自然度，同时严格保留可执行语义（事件、动作、条件、数值参数）。
语义验证： 通过两阶段过滤过程确保数据质量。首先，基于解析器的检查确认结构有效性。其次，应用**语义对齐一致性（Semantic Alignment Consistency, SAC）**来验证重写的 NL 描述在语义上是否与底层程序匹配。

2. 语义对齐一致性 (SAC)

为了解决表面重叠度指标的局限性，作者提出了 SAC，一个可解释的、槽位级（slot-level）的验证框架。

槽位提取： SAC 从 NL 描述和 Scratch 程序（以 scratchblocks 表示）中提取 11 个行为槽位。这些包括：
- 事件触发器（例如：绿旗、按键按下）。
- 动作（例如：移动、变量更新）。
- 控制结构（循环、条件判断）。
- 操作细节（数值参数、变量名、角色/背景名称、广播消息）。
评分： 在每个槽位上计算一致性。标量属性要求精确匹配；集合值属性使用 Jaccard 重叠度。最终 SAC 得分为所有可比较的非空槽位的平均值。
阈值设定： $SAC \geq 0.85$ 的配对被视为高置信度对齐。

3. 诊断基准

从完整数据集中，作者构建了一个受控的 800 个示例的诊断基准。该子集经过精心策划，旨在最大化 Scratch 特定语义属性（事件类型、循环类型、数值参数等）的多样性，并确保其可读性分布符合真实的学习者提示词。该集合作为分析模型性能的主要评估基础。

4. 实验设置

本研究评估了一系列模型，包括闭源模型（GPT-4.1, GPT-4o-mini）和开源权重模型（FLAN-T5, Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct）。

训练策略： 模型在零样本（zero-shot）、少样本（基于检索的上下文学习）以及监督微调（SFT）条件下进行测试。
指标： 使用传统指标（精确匹配 Exact Match、词元级 F1、解析成功率）以及提出的 SAC 指标（用于与输入 NL 对齐的 $SAC_{nl}$ ，以及与参考程序对齐的 $SAC_{ref}$ ）来衡量性能。
推理时选择： 作者研究了使用 SAC 作为重排序信号，从生成的程序集中选择语义最忠实于原意的候选程序。

关键结果

1. 词汇相似度与语义对齐之间的差距

实验揭示了传统指标与语义正确性之间存在显著差异。

模型经常获得较高的词元级 F1 分数（通常 >0.93）和较高的解析成功率。
然而，即使是对于最强的模型（如使用少样本提示的 GPT-4.1），实现完美语义对齐（ $SAC = 100\%$ ）的示例也少于 18.9%。
这表明，高词汇相似度并不保证生成的程序能够忠实地重现预期的行为。

2. 操作槽位中的错误集中现象

槽位级分析识别了特定的失效模式：

结构支架（Structural Scaffolding）： 模型在结构和实体中心型槽位（如事件类型、变量名和角色名称）上表现良好，达到了接近天花板的对齐度。
操作细节（Operational Details）： 错误集中在直接决定程序行为的槽位上，特别是动作类型、条件类型和数值参数。这些错误往往会导致程序在通过解析器检查并获得高 F1 分数的情况下，在功能上仍然是错误的。

3. 程序复杂度的影响

随着程序复杂度的增加，词汇相似度与语义对齐之间的差距不断扩大。

对于较长的程序，精确匹配（EM）和完美语义对齐会剧烈下降。
词元级 F1 保持相对稳定，这表明恢复局部词元比保持全局可执行结构和复杂的积木间依赖关系要容易得多。

4. SAC 对重排序的效用

使用 SAC 作为推理时的选择信号可以显著提高生成质量，而无需重新训练。

对于开源权重模型，基于 SAC 的重排序将完美 $SAC_{ref}$ 对齐度提升了高达 32.6 个百分点。
这证明了显式的语义验证是比基于似然度或仅基于解析器的排序更有效的选择信号。

重要性与主张

本文主张，积木式编程构成了一个独特的 NL2Code 领域，在该领域中，传统的评估指标是不充分的。

首个可执行基准： NL2Scratch 被呈现为第一个提供大规模、可执行的 NL–Scratch 对，并具备源自真实项目的对齐质量验证的基准。
揭示隐藏的失效模式： 研究表明，当前的鲁棒 LLM 即使经过微调，也会表现出“显著差距”，即表面相似度与结构准确度之间的差距。这些失效在传统指标下是不可见的，但在对行为正确性要求极高的教育应用场景中至关重要。
评估框架： SAC 不仅被提议作为数据集过滤器，更被视为评估事件驱动型、积木式系统中语义一致性的必要诊断工具。

作者得出结论，该领域的未来工作必须超越词汇重叠和解析有效性，转向具备结构感知能力的生成与评估方法，从而显式地验证操作语义。