Leveraging LLMs for Multi-File DSL Code Generation: An Industrial Case Study
宝马的这项工业案例研究表明，使用结构化且保留路径的仓库层级 JSON 表示形式对面向代码的大语言模型进行微调，在生成能够驱动下游代码生成的准确多文件领域特定语言工件方面，显著优于基线提示和单样本学习。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你是一位为一家巨型建筑公司（宝马）工作的首席建筑师。你的工作是为不同的城市设计新建筑（市场配置）。
在旧的工作方式中，你必须手动在单独的纸张上绘制每一张蓝图、电气图和管道图。如果你想在厨房添加一扇新窗户，你就必须记得同步更新电气图、管道图和结构图，确保所有图纸完美同步。如果遗漏了任何一个微小的细节，整栋建筑就无法建造，施工队（代码生成器）就会陷入停滞。
本文讲述的是如何训练一位超级智能的机器人助手（大型语言模型，即 LLM）为你处理这些繁琐的文书工作。但有一个棘手之处：这位机器人从未见过你特定的蓝图，它必须仅根据你的一句话指令，同时更新多份相互关联的图纸。
以下是研究人员如何训练机器人完成这项工作的：
1. 问题：“一条指令，多份文件”的谜题
通常，人工智能擅长编写单个故事或单段代码。但在这家公司，像“为德国市场添加一种新贷款类型”这样的单一请求，需要修改五个不同文件夹中的文件。如果机器人修改了主文件，却忘记了更新列出所有贷款类型的文件，整个系统就会崩溃。
2. 解决方案：扁平化库
为了帮助机器人一次性理解整个项目，研究人员并没有按文件逐个喂给它数据。相反，他们将整个蓝图“库”（文件夹结构）扁平化，整理成一本巨大的、有组织的书（单个 JSON 文档）。
- 类比：想象将一张摆着 20 个不同文件夹的凌乱桌子，把所有页面都摊开在一张巨大的桌子上，但保持整齐的行列，让你知道哪一页属于哪个文件夹。现在，机器人可以一次性审视整张桌子，并说：“好的，我知道修改应该放在哪里。”
3. 训练：三种训练机器人的方法
研究人员尝试了三种不同的方法来训练机器人完成这项特定工作：
- “冷启动”（零样本）：他们只给机器人指令和那本扁平化的书，然后说：“修复它。”
- 结果：机器人在保持页面顺序正确方面表现尚可，但它经常编造错误的细节或遗漏微小的关联。这就像一个知道字母表但还没学会语法的学生的表现。
- “示例”（单样本）：他们给机器人指令、那本书，加上一个之前正确完成的工作示例。“这是我们上次添加窗户的方式；照这样做。”
- 结果：这帮助机器人搞对了结构（页面保持在正确的文件夹中），但它仍然难以处理新请求中那些具体且棘手的细节。
- “强化课程”（微调）：他们让机器人观看了数百个“修改前”和“修改后”的蓝图示例。他们不仅仅是展示给机器人看，还调整了机器人的内部大脑（使用一种称为 QLoRA 的技术），使其学习这家公司蓝图的具体规则。
- 结果：这是获胜者。机器人成为了专家。它可以审视一个请求，并在所有文件中生成完美同步的修改集合。
4. 结果：它奏效了吗？
研究人员用真实任务测试了机器人，并让人类专家检查了工作成果。
- 结构：经过微调的机器人在将文件保持在正确的文件夹中且不虚构虚假文件夹方面几乎完美。在保持项目“形状”正确方面，它获得了满分（1.0）。
- 细节：它在实际内容方面表现非常出色，约 66% 的修改完全正确，84% 的修改“足够接近”以具有实用价值。
- “差之毫厘”的现实：机器人表现得太好了，以至于当它出错时，通常只是微小的拼写错误或数字错误，而不是缺失文件。这就像一位厨师做了一顿完美的饭菜，却不小心把盐当成了糖。结构是对的，只是味道稍微有点偏差。
5. 人类专家怎么说
研究人员邀请了四位资深建筑师（开发人员）审查机器人的工作。
- 裁决：他们非常喜欢。他们在可读性和结构方面给予了高分。
- 时间节省：他们估计，对于小型、简单的项目，机器人可以为他们节省**40% 到 80%**的时间。然而，对于庞大、复杂的项目，机器人仍然是一个需要人类复核最终细节的“助手”。
- 棘手之处：在复杂场景中，机器人有时会混淆具体应该使用哪种类型的部件，需要人类进行快速修正。
结论
本文证明，如果你能做到以下两点，就可以教会人工智能管理复杂的多文件项目：
- 将文件组织成单一、易于阅读的格式。
- 针对你的具体规则，给它上一堂特定的“强化课程”（微调）。
它目前还无法取代人类建筑师，但它可以承担起草蓝图的繁重工作，为他们节省数小时的枯燥工作，让他们专注于创造性部分。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。