A Tertiary Review of Large Language Model-Based Code Generating Tasks: Trends, Challenges, and Future Directions
本三级综述综合了 30 项关于基于大语言模型的代码生成的二次研究，揭示了一个迅速增长但评估不均的领域，其中强大的基准测试性能与现实世界中的泛化能力、鲁棒性、效率以及社会技术整合方面的显著挑战形成鲜明对比。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，软件开发的世界就像一个庞大而繁忙的建筑工地。多年来，工人们（程序员）一直手工一砖一瓦地建造房屋（软件）。最近，一种新型机器人到来了：大型语言模型（LLM）。这些机器人能够阅读蓝图（描述），并立即铺设砖块、编写代码，甚至修复破损的墙壁。
本文并非关于单一机器人性能的报告。相反，它是一份“三级综述”。可以将其视为一份元报告。作者们并未亲自去测试这些机器人，而是收集并分析了30 份现有的报告（二级研究），这些报告已经对这些机器人进行了测试。他们希望看清大局：这个领域发展得有多快？报告指出哪些方法有效？机器人在哪里失败了？专家们认为我们下一步需要做什么？
以下是他们研究发现的分解，用日常语言表述：
1. 全景：一个活动爆炸的领域
作者们审视了研究的“建筑工地”。
- 繁荣期：2022 年，关于这些机器人的报告只有一份。到了 2024 年，这一数字跃升至 17 份。这就像一场突如其来的淘金热，每个人都在撰写关于新机器人的文章。
- 成长：起初，这些报告仅仅是“综述”（四处张望并说：“哇，有很多机器人！”）。现在，报告正在转变为“系统综述”（深入、严谨的调查）。这表明该领域正从一种潮流成熟为一门严肃的科学。
- 冗余陷阱：尽管报告数量增加了两倍，但它们所涵盖的实际机器人测试数量并没有同步大幅增长。这就像有 100 个人为同样的 10 部电影写评论。作者们警告说，研究人员可能正在重复相同的工作，而不是发现新事物。
2. 性能："HELM"记分卡
作者们使用了一种名为HELM（语言模型整体评估）的特殊记分卡来给机器人打分。想象一下，给学生的评分不仅仅依据考试成绩，还包括他们的安全性、速度和公平性。
- 准确性（考试成绩）：机器人在练习考试（基准测试）中获得了A 级成绩。它们能非常很好地解决特定的编码谜题。然而，高质量报告警告称，这些分数可能被夸大了。这就像一个背熟了答案键的学生，但如果问题稍有变化，他可能会不及格。在现实世界中，它们经常犯错。
- 鲁棒性（“压力测试”）：这是机器人脆弱的地方。如果你稍微改变请求的措辞，或者要求它们用不同的编程语言工作，它们往往会崩溃。它们就像一辆在赛道上表现极佳的高性能跑车，但在泥泞的道路上却会熄火。
- 效率（电费账单）：这些机器人非常昂贵。运行它们需要大量的计算能力、电力和资金。在小型办公室或手机上使用它们，目前就像试图用核反应堆给烤面包机供电。
- 毒性及偏见（安全隐患）：这些机器人有时会生成不安全的代码，泄露私人密码，或复制受版权保护的材料。它们也倾向于偏爱某些编码风格，仅仅因为这些风格在训练数据中出现得最多。
3. 场景：它们在哪里工作？
这些报告主要关注机器人执行基础建筑任务：
- 代码生成：从头开始编写新代码。
- 修复：修复错误或安全漏洞。
- 补全：完成人类开始的一句话代码。
有趣的是，报告很少提及这些代码被用在哪里（例如：是用于医院系统？电子游戏？还是汽车？）。它们也很少提及使用了哪些编程语言，除了 Python 和 Java 等主流语言之外。这就像知道机器人能铺砖，却不知道它们是在建造房屋、桥梁还是城堡。
4. 挑战：为什么我们不能直接按下开关
作者们确定了阻碍这些机器人接管建筑工地的三大类问题：
- 经济学（价格标签）：训练和运行这些模型的成本太高。小型公司或个人开发者负担不起这笔“电费”。
- 评估（虚假成绩）：我们用来给这些机器人打分的测试与现实生活不符。它们过于简单，没有考虑到构建软件时那种混乱、复杂的现实。
- 集成（摩擦）：这些机器人无法很好地融入开发人员已经使用的工具中。它们速度慢、难以控制，有时会给出令人困惑或不可信的答案。开发人员尚未完全信任它们，而新开发人员可能会过度依赖它们，却并不理解代码。
5. 未来：接下来是什么？
报告指明了一条清晰的前进道路，作者将其总结为：
- 专业化机器人：与其使用一个对万事略知一二的巨型机器人，不如我们需要专门针对我们公司的代码和规则进行训练的机器人。
- 更好的测试：我们需要停止使用简单的练习考试，转而在现实、混乱的场景中测试这些机器人。
- 团队合作：未来不仅仅是机器人；而是机器人与传统工具及人类专家协同工作（一种“混合”方法）。
- 安全第一：在将这些机器人释放到现实世界之前，我们需要修复安全和隐私泄露问题。
核心结论
本文得出结论：基于 LLM 的代码生成是一项快速成熟的技术，但目前其评估尚不均衡。
这就像在一辆汽车中安装了一台全新且极其强大的引擎。这台引擎在测试赛道（基准测试）上运行飞快，但我们不确定它能否应对雨天（现实世界的鲁棒性），是否会耗费巨资的燃料（效率），或者是否会意外驶下悬崖（安全性）。该领域发展迅速，但我们需要放慢脚步，建立更好的安全标准，并弄清楚如何让这项技术真正对日常的建设者有用，而不仅仅是为了通过考试。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。