🤖 AI

Bridging Generation and Training: A Systematic Review of Quality Issues in LLMs for Code

本文对 114 项研究进行了系统综述，旨在建立统一的分类体系和因果框架，将训练数据质量问题与大语言模型中的缺陷代码生成联系起来，同时综合缓解技术，并勾勒出向以数据为中心的主动治理范式转变，以构建可靠的代码模型。

原作者： Kaifeng He, Xiaojun Zhang, Peiliang Cai, Mingwei Liu, Yanlin Wang, Chong Wang, Kaifeng Huang, Bihuan Chen, Xin Peng, Zibin Zheng

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kaifeng He, Xiaojun Zhang, Peiliang Cai, Mingwei Liu, Yanlin Wang, Chong Wang, Kaifeng Huang, Bihuan Chen, Xin Peng, Zibin Zheng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教导一位才华横溢但极其死板的学生如何编写计算机代码。你给他一本庞大的书籍库（训练数据）供其研读。这位学生阅读了所有内容，记住了各种模式，然后尝试独立编写新代码。

这篇论文是对“为何这位学生有时会写出存在漏洞、不安全或完全错误的代码”进行的一次大规模调查。作者团队（一组研究人员）审查了 114 项不同的研究，旨在回答一个简单却至关重要的问题：这位学生糟糕的写作表现是源于其自身过错，还是因为他们所研读的书籍本身充满了错误？

他们的结论令人震惊：问题主要出在书籍上。

以下是他们研究发现的详细拆解，通过简单的类比进行解释：

1. “垃圾进，垃圾出”的现实

该论文指出，当人工智能（大语言模型）生成糟糕的代码时，很少是因为人工智能“思考”能力差。相反，是因为人工智能仅仅是在复现它在训练数据中看到的内容。

类比： 想象你通过阅读一本烹饪书来学习做饭。如果书中有一道食谱写着“往汤里加一杯盐”，而你照做了，那么你的汤将无法入口。你并没有犯错，错的是那本书。
论文主张： 人工智能从一本“烹饪书”（训练数据）中学习，其中包含了来自互联网的数百万行代码。如果这些互联网代码存在安全漏洞、过时的指令或拼写错误，人工智能就会将这些错误当作正确做法加以学习。

2. 两种类型的“坏书”

研究人员将训练数据中的问题归纳为两大类：

“坏食谱”问题（代码属性）： 这些是代码片段本身存在的具体错误。
- 示例： 一道使用了十年前已被禁用的工具的食谱。人工智能因为在这本书中看到了它，便学会了使用这种被禁工具。
- 示例： 一道忘记清洗鸡肉的食谱，导致做出来的饭菜让人生病（即安全漏洞）。
“坏图书馆”问题（非代码属性）： 这些是整个图书馆存在的问题，而不仅仅是个别食谱的问题。
- 示例： 图书馆里有 1000 本相同的无聊食谱，却只有一本复杂健康的菜肴食谱。人工智能对那道无聊菜肴变得精通，却在处理复杂菜肴时完全失败。
- 示例： 图书馆里充斥着随机乱码或广告页面（噪声），分散了学生认真学习真正烹饪技巧的注意力。

3. 错误如何传播（流程）

该论文精确描绘了“书”中的错误如何变成“最终菜肴”中的错误。他们发现了18 种不同的发生方式，并将其归为两条路径：

直接复制（直接映射）： 人工智能看到某种特定的错误模式并加以重复。
- 类比： 学生在书中看到一个拼写错误，并在自己的文章中照抄了同样的拼写错误。
- 现实结果： 人工智能使用了一个已弃用（过时）且不再有效的计算机命令，导致程序崩溃。
扭曲学习（间接映射）： 由于图书馆本身不平衡，人工智能学到了错误的比例关系。
- 类比： 因为图书馆里 99% 的食谱都是关于“烤焦面包”的，只有 1% 是关于“制作面包”的，人工智能便认为烤焦面包是烹饪的唯一方式。由于从未见过足够的例子，它根本不知道如何制作好面包。
- 现实结果： 人工智能在编写简单的 Python 代码方面表现出色，但在编写其他语言或复杂任务的代码时却表现糟糕，因为训练数据是不平衡的。

4. 当前的修复方案 vs. 更优的修复方案

该论文指出，大多数公司目前试图在人工智能写完代码之后才解决这个问题。他们就像一名食品检查员，在汤煮好后尝一口，然后说：“太咸了，倒掉吧。”

问题所在： 这种方式缓慢、昂贵且属于被动反应。你不断地倒掉糟糕的汤。
论文建议： 我们需要在学生开始学习之前就扮演好图书管理员和编辑的角色。
- 我们不应仅仅在末端过滤掉糟糕的汤，而应进入图书馆，剔除糟糕的食谱，修正拼写错误，并确保有各种类型菜肴的良好搭配。
- 作者将这一转变称为从“被动过滤”转向“主动数据治理”。

5. 仍有何难点？

即使有了这种新的理解，该论文也承认仍存在巨大障碍：

“泄漏”的图书馆： 有时，人工智能研读的“书籍”包含了它稍后将参加的测试的答案。这使得人工智能看起来比实际更聪明，因为它只是死记硬背了答案。
“黑盒”图书馆： 我们往往无法确切知道哪些书籍被用于训练最流行的人工智能。在不知晓来源的情况下，很难追溯特定错误发生的原因。
移动的目标： 软件世界变化迅速。今天一道“好”食谱，明天可能就变成了“坏”食谱，因为技术已经更新。图书馆需要不断更新，而这非常困难。

总结

该论文得出结论：要获得人工智能生成的可靠代码，我们不能仅仅指责人工智能，也不能试图在事后修复其输出。我们必须修复源材料。如果我们希望人工智能编写完美的代码，就必须首先确保其学习的“图书馆”是干净、平衡且与时俱进的。输出的质量直接反映了输入的质量。

技术综述：弥合生成与训练之间的鸿沟：大语言模型代码质量问题的系统综述

问题陈述

大语言模型（LLMs）通过自动化代码补全、修复和测试生成等任务，彻底改变了软件工程。然而，其实际采用受到频繁生成缺陷代码的阻碍，这些缺陷涵盖从逻辑错误和语法错误到关键安全漏洞及合规性违规。尽管这些失败常被归因于模型固有的局限性，但实证证据日益表明，其根本原因在于训练语料库中的缺陷。

现有文献存在显著空白：将训练数据质量问题与生成代码质量问题联系起来的特定机制尚未被充分描绘。现有研究存在三个关键缺陷：

碎片化的分类体系：研究聚焦于孤立的质量维度（如安全性或正确性），缺乏一个统一的框架来同时分类生成代码缺陷和训练数据缺陷。
不清晰的因果映射：缺乏形式化的机制来解释特定的数据集缺陷（如已弃用的 API、数据不平衡）如何传播为代码缺陷。
分散的缓解策略：检测和缓解技术分散在数据整理、模型训练和生成后阶段，缺乏整合的生命周期方法。

方法论

本文对 2021 年末至 2026 年初发表的 114 项主要研究进行了系统文献综述（SLR）。该综述遵循既定的软件工程指南，涉及：

搜索策略：多阶段流程，结合在五个主要数字图书馆（IEEE Xplore、ACM 数字图书馆、SpringerLink、ScienceDirect、arXiv）中的布尔关键词搜索，以及向后和向前滚雪球法。
选择标准：纳入的研究需调查应用于代码任务的 LLM，关注代码或数据的具体质量属性，并提供实证基础。
质量评估：使用八个标准（如方法严谨性、因果分析深度、透明度）进行结构化评估，采用评分系统（0–16 分）。得分低于 10 分的研究被排除。
综合：采用迭代定性编码方法（开放式、主轴式和选择性编码）提取数据，并将发现综合为统一的分类体系和因果框架。

主要贡献

1. 统一的双维分类体系

作者提出了一个全面的分类体系，将质量问题分为两个维度：

生成代码质量问题（9 个维度）：
1. 正确性：语法错误、逻辑缺陷以及不当的 API/依赖使用。
2. 安全性：外部触发的漏洞（如 SQL 注入）和固有漏洞（如硬编码密钥）。
3. 合规性：违反法律/伦理约束，包括恶意代码、隐私泄露和版权侵权。
4. 鲁棒性：无法处理异常输入或边界条件。
5. 可维护性：结构复杂、模块化差以及缺乏可重用性。
6. 可理解性：命名规范差、缺少注释以及“魔术数字”。
7. 效率：时间和空间复杂度次优以及资源浪费。
8. 输出简洁性：冗余、冗长或重复的代码生成。
9. 其他：如指令遵循能力差等问题。
训练数据质量问题（2 个主要组别）：
- 代码属性：单个样本内的缺陷（正确性、安全性、合规性、鲁棒性、可维护性、可理解性、效率）。
- 非代码属性：宏观层面的数据集属性（文本中的合规/安全风险、分布不平衡、冗余、多样性不足、数据污染、低价值数据）。

2. 因果框架与传播机制

本文形式化了一个因果框架，详细阐述了将数据问题与代码缺陷联系起来的 18 种典型传播映射机制。这些机制分为：

直接映射（10 种机制）：代码属性缺陷的显式复制。示例包括：
- 已弃用的 API $\rightarrow$ 兼容性失败：记忆过时的库调用。
- 语法缺陷 $\rightarrow$ 编译错误：未经验证的代码片段中的结构无效性传播。
- 不安全实践 $\rightarrow$ 易受攻击的代码：复制不安全习惯用法（如 eval()、未验证的输入）。
间接映射（8 种机制）：由于非代码属性导致的学习分布扭曲。示例包括：
- 冗余 $\rightarrow$ 多样性降低：由于重复样本导致对重复模式的过拟合。
- 分布不平衡 $\rightarrow$ 偏差性能：由于数据稀缺导致在不同语言或领域间的性能 skewed。
- 指令错位 $\rightarrow$ 语义漂移：由于文档字符串不匹配，生成语法正确但语义错误的代码。

3. 检测与缓解技术的综合

本综述综合了 LLM 生命周期中的最先进技术：

检测：超越静态规则检查，转向结合动态分析（基于执行的测试、运行时监控）、静态分析（基于规则的工具、人工审查）和基于模型的检测（LLM 作为裁判、轻量级机器学习分类器）的混合框架。
缓解：识别出从反应式的生成后过滤向主动的、以数据为中心的治理转变。策略包括：
- 数据层面：基于执行反馈的过滤、基于规则的清洗、基于 LLM 的清洗和数据平衡。
- 模型层面：微调、指令对齐（RLHF/DPO）和基于奖励的优化。
- 生成层面：提示工程、检索增强生成（RAG）、解码时干预和迭代自我反思。

结果与发现

研究趋势：自 2023 年以来，关于代码质量的研究呈爆发式增长，研究重点从单一关注正确性（52 项研究）明显转向包括安全性（24 项）和可维护性（22 项）的多维视角。
根本原因分析：综述确认，生成代码缺陷很少是孤立的推理缺陷，而是深深植根于训练数据质量。“垃圾进，垃圾出”不仅适用于显式错误，也适用于系统性分布偏差（例如，数据不平衡导致在低资源语言中泛化能力差）。
方法论转变：该领域正从反应式的、基于启发式的生成后过滤向主动的、以数据为中心的治理和闭环修复过渡。
差距识别：当前研究缺乏形式化的因果归因方法，无法将特定的生成失败追溯到特定的数据源头，且基准污染仍然是对评估完整性的普遍威胁。

意义与主张

本文声称是第一项系统文献综述，明确弥合了训练数据质量与生成代码质量之间的鸿沟。其意义在于：

建立统一框架：提供一致的词汇和分类体系，解决现有文献的碎片化问题，允许对质量问题进行系统性比较。
形式化因果关系：超越相关性，绘制具体的传播机制，使研究人员和从业者能够将生成失败追溯回其数据集源头。
指导未来治理：论证仅靠模型架构改进无法实现可靠的代码大语言模型。相反，社区必须采用整合的数据整理和持续评估策略，将数据质量视为软件可靠性的主要杠杆。

作者总结道，虽然“工程化利用”（如 RAG、工具使用）提供了部署时的补偿，但它不能替代高质量训练数据的必要性。未来的可靠性取决于从分散的、特定阶段的干预措施转向端到端的质量管道，确保训练语料库与生成工件之间的双向可追溯性。