Conventional Commit Classification using Large Language Models and Prompt Engineering

本文证明，无需训练的大型语言模型（特别是采用少样本提示的 DeepSeek-R1-32B）能够有效对代码差异中的常规提交进行分类，为传统的监督机器学习方法提供了一种实用的替代方案。

要点

想象一下，你是一家庞大而混乱的图书馆的馆长，每天都有成千上万本书被添加进来。为了保持秩序，图书馆有一条严格的规定：每本新书的书脊上必须贴有特定的标签（例如“新功能”、“错误修复”或“文档”），以便机器人能够自动对它们进行分类、更新目录，并告知访客有哪些新内容。

然而，在现实中，负责添加书籍的人往往无视这些规定。他们潦草地写下诸如“修复了那个问题”或“修改了一些代码”之类的杂乱笔记，导致机器人无法判断这些书属于哪个类别。

本文讲述的是如何训练一个超级聪明的机器人（人工智能）来阅读这些杂乱的笔记并确定正确的标签，而无需先花费数年时间学习成千上万个示例。

问题：杂乱的笔记与严格的规则

在软件开发中，程序员每次保存代码更改时都会编写“提交信息”（即笔记）。业界有一种称为“约定式提交”（Conventional Commits）的标准格式，它充当严格的归档系统。它要求笔记必须以特定的标签开头（例如 feat:、fix:）。

但人类往往不够规范。他们经常忘记添加这些标签。传统上，为了解决这个问题，研究人员会通过向机器人提供成千上万个带标签的示例来构建定制机器人（就像学生背诵教科书一样）。这需要大量的时间和数据。

新方法：“提示”策略

与其从头开始训练一个新机器人，作者们提出了一个问题：我们能否直接给一个非常聪明、已有的 AI 一套指令（即“提示”），让它完成这项工作？

他们将 AI 视为一位博学多才的实习生，它已经掌握了大量语言知识，但需要明确具体要执行什么任务。他们测试了三种不同的指令方式：

1. 零样本（“直接告诉我”方法）：

   • 类比： 你走到实习生面前说：“这里有一条杂乱的笔记。请根据规则告诉我它属于哪个类别。”你没有提供任何示例。
   • 结果： 实习生进行了猜测，但经常出错，因为它不清楚你具体想要什么。

2. 少样本（“给我看示例”方法）：

   • 类比： 你说：“这里有一条表示‘新功能’的杂乱笔记。这里还有一条表示‘错误修复’的笔记。现在，看看这条新的杂乱笔记，告诉我它是什么。”你先向实习生展示几个清晰的示例。
   • 结果： 这种方法效果最好。实习生迅速理解了模式，并准确地对书籍进行了分类。

3. 思维链（“大声思考”方法）：

   • 类比： 你说：“在给我答案之前，请写下你的逐步推理过程：‘我看到“修复”这个词，所以我认为这是一个错误……'"
   • 结果： 令人惊讶的是，这并没有帮助。对于这种标签分类任务，让实习生“大声思考”只是增加了额外步骤，并未改善最终答案。这就像要求图书管理员在将书上架前先写一篇论文；它拖慢了速度，却未提升结果。

竞争者：大脑需要有多大？

研究人员测试了三种不同规模的“实习生”（AI 模型）：

• Mistral-7B： 中等规模的大脑（70 亿参数）。
• LLaMA-3-8B： 稍大的大脑（80 亿参数）。
• DeepSeek-R1-32B： 巨型大脑（320 亿参数）。

发现： 更大的大脑胜出。DeepSeek-R1-32B 在解读杂乱笔记并找到正确标签方面最为准确。这表明，对于此类任务，拥有更大、更强大的 AI 模型确实能带来显著差异。

结论

该论文得出结论：你无需从头构建自定义机器学习模型来整理杂乱的软件笔记。相反，你可以使用一个强大的现有 AI，只需给它提供几个好的示例（少样本提示）即可完成工作。

• 最佳策略： 先向 AI 展示几个示例。
• 最佳 AI： 可用的最大、最强大的模型。
• 浪费时间： 让 AI 在回答之前编写冗长的推理过程。

这种方法节省了时间和精力，因为它跳过了收集并标记成千上万个训练示例的需求，让开发人员能够立即自动化其文件整理工作。

技术摘要

技术摘要：利用大语言模型和提示工程进行常规提交分类

问题陈述

常规提交（Conventional Commits）为提交信息提供了一种结构化格式（例如 type: description），使得变更日志生成器和语义化版本控制系统等自动化工具得以实现。然而，开发人员经常编写非结构化的提交信息，因此需要自动分类以恢复这种结构。传统方法依赖于在大型标注数据集上训练的机器学习（ML）和深度学习（DL）模型。这些方法需要大量的数据预处理、特征工程，并且在项目术语或分类体系演变时需要频繁重新训练。本文研究了一种无需训练的替代方案：利用大语言模型（LLM）并通过提示工程对提交信息进行分类，从而避免了整理标注训练数据或微调模型所带来的开销。

方法论

本研究采用了一个无需训练的框架，其中大语言模型直接根据提示对代码变更进行分类，而无需对模型进行微调。

• 数据集：从开源 InfluxDB 仓库中提取了一个包含 3,200 个提交的平衡数据集。该数据集包括提交信息及其对应的代码差异（变更）。数据在提交类型（例如 feat、fix、docs、refactor、test、chore）之间大致平衡。
• 评估模型：测试了三种不同参数规模的开源大语言模型：
  • Mistral-7B-Instruct（70 亿参数）
  • LLaMA-3-8B（80 亿参数）
  • DeepSeek-R1-32B（320 亿参数）
• 提示策略：评估了三种不同的提示方法：
  1. 零样本（Zero-Shot）：向模型提供类别定义和指令，但不提供示例。
  2. 少样本（Few-Shot）：向模型提供具有代表性的已标注提交信息和代码差异示例，以及指令。
  3. 思维链（Chain-of-Thought, CoT）：指示模型在输出最终分类之前生成中间推理步骤（识别线索并将其映射到类型）。
• 评估：使用标准分类指标对模型进行评估：准确率、精确率、召回率和 F1 分数。真实标签源自 InfluxDB 仓库中现有的标签。

主要结果

实证评估得出了以下发现：

1. 提示策略表现：

   • 少样本提示在所有模型中始终实现了最高的准确率。例如，DeepSeek-R1-32B 在少样本提示下达到了 0.5749 的准确率，而零样本为 0.5652，思维链为 0.5497。
   • **思维链（CoT）**并未为该特定分类任务带来额外收益。在若干情况下，CoT 的表现介于中间或低于少样本，这表明结构化分类更依赖于模式识别而非多步推理。
   • 零样本通常导致最低或接近最低的表现，特别是对于像 Mistral-7B-Instruct 这样较小的模型（准确率为 0.3356）。

2. 模型规模影响：

   • DeepSeek-R1-32B（320 亿参数）在所有指标和提示策略中均表现出最强的整体性能，平均准确率达到 0.563。
   • LLaMA-3-8B 记录了最低的表现（平均准确率为 0.372）。
   • Mistral-7B-Instruct 表现出中等水平的性能。
   • 结果表明，模型规模在理解上下文和准确分类代码变更的能力方面发挥着重要作用。

3. 聚合指标：

   • 在所有模型中，少样本提示实现了最高的平均准确率（0.531）和 F1 分数（0.468）。
   • 零样本提示实现了最高的平均精确率（0.508），但召回率较低。

主要贡献

本文概述了三项主要贡献：

1. 新颖方法：提出了一种利用大语言模型和提示工程进行常规提交分类的无需训练的方法，这与需要标注数据集的传统机器学习/深度学习流程形成对比。
2. 实证评估：利用广泛的数据集（3,200 个提交）和多个最先进的开源模型，对该方法进行了全面的实证评估。
3. 实践指导：讨论了基于提示的分类的有效性，指出少样本提示在该任务上优于零样本和思维链，并强调了软件工程框架内的权衡。

意义与主张

作者将这项工作定位为面向研究人员和从业者的实用指南，旨在自动化提交分类，而无需耗费资源的数整理和模型训练过程。

• 提示设计至关重要：研究强调，提示设计显著影响性能，其影响往往超过模型架构本身。具体而言，包含清晰、多样的示例（少样本）起到了隐式训练信号的作用。
• 推理的局限性：本文谦逊地指出，虽然思维链在复杂推理中有效，但它并不一定能提高像提交类型分类这样的结构化分类任务的性能，因为在这类任务中模式识别至关重要。
• 比较范围：作者明确表示，他们的目标并非直接超越传统的机器学习/深度学习基线。相反，本研究侧重于分析不同的提示设计如何影响基于大语言模型的分类。关于“更大模型表现更好”的主张严格限于所评估的大语言模型之间，而非与外部监督基线进行比较。
• 未来方向：本文建议未来的工作可以包括在更多样化的仓库中测试泛化能力、应用自动化提示优化，以及探索结合大语言模型与传统机器学习技术的混合方法。此外，还指出了将这些发现应用于自动化发布说明生成和缺陷预测的潜力。