🤖 AI

LSem2Vec: A Simple yet Effective Two-Stage Approach for Source Code Embedding

本文介绍了 LSem2Vec，这是一个简单且有效的两阶段框架，它结合了大语言模型的语义提取能力与句子嵌入模型，旨在生成鲁棒的源代码表示，且无需进行昂贵的特定任务训练或微调，其在多个数据集上的表现优于现有的无监督方法。

原作者： Zixiang Xian, Chenhui Cui, Rubing Huang, Chunrong Fang, Zhenyu Chen

发布于 2026-08-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Zixiang Xian, Chenhui Cui, Rubing Huang, Chunrong Fang, Zhenyu Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代软件的广袤版图中，代码行是构建我们数字世界的砖块与灰浆。正如城市规划者需要了解街道和建筑的布局才能管理一座大都市一样，软件工程师需要理解代码的结构和含义，才能维护、改进并保障他们所构建系统的安全。该领域的一个关键挑战是识别两段代码在本质上是否在做相同的事情，即使它们在表面上看起来并不相同。这被称为寻找“克隆”（clones），它有助于开发者避免冗余并发现安全风险。多年来，计算机一直难以完成这项任务，因为它们往往会迷失在海量的文本中，或者在措辞发生变化时无法理解底层的逻辑。虽然近年来出现了强大的人工智能工具，能够阅读和编写代码，但使用这些工具来比较数千个文件已被证明是困难、昂贵且容易出错的，这通常是因为工具会被过长的代码所压垮，或者在被要求进行复杂判断时给出错误的答案。

研究团队现在推出了一种名为 LSEM2VEC 的新方法，它通过改变计算机“阅读”代码的方式解决了这些问题。该方法不再要求一个庞大的人工智能盯着两个长文件并决定它们是否相似——这种任务往往会导致混乱或错误——而是将这项工作分解为两个简单且易于管理的步骤。首先，系统使用大型语言模型充当“翻译官”，阅读一段代码并写出一个清晰的单句，以总结该代码的功能。这一步剥离了令人困惑的细节，只留下核心含义。然后，第二个专门的工具获取该摘要句，并将其转换为数学空间中的一个点，即“嵌入”（embedding）。通过将代码转化为这些点，计算机可以轻松测量它们之间的距离以查看其相似程度，而无需重新阅读原始的长篇文件。这个过程就像有一位图书管理员，他先为庞大图书馆里的每本书写下一句描述，然后根据这些描述对书籍进行分组，而不是为了寻找匹配项而去阅读每本书的每一页。

研究人员在包括 C 和 Java 在内的多种编程语言编写的三组不同代码集上测试了这种方法，并使用了几种不同的人工智能模型以确保结果的稳健性。他们将这种新方法与许多现有方法进行了对比，包括那些需要对标记数据进行大量训练的方法，以及那些试图直接使用人工智能进行比较的方法。结果令人瞩目：新方法表现得更加出色，始终能以更高的准确度找到代码克隆。在一次涉及 C 代码的测试中，该系统的准确率超过了 95%，显著超越了排名第二的方法。它在进行“聚类”（clustering，即把相似的代码归为一类）的任务中也表现得非常高效，其调整兰德指数（Adjusted Rand Index）达到了 0.99，甚至超过了那些经过人类监督训练的方法（后者得分为 0.90）。

这项工作的一个关键优势在于它不需要进行昂贵且耗时的特定数据集人工智能训练过程。传统方法通常需要成千上万个由人类标记的代码对示例来学习如何识别相似性，这既缓慢又昂贵。而这种新方法可以直接投入使用，利用人工智能模型现有的知识而无需额外训练。它还解决了一个主要的工程难题：模型的有限内存。大型语言模型一次只能处理一定量的文本；如果代码太长，模型就会崩溃或放弃。通过先对代码进行摘要处理，研究人员绕过了这个限制，使得系统能够处理以前无法分析的大型文件。此外，该方法更加高效，调用人工智能模型的次数大大减少，从而节省了时间和成本。

研究还探讨了不同的选择如何影响结果，例如使用不同类型的人工智能模型或从摘要中移除常见的“停用词”。他们发现，虽然具体的工具很重要，但整体方法在不同的配置下依然保持强劲。例如，使用更先进的人工智能模型来编写摘要确实能带来更好的结果，但即使是标准模型也表现得异常出色。研究人员还对结果进行了可视化处理，展示了由其方法生成的代码点形成了紧密、清晰的组群，而其他方法产生的簇则显得杂乱且重叠。这种清晰度表明，该系统真正理解了代码的含义，而不仅仅是在匹配表面的模式。

最终，这项研究为理解驱动我们世界的庞大代码海洋提供了一种实用且高效的方法。通过将复杂的代码比较任务简化为“摘要化”与“测量”这两个步骤，研究人员创造了一个既强大又易于使用的工具。它证明了我们并不总是需要构建更大、更复杂的模型来解决困难的问题；有时，更聪明地使用我们已有的工具就足以“见林木而非见树木”。这种方法可以帮助软件工程师清理他们的代码库、发现隐藏的安全漏洞，并更有效地组织他们的项目，而无需承担以往限制这些能力的沉重计算成本。

LSEM2VEC 技术摘要：一种有效的代码克隆检测与聚类嵌入方法

问题陈述
将大语言模型（LLMs）集成到软件工程（SE）中，推动了诸如源代码克隆检测和聚类等任务的发展。然而，现有的生成源代码嵌入的方法面临显著的局限性。传统的预训练模型（PTMs）通常需要针对特定任务的数据进行大量的监督训练或微调，这需要消耗大量的计算资源和标注数据集。虽然 LLMs 拥有出色的零样本学习能力，但直接将它们应用于 SE 任务时存在两个关键挑战：

错误响应： 当 LLMs 被要求处理复杂的推理任务（例如，判断两个代码片段是否为克隆，尤其是当工作流涉及总结功能然后再做出二元决策时），它们经常会产生错误的输出。
上下文长度限制： LLMs 具有固定的上下文窗口。处理大量源代码或同时比较多个代码对往往会超过这些限制，导致错误或无法处理长代码片段。此外，使用 LLMs 进行直接的两两比较会导致 LLM 调用次数呈二次方级增长（ $O(n^2)$ ），这在处理大规模数据集时效率低下且成本高昂。

方法论：LSEM2VEC
作者提出了 LSEM2VEC（LLM 提取的代码语义至向量嵌入），这是一种创新的、无需训练的方法，通过结合 LLMs 与句子嵌入模型来生成源代码嵌入。该框架通过一个四阶段流水线运行，旨在通过“延迟交互”（late-interaction）策略缓解上述挑战：

统一提示词设计： 标准化的提示词模板指示 LLM 阅读一段源代码片段，并将其功能简洁地总结为一句话，明确禁止解释性文本。这确保了与句子嵌入模型的兼容性，因为后者期望接收单句输入的文本。
代码摘要与存储： LLM 为每个代码片段生成单句摘要。至关重要的是，系统仅提取响应的第一句话以确保一致性，并将这些摘要以 JSON 格式存储。这一步骤将语义提取与下游任务解耦，使得摘要可以被重复使用而无需重新查询 LLM。
代码嵌入生成： 存储的文本摘要被输入到预训练的句子嵌入模型（例如 MiniLM 或 SBERT-CN）中，以生成固定维度的向量表示。此阶段将自然语言摘要转换为语义向量，无需任何额外的训练或微调。
下游任务： 生成的嵌入用于无监督任务。对于代码克隆检测，通过计算向量对之间的余弦相似度来计算相似性。对于代码聚类，则使用欧几里得距离配合 K-means 算法。

这种“延迟交互”设计将代码克隆检测的计算复杂度从 $O(n^2)$ （即需要为每一对代码进行一次 LLM 调用）降低到了 $O(n)$ （即每个代码片段仅需一次 LLM 调用），从而显著降低了 Token 成本并避免了上下文长度溢出。

核心贡献
论文声称了以下贡献：

首个无需训练的集成方案： 这是首个利用大语言模型和句子嵌入模型生成源代码嵌入，且无需任何训练或微调，并能利用无标签数据集的工作。
缓解 LLM 局限性： 提出的流水线通过将任务分解为更小的步骤（先总结后嵌入），而不是要求 LLM 直接执行整个推理任务，有效地解决了 LLM 响应错误和上下文长度受限的问题。
灵活性与可扩展性： 该方法与 LLM 无依赖关系，允许使用任何开源或专有 LLM 以及各种句子嵌入模型。它可以在不同编程语言之间进行扩展，无需语言特定的训练数据。
高效性： 通过减少 LLM 调用次数并利用预训练的句子编码器，该方法提供了比微调模型或直接 LLM 提示更具资源效率的解决方案。

实验结果
作者在涵盖 C 和 Java 语言的三个数据集（POJ-104、OJClone C 和 BigCloneBench）上对 LSEM2VEC 进行了评估。评估重点是使用 GPT-3.5、GLM3 和 GLM4 进行的无监督代码克隆检测和代码聚类。

代码克隆检测： LSEM2VEC 的表现显著优于现有的最先进无监督方法，包括 SourcererCC、Code2vec、InferCode、TransformCode 和 LLM2Vec。
- 在 OJClone C 数据集上，最佳配置（GPT-3.5 + MiniLM-L12）实现了 91.82% 的 F1 分数，超过了有监督的 LLM2Vec（83.70%）和其他无监督基准方法。
- 在 BigCloneBench 数据集上，LSEM2VEC 实现了高达 85.83% 的 F1 分数（使用 GPT-3.5 + MiniLM-L6），同样优于有监督的 LLM2Vec 和其他方法。
- 研究发现，GPT-3.5 通常比 GLM 系列模型（GLM3 和 GLM4）产生更好的结果，且句子嵌入模型（例如 MiniLM-L12 与 L6）的选择也会影响性能。
代码聚类： 使用调整兰德指数（ARI）作为指标，LSEM2VEC 展示了卓越的聚类能力。
- GPT-3.5 配置实现了 0.97 的 ARI（使用 MiniLM-L6）和 0.91 的 ARI（使用 MiniLM-L12），优于有监督的 LLM2Vec（0.90）及所有其他无监督基准方法。
- 通过 t-SNE 可视化证实，LSEM2VEC 嵌入产生了定义清晰、界限分明的聚类边界，在使用更先进的 LLM（如 GPT-3.5）时效果尤为明显。

意义与主张
论文将 LSEM2VEC 定位为现有嵌入策略的一种鲁棒且高效的替代方案。其主要意义在于证明了无需微调的计算开销或对标注数据的依赖，即可生成高质量的源代码嵌入。通过利用 LLM 的零样本能力进行语义提取，并利用句子模型进行向量化，该方法为资源有限的实际软件工程应用提供了一个切实可行的解决方案。作者总结认为，该方法为社区探索高级源代码表示提供了一个新方向，未来有望扩展到代码摘要、漏洞检测和二进制代码分析等任务。

类似论文