💻 computer science

ConcernBERT: Learning Responsibilities Using Class Membership

本文介绍了 ConcernBERT，这是一种基于 BERT 的嵌入模型，通过在超过两百万个 Java 文件的规模化数据集上使用三元组损失（triplet loss）进行训练，以有效地学习软件职责和类成员关系，从而在架构恢复和提取类重构等任务中超越了现有模型。

原作者： J. Lefever, J. Xu, Y. Cai, R. Kazman, E. Pisch

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： J. Lefever, J. Xu, Y. Cai, R. Kazman, E. Pisch

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你走进了一座巨大且混乱的图书馆，书本被毫无秩序地扔在书架上。有些书是关于烹饪的，有些是关于太空旅行的，还有一些只是从不同手册中撕下来的随机页面。你的任务是弄清楚哪些页面属于同一本书，从而重建原有的书籍。

在计算机编程的世界里，这是一个常见的问题。程序员编写的代码被称为“类”（class，可以将其想象成这些书）。一个设计良好的类应该只做一件特定的工作（比如一本食谱书里只应该有菜谱）。但随着时间的推移，类可能会变得混乱，将不相关的任务混杂在一起。这被称为“上帝类”（God Class），它很难修复，因为很难分辨哪些代码行属于哪项任务。

几十年来，软件工程师一直尝试利用计算机来理清这种混乱。旧的方法是观察代码中使用的词汇（token）。如果两段代码都使用了“log”、“error”和“file”这些词，计算机就会假设它们是相关的。

旧方法的缺陷
论文指出，仅仅通过观察词汇来分类书籍，就像是通过看书名的第一个字母来对图书馆进行分类一样。

场景 A： 两本书的书名中都有“Space”（空间/太空）。它们很可能都是关于太空的。（好的匹配）。
场景 B： 一本书是关于“Space Travel”（太空旅行）的，另一本是关于“The Space Between Stars”（星际之间的空间）的。它们共享“Space”这个词，但主题完全不同。（错误的匹配）。
场景 C： 一本关于“Cooking”（烹饪），另一本关于“Chemistry”（化学）。它们没有共同的词汇，但都涉及混合原料。（错失的联系）。

旧的计算机模型会被场景 B 所迷惑，并错过场景 C。它们太过于关注表层的词汇量了。

新的解决方案：ConcernBERT
作者创建了一个名为 ConcernBERT 的新 AI 模型。它不再仅仅阅读单词，而是通过观察**代码在和谁一起“混”**来学习。

这可以想象成高中的食堂场景。

旧模型： 如果你看到两个学生穿着同样的“数学俱乐部”T恤，模型就会假设他们是最好的朋友。
ConcernBERT： 它会观察谁实际上坐在同一张餐桌旁。即使两个学生穿着不同的衣服，如果他们经常坐在一起、吃同样的食物、聊同样的话题，模型就会知道他们属于同一个群体。

用软件术语来说，该模型是在数百万个现有的代码库上训练的。它学到了一个简单的规则：“如果一个方法（一行代码）位于与另一个方法相同的类文件中，那么它们很可能承担着相同的职责。”

通过从这些现实世界的组合中学习，该模型学会了理解代码的“意图”或“关注点”（concern），而不仅仅是其词汇。

他们是如何测试的
为了测试这个新模型是否有效，研究人员玩了一个“连连看”的游戏：

他们从两个（甚至 100 个）不同的类中提取代码，并将它们全部砸进一个巨大的、混乱的堆栈中。
他们要求 AI 将这一堆乱码重新分类回原始的组别。
他们将 ConcernBERT 与其他七个著名的 AI 模型（如 CodeBERT、LSI 和 LDA）进行了对比。

结果
ConcernBERT 取得了压倒性的胜利。

在简单的测试中（对 2 个类进行分类），它比排名第二的模型好 31%。
在困难的测试中（将 100 个类混合在一起进行分类），它表现得好 55%。
即使与它的“堂兄弟”模型（CodeBERT，具有完全相同的脑结构，但训练方式不同）相比，ConcernBERT 的表现也几乎是其两倍之多。

论文表明，通过教 AI 去关注“上下文”（即谁在同一个类中），而不是仅仅关注“词汇量”（即使用了哪些词），它可以更准确地判断一段软件实际上在负责什么。

这意味着什么（根据论文）
论文得出结论，ConcernBERT 并不是一个能自动修复所有软件的魔杖。相反，它是一个强大的基础。它提供了一种更智能的方法来衡量代码的“内聚性”（即组织有序程度）。这使得它成为未来执行以下任务时更好的工具：

将混乱的“上帝类”拆分为更小、更易于管理的部分。
更准确地衡量软件质量。
帮助开发者恢复旧软件的原有架构。

简而言之，ConcernBERT 教会了计算机如何通过学习开发者自然分组工作的方式，去理解代码的“工作内容”，而不仅仅是其“词汇”。

技术摘要：ConcernBERT

问题陈述

关注点分离（Separation of Concerns）、高内聚（High Cohesion）和单一职责（Single Responsibility）原则是软件设计的基石，然而其在实践中的应用往往依赖于开发者的直觉，而非可操作的度量指标。软件工程中的一个关键挑战是如何可靠地识别出能够共同履行某种共同职责的程序实体（方法与属性）的内聚组。这种能力对于架构恢复、提取类重构以及内聚性度量等任务至关重要。

现有的识别这些分组的方法主要依赖于基于 Token 的语义相似性（例如共享词汇表）。然而，本文证明了仅靠 Token 相似性是不充分的：

假阴性（False Negatives）： 语义相关的模型可能使用完全不同的 Token（例如，不同的访问控制实现）。
假阳性（False Positives）： 具有相似 Token 的方法可能服务于无关的关注点（例如，日志记录与支付处理）。
局限性： 纯词法模型无法捕捉开发者在将实体分组到类时隐式编码的底层“关注点级”语义。

方法论

作者提出了 ConcernBERT，这是一种基于 BERT 的嵌入模型，旨在将程序实体映射到一个高维的“关注点空间”中，使共享职责的实体在该空间中位置接近。

核心创新

通过三元组损失（Triplet Loss）进行实体级监督： 与标准模型（侧重于基于上下文填充空白的 Token 级掩码语言模型）不同，ConcernBERT 是在实体级进行训练的。它利用三元组损失来直接优化方法和属性的相对位置。
- 锚点（Anchor）： 一个程序实体。
- 正样本（Positive）： 来自同一个 Java 结构（类、接口或枚举）的另一个实体。
- 负样本（Negative）： 来自不同结构的实体。
- 目标： 最小化锚点与正样本之间的欧几里得距离，同时最大化与负样本之间的距离。
将类成员身份作为上下文： 该模型将开发者分配的类成员身份视为共享职责的隐式标签。其基本假设是：开发者根据共享的关注点将方法分组到类中。通过学习数千个仓库中数百万个此类分组决策，该模型能够捕捉到即使在实体不共享重叠 Token 时也能泛化的关注点级相似性模式。

架构与训练

基础模型： 基于 CodeBERTa-small-v1 构建，添加了一个均值池化层（Mean Pooling Layer），将 Token 嵌入聚合为每个实体的单个向量（遵循 SentenceBERT 的原理）。
数据集： 一个大规模数据集，包含 2,430,138 个源文件，分布在 6,766 个仓库中。训练集包括来自 5,414 个仓库的 190 多万个核心 Java 文件。
训练过程： 在单张 NVIDIA A40 GPU 上使用小批量随机梯度下降法训练了三个轮次（Epochs）。模型训练了三天，处理了约 1500 万个实体。

评估

作者使用 类成员身份恢复测试（Class-Membership Recovery Test） 对 ConcernBERT 进行评估。

设置： 将来自 $k$ 个不同类的 $k$ 个方法的集合合并为一个无标签组（其中 $k \in \{2, 10, 50, 100\}$ ）。模型对这些方法进行嵌入，并由聚类算法尝试恢复原始的类成员身份。
基准模型： 将该模型与七个现有模型进行对比：
- 传统模型： 潜在语义索引（LSI）、潜在狄利克雷分配（LDA）、Doc2Vec。
- 基于 Transformer 的模型： CodeBERT、GraphCodeBERT、CodeT5+、ModernBERT。
指标： 性能通过 12 种配置（4 种聚类算法 $\times$ 3 种距离度量）下的**调整互信息（Adjusted Mutual Information, AMI）**进行衡量。

关键结果

ConcernBERT 在所有组大小和聚类配置下都显著优于所有参考模型。

小规模分组 ( $k=2$ )： ConcernBERT 实现了 0.728 的平均 AMI，优于表现次优的模型（LSI 为 0.558），提升幅度为 31%。与其架构基础 CodeBERT 相比，提升了 115%。
大规模分组 ( $k=100$ )： 随着任务复杂度的增加，性能差距进一步扩大。ConcernBERT 实现了 0.565 的平均 AMI，优于 LSI 55%，优于 CodeBERT 94%。
统计显著性： 所有成对比较均具有统计学意义（ $p < 0.01$ ）。效应量（Cliff's delta）较大，表明这种改进不仅仅是因为架构差异，而是源于专门设计的训练过程。
一致性： ConcernBERT 在所有测试规模下都保持了最高且最紧凑的 AMI 分布，而基准模型随着任务复杂度的增加表现出明显的性能下降和方差增大。

针对 TsFileTool 类的案例研究表明，ConcernBERT 成功识别出了符合人类直觉的内聚簇（例如，目录管理、模式处理），而 CodeBERT 和 LSI 则产生了大规模且语义不连贯的簇。

重要性与主张

论文声称 ConcernBERT 通过有效地编码关注点级语义，为下游软件工程任务提供了更强大的基础。

使设计原则具象化： 这项工作朝着将“关注点分离”和“单一职责”等哲学原则转化为可操作、自动化的度量和工具迈出了重要一步。
是基础组件而非端到端工具： 作者明确指出，ConcernBERT 并不旨在作为一个完整的、端到端的重构或架构恢复工具。相反，它作为一个基础嵌入组件来支持这些任务。
训练策略的优越性： 结果证实，仅仅依靠架构上的进步（例如使用更新的 Transformer 模型）并不能像专门设计的训练过程那样有效地捕捉关注点级语义。

论文总结道，通过直接从类成员身份而非表层 Token 重叠中学习相似性，ConcernBERT 超越了传统方法，能够提供更可靠的洞察力。