🤖 AI

A Methodology for Investigating AI Patterns Prevalence in Software Repositories

本文提出并验证了一种结合文献挖掘（用于识别 14 类 AI 模式）与主动学习（用于实证测量这些模式在真实 GitHub 仓库中的流行度与准确性）的方法论，旨在解决当前在理解 AI 模式在实践中究竟如何被使用这一方面的认知空白。

原作者： Srinath Perera, Hasinthaka Piyumal, Frank Leymann, Rania Khalaf

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Srinath Perera, Hasinthaka Piyumal, Frank Leymann, Rania Khalaf

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位城市规划师，试图了解人们在繁华现代的城市中究竟是如何盖房子的。你手里有一本厚厚的《理想房屋设计》书（由文学专家提出的 AI 模式），但你完全不知道现实中的社区里是否真的有人在使用这些设计，还是说他们只是在随性地建造一些奇形怪状的结构。

这篇论文的研究团队决定走出去，实地考察 100 个真实的房屋社区（GitHub 代码仓库），并弄清楚哪些“理想设计”真正被应用了。

以下是他们的做法，用简单的语言解释如下：

1. 问题所在：想法太多，证据不足

专家们写下了数百种“AI 模式”（构建智能软件的食谱）。但没人知道这些食谱是否真的在现实世界的厨房里被烹饪出来。研究人员想要从“理论”转向“现实”。

2. 第一步：整理食谱书

首先，他们从书籍、博客和文档中收集了 769 种不同的“食谱”。这太乱了，无法直接使用。

类比： 想象一下，你有 769 种不同的“制作三明治”的名称。有的叫“俱乐部三明治”，有的叫“BLT”，有的叫“小麦面包配火腿奶酪”。
解决方法： 他们使用了一个聪明的计算机（大语言模型，LLM）将相似的食谱归为一类。然后，由人类观察这些分组，并将它们组织成 14 个清晰的类别（例如“RAG”、“智能体架构”、“预处理”等）。这创建了一个由 14 道主菜组成的整洁、有序的菜单。

3. 第二步：寻找“社区”（代码社区）

他们不能只看单行代码；那就像是通过观察一块砖头来评判整栋房子。他们需要找到协同工作的代码“社区”。

类比： 他们不是在看单个砖块，而是在看房子的“房间”。他们使用了一种特殊的地图（调用图/call graph）来寻找紧密连接的代码组，就像一个厨房里灶台、冰箱和水槽都是相互关联的一样。
筛选过程： 他们从 GitHub 中挑选了 100 个真实的 AI 项目（“社区”），这些项目很受欢迎，但不是那些庞大的基础框架（如 TensorFlow）。他们想看的是典型开发者正在构建什么，而不是那些所有人都在其之上构建的巨型工具。

4. 第三步：“猜猜看”游戏（主动学习）

这是最聪明的部分。他们并没有一个带着标准答案（标注数据）的老师来训练他们的计算机模型。

类比： 想象一个学生正在参加考试，但他并不知道答案。
1. 学生根据自己生成的少量示例做出一些猜测。
2. 计算机观察这 100 个社区并说：“我对这个只有五成把握，但我对那个很有把握。”
3. 研究人员（人类老师）只查看那些计算机不确定的部分。他们对这些部分进行标注，然后计算机从中学习。
4. 他们重复这个循环。计算机变得越来越聪明，只有在真正感到困惑时才会请求帮助。这节省了他们手动阅读和标注数千个文件的精力。

5. 第四步：统计结果（带有安全网）

一旦计算机训练完成，它就会扫描这 100 个社区，统计每种模式出现的频率。

转折点： 计算机并不完美，它会犯错。因此，研究人员没有仅仅给出一个单一的数字（例如“RAG 的使用率为 20%”）。
安全网： 他们使用了一种统计技巧（类似于进行 20,000 次模拟）来表示：“我们有 95% 的把握确定真实数值在 X 和 Y 之间。”这给出了一个“置信区间”，承认了他们的估算存在误差范围。

他们发现了什么？

得分： 他们的计算机在识别所使用的模式方面达到了约 56% 的准确率。这听起来似乎不高，但请记住，这里有 8 个不同的类别可供选择。随机猜测的准确率只有 11%。所以，他们的表现比随机猜测高出 5 倍。
胜出者： 他们发现像“使用经典模型进行预测”和“多模态提示”这样的模式非常常见。
落后者： 一些模式，比如“使用 LLM 工具”，很难被识别，因为它们在代码中没有留下强烈的“指纹”，所以计算机经常把它们与“无特殊模式”（“None”类别）混淆。
“None”问题： 大量代码被标记为“None”（未检测到模式）。这是因为有些模式很微妙，或者代码太乱，导致模型无法识别。

核心启示

这篇论文不仅仅是说“AI 模式存在”。它建立了一套稳健的方法，用来证明即使在没有完美初始数据集的情况下，这些模式在现实世界中被使用的频率。

他们展示了：

你可以将混乱的创意列表组织成清晰的分类法。
你可以通过仅在计算机感到困惑时才寻求人类帮助的方式（主动学习），来教计算机识别这些模式。
你可以估算这些模式的普遍程度，同时诚实地说明你的数字存在“误差棒”。

这就像是终于有了一份可靠的城市建筑人口普查报告，并且附带了一句备注：“我们对房屋的统计相当确定，但那些小棚屋可能有点模糊。”这为开发者和研究人员提供了一个基于数据的、可靠的基础，去理解当今 AI 究竟是如何被构建出来的。

技术摘要：一种调查软件仓库中 AI 模式盛行程度的方法论

问题陈述

随着人工智能（AI）应用，特别是利用大语言模型（LLM）的应用日益普及，了解 AI 设计模式在实际应用中的情况变得至关重要。尽管学术文献和行业文档中提出了许多 AI 模式（例如 RAG、ReAct、Agent 框架），但它们在现实世界代码库中的实际盛行程度和重要性尚未得到验证。现有的软件工程研究通常依赖于针对传统设计模式（如 GOF）的精选基准测试（如 P-MART 或 DPB），这些基准缺乏检测新兴 AI 模式所需的数据。此外，存在一个显著的瓶颈：由于缺乏用于训练识别细分或新兴模式的模型所需的标注数据集。本文旨在解决在没有预先存在的标注数据集的情况下，如何对 AI 模式进行实证验证的挑战。

方法论

作者提出了一种四步法，用于识别、检测并估计开源仓库中 AI 模式的盛行程度。

1. 文献挖掘与分类体系构建

过程始于从 44 个来源（包括书籍、综述、从业者文章和文档）中提取 769 个 AI 模式候选对象。

聚类： 将模式描述转换为词嵌入，并使用 DBSCAN 算法进行聚类，以将相似的候选对象分组。
精炼： 利用 LLM 对每个簇进行总结，以创建精炼后的候选对象。
分类： 通过人工检查，将这些候选对象归类为 14 个不同的模式类别，包括 RAG、多智能体架构（Multi-Agent Architecture）、LLM 微调和 MLOps。

2. 现实世界代码收集与分块

为了验证这些模式，作者策划了一个包含 100 个实现现实世界 AI 应用的开源 GitHub 仓库 的数据集。选择标准针对的是拥有 250–1,000 颗星的 Python 仓库，以侧重于“应用层”而非基础框架。

代码社区： 作者没有分析单个文件或函数，而是为每个仓库生成了过程调用图（procedure call graphs）。
Louvain 方法： 他们应用 Louvain 方法来检测“代码社区”（紧密耦合的方法组）。
分块策略： 每个代码社区被视为一个单一的块（chunk）用于生成嵌入。选择这种方法是因为代码社区内的代码更有可能包含完整的模式，从而解决了嵌入对分块边界的敏感性问题。

3. 用于模型训练的主动学习

鉴于缺乏标注数据，作者采用了主动学习方法来构建最常见模式类别的分类器。

引导（Bootstrapping）： 首先在由 LLM 生成的合成数据（ $D_{init}$ ）上训练初始模型。
迭代标注： 模型通过迭代选择来自未标注池（ $D_{unlabeled}$ ）中表现出最高预测不确定性的数据点（使用边际采样）。
人机回环（Human-in-the-Loop）： 这些不确定的样本由人工进行标注。随后使用 5 折交叉验证对模型进行重新训练。
集成模型： 最终模型使用了逻辑回归（Logistic Regression）、SVC 和 KNN 的集成，并根据它们的 F1 分数进行加权。
类别处理： 为确保稳定性，在训练迭代过程中，数据量少于 5% 或实例数少于 20 个的模式类别被合并到“None”类中。

4. 带有误差界的盛行程度估计

为了在考虑模型误差和采样噪声的情况下估计真实的模式频率，作者应用了：

矩阵求逆： 利用从交叉验证中获得的归一化混淆矩阵 ( $C$ )，通过反转关系 $O_{samp} = C \cdot T_D$ 来从观测分布 ( $O_{samp}$ ) 中估计真实的分布 ( $T_D$ )。
蒙特卡洛模拟： 为了量化不确定性，他们通过从多项分布中抽样来模拟采样误差，并进行了 20,000 次迭代，以计算盛行程度估计值的 95% 置信区间。

核心贡献

针对数据稀缺领域的稳健方法论： 本文提出了一个结合主动学习和人机回环标注的框架，用于在没有预先存在的标注数据集的情况下检测模式，解决了软件工程研究中的关键瓶颈。
新颖的分块技术： 作者引入了一种利用调用图上的 Louvain 算法来识别“代码社区”作为分块的方法，优化了复杂现实世界代码中模式检测的嵌入生成。
带有误差界的盛行程度估计： 矩阵求逆和蒙特卡洛模拟的应用提供了可用的误差界限用于模式频率估计，使研究人员能够评估其发现的可靠性。
实证验证： 本研究将 769 个候选对象合成为 14 个类别的分类体系，并通过分析 100 个开源仓库，提供了对 AI 模式盛行程度的首次实证验证之一。

结果

研究分析了 100 个仓库中的 2,442 个代码社区。

分类性能： 最终模型在 8 路分类任务（包括“None”类）中实现了 56% 的准确率 和 55% 的召回率。这显著优于 11% 的随机猜测基准。
模式盛行程度： 分析确认了若干模式类的存在。例如，“使用经典模型的预测（Forecasting with Classical Models）”和“多模态生成提示（Multimodal Generative Prompting）”属于出现频率较高的类别。
误差界限： 盛行程度估计为 7 个分析类别中的 5 个 提供了可用的置信区间。训练样本较少的类别（例如“LLM 工具使用”）表现出较宽的置信区间或零边界，这表明由于误分类（通常与“None”类混淆）导致的不确定性较高。
与前人工作的比较： 虽然 Pandey 等人 [23] 在精选数据集（P-MART）上实现了 0.91 的 F1 分数，但本研究较低的性能归因于现实生活代码相对于干净、精选片段的复杂性。

重要性与主张

本文声称提供了一个稳健的基础，用于理解 AI 模式在实践中是如何使用的，而该领域目前缺乏实证数据。

实用价值： 该方法论允许研究人员确认特定模式类的广泛可用性，并了解其相对频率。例如，结果表明，在所分析的仓库中，“使用经典模型的预测”和“多模态提示”比“智能体架构（Agent Architecture）”更为常见。
可靠性评估： 提出的误差界限允许用户识别何时估计是不可靠的（例如对于稀有类别），并确定何时需要进一步的迭代主动学习以提高精度。
可扩展性： 作者断言，他们的方法高度独立于特定的 AI 模式，可以扩展到其他领域（如微服务、量子计算），或者通过概率分布在单个代码社区内检测多种模式。

论文得出结论，虽然目前的准确率水平不足以识别任意代码段中的特定模式，但该方法论成功地弥合了理论模式提案与实证现实之间的差距，为面向 AI 的数据驱动软件工程提供了一条路径。