💻 computer science

An Empirical Study of Sustainability in Prompt-driven Test Script Generation Using Small Language Models

该研究通过实证分析填补了现有空白，揭示了在提示驱动的单位测试脚本生成中，2B 至 8B 参数规模的小语言模型在能源消耗、碳排放与测试覆盖率之间的具体权衡关系，并阐明了提示结构与模型选择如何共同影响其可持续性与性能表现。

原作者： Pragati Kumari, Novarun Deb

发布于 2026-04-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Pragati Kumari, Novarun Deb

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在给人工智能（AI）写测试代码这件事做一次“体检”，特别是检查那些个头较小、比较省资源的 AI 模型（我们叫它们“小语言模型”）在干活时，到底费不费电、排不排碳。

想象一下，现在的 AI 就像是一个个超级聪明的“数字厨师”。以前大家只关心那些“巨无霸”厨师（大语言模型）做的菜好不好吃，却忽略了他们开火做饭时烧掉了多少天然气，排放了多少烟雾。

这篇研究把目光转向了那些**“小个子厨师”（20 亿到 80 亿参数的小模型），看看他们在写测试代码**（就像给软件做“试吃”和“找茬”）时，表现如何。

以下是用大白话和比喻对这篇论文核心内容的解读：

1. 为什么要研究这个？（背景）

现状： 大家都用 AI 自动写代码，但大模型太“能吃”了，费电又排碳，就像开着一辆大卡车去送一份小包裹，不环保。
问题： 那些“小卡车”（小模型）是不是更环保？它们写出的测试代码质量怎么样？没人仔细研究过。
目标： 找到那个既省油（环保）又跑得快（效率高），还能**把活干好（代码覆盖率）**的平衡点。

2. 他们是怎么做的？（实验方法）

研究者设计了一个**“烹饪大赛”**：

食材（数据）： 用了 164 道标准的“编程菜”（HumanEval 数据集），让 AI 来写测试这些菜的“试吃报告”。
厨师（模型）： 选了 5 位“小个子厨师”（如 Phi-3.5, Mistral-7B 等）。
菜谱（提示词）： 他们给厨师不同的“指令单”。
- 简单指令： “写个测试。”
- 复杂指令： “你是一位资深测试专家，请按以下格式、避开以下错误、模仿这个例子……"
- 比喻： 就像给厨师的指令越详细，他可能做得越精细，但思考（计算）的时间可能越长，用的电也可能越多。
环境（地点）： 实验是在谷歌的云端做的，但谷歌会把任务随机分配到世界各地的数据中心。
- 关键点： 如果任务在风力发电多的国家（如荷兰）运行，碳排放就低；如果在烧煤多的国家（如新加坡或美国某些州）运行，碳排放就高。这就像在用太阳能做饭和用烧煤炉做饭的区别。

3. 他们发现了什么？（核心发现）

A. 地点比指令更重要（RQ1）

发现： 哪怕指令一样，如果任务在“烧煤区”运行，碳排放就高；在“风电区”运行，碳排放就低。
比喻： 就像你让同一个厨师做同一道菜，在太阳能板下做和在烟囱下做，产生的“烟雾”是完全不同的。地理位置决定了你的“环保底色”。

B. 没有完美的“全能冠军”（RQ2 & RQ3）

发现： 没有哪一个小模型是既最省电、又最快、还写得最完美的。
- 有的模型跑得快但写得一般。
- 有的模型写得很好但费电。
- 有的模型压缩得很小（量化技术，像把文件打包压缩）能省电，但有时候精度会下降，导致测试漏掉 bug。
比喻： 就像买车，有的车省油但动力弱，有的车动力强但油耗高。你得看自己是要去买菜（省一点是一点）还是去飙车（追求极致性能）。

C. 两个新发明的“评分尺子”

为了帮大家选车，作者发明了两个新尺子：

绿色速度指数 (SVI)： 这是一个综合分。它不看单项冠军，而是看谁在“速度、省电、少排碳、写得好”这四个维度上最均衡。就像选一个全能型运动员。
绿色 F-β分数 (GFβ)： 这是一个可调节的旋钮。
- 如果你把旋钮拧向**“环保”**（β<1），系统会优先推荐最省电的模型。
- 如果你把旋钮拧向**“质量”**（β>1），系统会优先推荐代码写得最完美的模型。
- 比喻： 这就像点外卖时的**“口味偏好”**。你可以告诉系统：“我只要最便宜的（环保优先）”或者“我只要最好吃的（质量优先）”，系统会给你不同的推荐列表。

4. 结论是什么？（给谁看？）

给软件架构师的建议： 别盲目追求最大的模型，也别盲目追求最小的模型。
- 如果你在乎环保，选一个在风电区运行的、指令稍微简单点的模型。
- 如果你在乎代码质量，选一个在算力充足区运行的、指令详细的模型。
核心思想： 可持续性（环保）不是单一指标，而是一个权衡（Trade-off）的艺术。 就像过日子，要在“省钱”和“生活质量”之间找到适合自己的平衡点。

总结

这篇论文告诉我们：用 AI 写代码，不仅要问“写得对不对”，还要问“费不费电”和“排不排碳”。 通过聪明的选择（选对模型、选对指令、选对运行地点），我们可以在保证软件质量的同时，让地球少受一点“污染”。这就好比我们既想吃好饭，又想少开大车，只要选对了“小电动车”和“充电时间”，就能两全其美。

这是一份关于《基于小语言模型的提示驱动测试脚本生成的可持续性实证研究》（An Empirical Study of Sustainability in Prompt-driven Test Script Generation Using Small Language Models）的详细技术总结。

1. 研究背景与问题 (Problem)

随着大语言模型（LLMs）在自动化软件测试中的广泛应用，其巨大的能源消耗和碳足迹引发了广泛关注。然而，现有的可持续性分析主要集中在大规模模型上，**小语言模型（SLMs，参数量在 2B-8B 之间）**在提示驱动（Prompt-driven）的单元测试脚本生成过程中的能源效率和碳特征尚未得到充分探索。

在资源受限环境或隐私敏感领域，本地部署 SLMs 是常见选择。因此，亟需理解 SLMs 在能源效率与测试生成性能（如代码覆盖率）之间的权衡，以支持“绿色 AI"实践。

2. 研究方法 (Methodology)

本研究采用实证方法，构建了一个包含五个阶段的实验管道（如图 1 所示），旨在评估不同配置下的可持续性权衡：

数据集与预处理：
- 使用 HumanEval 基准（164 个 Python 编程任务）。
- 将任务提示（Prompt）与标准答案（Canonical Solution）合并，构建待测软件模块。
提示设计 (Prompt Design)：
- 设计了四种渐进式约束的提示模板（ $APV_0$ 至 $APV_3$ ），基于 Anthropic 模板。
- 从仅包含函数签名的基线（ $APV_0$ ）到包含专家角色设定、结构化规则（DOs/DON'Ts）、角色分离及示例块的复杂提示（ $APV_3$ ），以分析提示复杂度对能耗的影响。
模型选择与配置：
- 选取了 5 种 SLMs（Phi-3.5-mini, Qwen2.5-1.5B, deepseek-coder-7b, Mistral-7B, Llama-3-8B）。
- 量化方案：统一使用 8-bit 量化进行横向对比；针对 Phi-3.5-mini 和 Qwen2.5-1.5B 进行 4-bit、8-bit 和无量化的纵向对比。
实验环境与指标：
- 在 Google Colab (NVIDIA T4 GPU) 上运行，利用 CodeCarbon 库追踪能耗、碳排放和持续时间。
- 记录执行时的地理位置（Country ISO Code），以结合当地电网的碳强度（Carbon Intensity）计算实际排放。
- 使用 Coverage.py 测量生成的测试脚本的代码覆盖率（ $Q$ ）。
核心研究问题 (RQs)：
- RQ1: 提示结构和地理迁移（电网碳强度差异）如何共同影响能耗和碳足迹？
- RQ2: 是否存在一种机制能同时考虑代码覆盖率和环境开销来对 SLMs 进行排序？
- RQ3: 不同量化级别（4-bit vs 8-bit vs 未量化）在测试覆盖率与环境可持续性之间有何权衡？
- RQ4: 如何为架构师提供机制，在测试覆盖率和环境可持续性之间进行优先级排序？

3. 关键贡献 (Key Contributions)

填补研究空白：首次针对 2B-8B 参数范围的 SLMs 在单元测试生成任务中的环境特征进行了系统性实证研究。
提出新型评估指标：
- 软件碳强度 (SCI)：基于 Green Software Foundation 标准，计算每生成一个测试脚本的碳排放量（gCO2e）。
- 可持续速度指数 (SVI)：一个综合指标，结合了覆盖率、软件碳强度、执行时间和稳定性。其乘法设计防止了单一维度的优势掩盖其他维度的劣势。
- 绿色 $F_\beta$ 分数 (Green $F_\beta$ Score)：一个可调节的复合指数，通过参数 $\beta$ 平衡环境效率（ $\beta < 1$ ）与代码覆盖率（ $\beta > 1$ ），允许利益相关者根据需求调整权重。
多维度分析框架：揭示了提示复杂度、模型量化级别和区域电网碳强度三者之间的复杂相互作用，而非单纯依赖模型大小。

4. 主要实验结果 (Results)

RQ1 结果（提示与地理影响）：
- SCI 受提示/模型配置开销和区域电网碳强度的共同影响。
- 在同一地区，提示结构的改变直接反映在 SCI 差异上；但在不同地区，电网碳强度（如荷兰的低碳 vs 美国内华达的高碳）成为主导因素，可能掩盖提示优化的效果。
RQ2 结果（SVI 排序）：
- SVI 成功整合了多维数据。虽然低碳地区（如荷兰、美国俄勒冈州）通常有助于提升 SVI，但提示 - 模型组合的优化（如 Mistral-7B 在特定提示下）可以在高碳地区仍保持较高的 SVI，证明了多维评分的必要性。
RQ3 结果（量化敏感性）：
- 在固定地区（如新加坡），对于 Phi-3.5-mini，更高精度（未量化）反而带来了更高的 SVI，表明覆盖率的提升超过了低比特量化带来的计算节省。
- 然而，当地区变化时（如 Qwen2.5-1.5B），电网碳强度的影响可能压倒量化带来的收益，导致非单调的 SVI 变化。
RQ4 结果（ $F_\beta$ 排序）：
- 模型排名高度依赖于 $\beta$ 值的选择。例如，DeepSeek-coder-7b 在侧重覆盖率（ $\beta=10$ ）时表现优异，而 Phi-3.5-mini 在侧重生态效率（ $\beta=0.01$ ）时排名靠前。
- 提示变体（ $APV_0$ vs $APV_3$ ）和部署地点的变化也会显著改变模型排名。

5. 研究意义与结论 (Significance & Conclusion)

实践指导：该研究为软件架构师提供了具体的决策依据。在选择 SLM 进行测试生成时，不能仅看模型大小或单一准确率指标，必须结合部署地点的电网碳强度、所需的提示复杂度以及量化策略进行综合考量。
方法论创新：提出的 SVI 和 $F_\beta$ 指标为“绿色软件工程”提供了可量化的工具，帮助在测试有效性（覆盖率）和环境责任之间找到最佳平衡点。
核心发现：可持续性不仅仅是模型大小的函数，而是提示工程、量化精度和地理环境共同作用的结果。没有一种模型在所有维度上都占优，最佳选择取决于具体的部署目标（是优先减排还是优先覆盖率）。

局限性：研究受限于单一基准（HumanEval）、特定的硬件配置（T4 GPU）以及基于估计值的碳强度数据，未来工作将扩展至更多模型家族和硬件架构。