💻 computer science

Sustainability Analysis of Prompt Strategies for SLM-based Automated Test Generation

本文首次系统评估了提示工程策略对小语言模型自动化测试生成的可持续性影响，发现提示策略对执行时间、能耗及碳排放的影响甚至超过模型选择本身，其中思维链等复杂策略虽能提升测试覆盖率但环境成本高昂，而零样本等简单策略则能以更低的环境代价实现具有竞争力的测试质量。

原作者： Pragati Kumari, Novarun Deb

发布于 2026-04-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Pragati Kumari, Novarun Deb

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在给人工智能（AI）写代码的“点菜指南”做体检。

想象一下，你开了一家非常繁忙的“测试餐厅”。你的任务是让 AI 厨师（小语言模型，SLM）自动为每一道菜（软件代码）编写“试吃报告”（自动化测试脚本），确保菜没毒、味道对。

以前，大家只关心 AI 厨师写的报告好不好吃（测试覆盖率够不够高），却完全忽略了做饭花了多少电、烧了多少煤、排了多少废气。

这篇论文就是第一次系统地研究了：不同的“点菜方式”（提示词策略），对这家餐厅的“环保账单”有多大影响？

1. 核心发现：怎么“点菜”比“用哪个厨师”更重要

研究人员找了三位不同的 AI 厨师（三个开源的小语言模型），让他们用7 种不同的点菜方式（提示词策略）来写测试报告。

这 7 种方式就像不同的“点菜指令”：

简单直接型（Zero-shot/Few-shot）： “嘿，给我写个测试。”或者“看这个例子，再写一个。”
步步为营型（Chain of Thought）： “先想第一步，再想第二步，最后写测试。”
自我纠错型（Self-Consistency）： “你写三遍，然后选个最好的。”
角色扮演型（ReAct）： “先思考，再行动，再思考，再行动……"

结果让人大跌眼镜：

简单直接型：就像让厨师直接下锅炒，速度快、用电少、排碳少，而且写出来的测试报告质量居然相当不错！
自我纠错型（SC_CoT）：就像让厨师把同一道菜做三遍，然后挑最好的。虽然理论上可能更完美，但实际上耗电量巨大，碳排放飙升，而且测试报告的质量并没有比简单版好多少。

结论就是： 在 AI 写测试这件事上，怎么指挥 AI（提示词设计），比选哪个 AI 模型更能决定环保成本。

2. 生动的比喻：为什么“想太多”反而不划算？

我们可以把 AI 生成测试代码的过程想象成开车去送货：

简单提示词（Zero-shot/Few-shot）：就像走高速公路。路线直，红绿灯少，省油（省电），速度快，虽然偶尔可能错过一个小路口，但大部分时候能准时把货送到（测试覆盖率达标）。
复杂推理提示词（Chain of Thought / Self-Consistency）：就像让司机在城里绕圈、反复确认路线、甚至把货拆了重装三次再送。
- 虽然理论上这样能确保“绝对不走错路”，但实际上油费（能源）花了一大堆，尾气（碳排放）排了一大堆，时间也拖得很长。
- 最讽刺的是，最后送到客户手里的货（测试代码），质量并没有比走高速公路的司机好多少。

3. 他们是怎么测量的？

研究人员就像环保督察员，给每个 AI 厨师配了三个“仪表盘”：

时间仪表盘：写了多久？
电表仪表盘：用了多少度电（CPU、显卡、内存的总耗电）？
碳排仪表盘：产生了多少二氧化碳？

同时，他们还有一个质量评分表（代码覆盖率）：看看 AI 写的测试脚本到底覆盖了多少代码逻辑。

4. 最终算账：性价比之王是谁？

研究人员发明了一个"环保 - 质量综合得分"（SQScore），把“省了多少电”和“测得有多好”放在一起算账。

冠军：Few-shot（少样本提示） 和 LtM（从少到多）。它们就像精打细算的管家，用很少的电，干出了高质量的活。
垫底：Self-Consistency（自洽性/自我纠错）。它就像挥金如土的阔少，为了那一点点可能存在的提升，不惜浪费几倍的能源。

5. 这对我们意味着什么？

这篇论文告诉软件工程师和 AI 开发者一个重要的道理：

不要盲目追求“最聪明”的 AI 指令。
在让 AI 自动写测试代码时，简单、直接、结构清晰的指令，往往比那些让 AI“深思熟虑”、“反复推敲”的复杂指令更环保、更省钱、效率更高。

一句话总结：
在 AI 测试的世界里，“少即是多”。有时候，让 AI 少想一点，直接动手，反而既省了电费，又测得准，这才是真正的“绿色智能”。

这是一份关于论文《Sustainability Analysis of Prompt Strategies for SLM-based Automated Test Generation》（基于小语言模型的自动化测试生成提示策略的可持续性分析）的详细技术总结。

1. 研究背景与问题 (Problem)

随着提示工程（Prompt Engineering）在软件测试自动化中的广泛应用，其带来的计算成本和环境影响日益受到关注。

现有研究局限： 目前的可持续性研究主要集中在大型语言模型（LLMs），而针对**小语言模型（SLMs）**的提示策略对可持续性的影响尚未被系统探索。
核心问题： 提示策略的设计直接影响推理行为、执行成本和资源利用。即使模型大小固定，不同的提示策略（如思维链、零样本等）也会导致巨大的能耗和碳排放差异。
研究缺口： 缺乏一种能够同时评估提示策略、可持续性指标（能耗、碳排放）和测试质量（代码覆盖率）的系统性框架。

2. 方法论 (Methodology)

论文提出并实现了一个以提示为中心的可持续性评估框架，用于分析自动化单元测试生成中的权衡关系。

2.1 实验设置

数据集： 使用 MBPP (Mostly Basic Python Problems) 数据集，包含 Python 编程任务及其参考解决方案和测试规范。
模型： 选取了三个开源小语言模型（SLMs），均采用 4-bit 量化 以模拟资源受限环境：
1. Meta-Llama-3-8B-Instruct
2. DeepSeek-Coder-7B-Instruct-v1.5
3. Mistral-7B-Instruct-v0.3
提示策略： 评估了 7 种 不同的提示策略：
1. Zero-shot (零样本)
2. Few-shot (少样本)
3. Chain-of-Thought (CoT, 思维链)
4. Least-to-Most (LtM, 由少到多)
5. Program-of-Thought (PoT, 程序思维)
6. Self-Consistency CoT (SC_CoT, 自一致性思维链)
7. ReAct (推理与行动)
环境： 在 Google Colab (NVIDIA A100 GPU) 上运行，使用 CodeCarbon 监控能耗和碳排放，使用 coverage.py 计算代码覆盖率。

2.2 评估指标体系

框架定义了从原始测量值到衍生指标的多层评估体系：

原始参数：
- 总 Token 数 ( $T$ )、执行时间 ( $\tau$ )、碳排放 ( $CO_2$ )、CPU/GPU/RAM 能耗 ( $E$ )、归一化代码覆盖率 ( $Q$ )。
衍生效率指标 (每 1K Token)：
- 每 1K Token 耗时、碳排放、能耗。用于消除输出长度差异带来的偏差。
质量效率指标：
- 每 1K Token 的覆盖率、每 kWh 能耗的覆盖率、每 kg $CO_2$ 的覆盖率。衡量资源转化为测试价值的效率。
综合权衡得分 (SQScore)：
- 公式： $SQScore = \alpha \cdot \frac{Q}{CO_2 \cdot E_{tot} \cdot \tau_{hr}}$
- 该指标将覆盖率置于分子，将环境成本和计算成本置于分母，通过权重 $\alpha$ 调节“生态优先”、“平衡”或“质量优先”的评估视角。

3. 主要贡献 (Key Contributions)

首个系统性评估： 首次对基于 SLM 的自动化测试生成中的提示工程策略进行了系统的可持续性评估。
统一评估框架： 提出了一个集成 Token 使用、执行时间、能耗、碳排放和测试覆盖率的评估框架，能够量化可持续性指标与测试质量之间的权衡。
实证发现： 通过受控实验，揭示了提示策略选择对可持续性结果的影响往往超过模型选择本身的影响，证明了提示设计是控制测试工作流环境足迹的关键杠杆。

4. 关键实验结果 (Results)

实验结果揭示了提示策略对可持续性和测试质量之间存在显著的非线性关系：

推理密集型策略的高成本：
- SC_CoT (自一致性思维链) 和 CoT 虽然能带来较高的覆盖率，但付出了巨大的代价。SC_CoT 的执行时间、能耗和碳排放显著高于其他策略（例如，SC_CoT 的能耗是 Few-shot 的 2-3 倍）。
- 边际收益递减： 增加推理深度（如 SC_CoT）并未带来成比例的覆盖率提升，导致其“质量 - 成本”效率极低。
轻量级策略的优越性：
- Few-shot (少样本) 和 LtM (由少到多) 在大多数模型中表现最佳。它们以较低的能耗和碳排放实现了极具竞争力的覆盖率（例如，Few-shot 在 DeepSeek 和 Llama 模型上获得了最高的 SQScore）。
- Zero-shot 虽然执行时间短，但在某些模型上覆盖率略低，且 Token 生成效率不如 Few-shot。
模型无关性：
- 上述趋势在三个不同的 SLM 模型中高度一致。这表明提示策略的选择比模型架构本身更能决定可持续性结果。
综合得分 (SQScore) 排名：
- 在“平衡”和“生态优先”模式下，Few-shot 和 LtM 通常得分最高。
- SC_CoT 在所有模型和设置中均排名垫底，表明其高昂的环境成本无法被微小的质量提升所抵消。

5. 研究意义 (Significance)

提示工程即可持续性杠杆： 研究证明，通过优化提示策略（例如选择 Few-shot 而非 SC_CoT），可以在不牺牲测试质量的前提下，显著降低自动化测试的碳足迹和能源消耗。
重新定义测试评估标准： 呼吁在软件工程领域将“可持续性”作为与“测试覆盖率”同等重要的第一类评估维度。
指导实践决策： 为开发者和测试工程师提供了明确的指导：在资源受限或追求绿色计算的场景下，应避免盲目使用复杂的推理提示（如自一致性），转而采用结构化但轻量级的提示策略。
填补研究空白： 填补了 SLM 在软件测试领域可持续性评估的空白，为未来的绿色 AI 测试工具设计提供了基准和理论依据。

总结： 该论文通过严谨的实证研究指出，在基于 SLM 的自动化测试生成中，“简单的提示”往往比“复杂的推理”更具可持续性。选择适当的提示策略是实现高效、绿色软件测试的关键。