💻 computer science

DeCEAT: Decoding Carbon Emissions for AI-driven Software Testing

本文提出了 DeCEAT 框架，通过结合 CodeCarbon 能耗监测与单元测试覆盖率评估，系统揭示了提示词设计与模型选择在 AI 驱动软件小模型测试生成中的能源消耗、碳排放及性能表现之间的多维权衡关系。

原作者： Pragati Kumari, Novarun Deb

发布于 2026-02-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Pragati Kumari, Novarun Deb

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 DeCEAT 的新框架，它的核心任务非常有趣：给那些用来写代码测试的“小人工智能”算一笔“环保账”。

想象一下，现在的软件开发就像是在盖大楼。以前，我们主要担心大楼盖得快不快、牢不牢；现在，大家发现盖楼的过程（比如使用巨大的起重机、消耗大量电力）会产生很多碳排放，于是开始关注“绿色建筑”。

这篇论文就是在这个背景下诞生的。

1. 背景：为什么我们要关心“小 AI"的碳排放？

目前，大家都盯着那些超级巨大的 AI 模型（比如 GPT-4 这种“巨无霸”），因为它们太耗电了。但是，在软件测试领域，其实更多时候用的是小型语言模型（SLMs）。

这就好比：

大模型是像重型挖掘机，干活猛，但耗油巨大，噪音也大。
小模型是像电动滑板车，轻便灵活，大家觉得它们应该很环保。

问题来了： 虽然大家觉得小模型环保，但没人真正仔细算过：在让它们自动生成“测试脚本”（也就是帮程序员检查代码有没有 bug 的自动化程序）时，它们到底省了多少电？排放了多少二氧化碳？不同的“小模型”之间，谁更“绿色”？

2. DeCEAT 框架：给 AI 测试做“体检”

为了解决这个问题，作者们设计了一套叫 DeCEAT 的“体检系统”。你可以把它想象成一个智能环保监测站。

这个监测站主要做了三件事：

第一步：准备考题（数据预处理）
他们拿了一套标准的编程考题（HumanEval 数据集），就像给 AI 准备了一套统一的“驾照考试”题目。
第二步：换个问法（提示词工程）
这是最有趣的部分。他们发现，怎么跟 AI“说话”（提示词 Prompt），会直接影响它干活的效果和能耗。
- 比喻： 就像你叫外卖。
  - APV0（极简版）： 只说“给我来份饭”。（AI 可能懵圈，乱做，浪费资源）
  - APV3（专家版）： 说“我是资深厨师，请按以下严格标准，做一份少油少盐、摆盘精美的特餐”。（AI 目标明确，一次做对，不浪费）
    作者们测试了从“随便说说”到“极度详细”的四种指令方式，看哪种最省能。
第三步：算账（核心指标）
他们给每个 AI 模型配了一个“碳足迹计数器”（CodeCarbon），记录它每生成一个测试脚本：
- 用了多少电（kWh）？
- 排放了多少二氧化碳（gCO2e）？
- 花了多少时间？
- 生成的测试脚本质量好不好（代码覆盖率）？

3. 他们发明了哪些“新尺子”？

为了更精准地评价，作者们发明了一套**“绿色 AI 评分卡”**，里面有很多有趣的指标：

SCI（软件碳强度）： 就像**“每公里油耗”**。生成一个测试脚本，排放多少碳？越低越好。
SEI（可持续效率指数）： 就像**“每升油能跑多远”**。排放 1 克碳，能产出多少有用的测试代码？越高越好。
GQI（绿色质量指数）： 这是一个**“平衡木”**。既要看它省不省电，又要看它干得好不好。不能为了省电而瞎编乱造。
SVI（可持续速度指数）： 这是一个**“全能冠军奖”**。结合了速度、稳定性、排放和质量。就像看一个运动员，不仅要看他跑得快，还要看他动作稳不稳、姿势优不优美。

4. 实验结果：谁才是真正的“绿色冠军”？

作者们测试了 5 种流行的“小模型”（如 Phi-3.5, Mistral-7B, Llama-3 等），结果发现没有绝对的冠军，就像选车一样，要看你更看重什么：

🏆 最省油（排放最低）： deepseek-coder-7b。它就像一辆混合动力小轿车，跑起来最安静，排放最少，非常高效。
🏆 最稳当（表现最稳定）： Qwen2.5-1.5B。它就像一辆老式丰田，不管路况（提示词怎么变）如何，它都能稳稳当当，不忽高忽低，让人放心。
🏆 最均衡（速度与质量兼顾）： Phi-3.5-mini。它就像一辆性能均衡的家用 SUV，既不快也不慢，但各方面都很协调，是“全能型选手”。
🏆 性价比最高（单位排放产出最高）： Mistral-7B。它就像一辆改装过的赛车，在消耗同样多的“燃料”（碳）时，它能跑出的里程（测试覆盖率）是最多的。

5. 核心启示：没有“完美”，只有“合适”

这篇论文最重要的结论是：“绿色”不是单一的。

以前大家可能觉得“模型越小越环保”，或者“提示词越简单越好”。但 DeCEAT 告诉我们：

有时候，多花一点心思写提示词（把指令写得更详细），反而能让 AI 少犯错、少重试，从而更省电。
不同的任务需要不同的模型。如果你在乎绝对的低排放，选 deepseek；如果你在乎结果稳定，选 Qwen；如果你想要综合平衡，选 Phi。

总结

这就好比你在装修房子：

以前大家只关心“谁干活快”。
现在 DeCEAT 框架告诉我们，还要关心“谁用的材料最环保”、“谁干活最稳”、“谁配合度最高”。

这篇论文就是给软件工程师们提供了一份**“绿色装修指南”，告诉大家在选择 AI 助手时，如何根据实际需求，在“省钱（省碳）”和“干活好（质量高）”**之间找到最佳平衡点，让软件开发变得更环保、更可持续。

这是一篇关于DeCEAT（Decoding Carbon Emissions for AI-driven Software Testing，解码 AI 驱动软件测试的碳排放）框架的论文详细技术总结。该研究旨在解决小型语言模型（SLMs）在自动化软件测试生成中的环境影响评估缺失问题。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

背景：生成式 AI（GenAI）已广泛应用于软件工程，特别是自动化测试脚本生成。然而，现有的可持续性研究主要集中在大型语言模型（LLMs），忽略了**小型语言模型（SLMs，参数量≤80 亿）**在测试生成过程中的能源和碳特征。
核心问题：缺乏针对 SLMs 在自动化单元测试生成场景下的系统性环境评估。现有的框架未能充分量化提示词设计（Prompt Design）和模型量化（Quantization）对碳排放、能耗及测试质量之间权衡关系的影响。
研究目标：开发一个评估框架，量化 SLMs 在生成单元测试时的碳足迹（gCO2e）、能耗（kWh）及执行时间，并分析其与测试覆盖率等性能指标之间的权衡。

2. 方法论：DeCEAT 框架 (Methodology)

DeCEAT 框架通过五个阶段系统评估 SLMs 的可持续性与性能权衡：

A. 数据预处理

数据集：使用 HumanEval 基准（164 个 Python 编程任务）。
处理：将任务提示（Prompt）与标准解决方案（Canonical Solution）合并，构建待测软件模块。模型在**零样本（Zero-shot）**模式下运行，不进行微调。

B. 提示词工程 (Prompt Engineering)

设计了四种渐进式约束的提示词变体（APV0-APV3），基于 Anthropic 模板：

APV0：最小化可运行模板（仅代码）。
APV1：增加“专家测试员”人设。
APV2：增加结构化规则（DOs/DON'Ts）及系统/用户角色分离。
APV3：最严格约束，包含测试方法要求、语气/格式限制及示例块。

C. 测试脚本生成

模型选择：选取 5 个主流 SLMs（Phi-3.5-mini, Qwen2.5-1.5B, deepseek-coder-7b, Mistral-7B, Llama-3-8B）。
量化策略：为降低计算开销，采用 4-bit 或 8-bit 量化技术。
环境：Google Colab (NVIDIA T4 GPU)，使用 CodeCarbon 插件实时监测能耗与碳排放。

D. 核心指标体系 (Metrics)

框架提出了一套多维度的可持续性指标：

基础指标：
- SCI (软件碳强度)：每次功能运行的碳排放量 (gCO2e/run)。
- SEI (可持续效率指数)：SCI 的倒数，衡量单位碳排放下的产出效率。
- CER (碳效率比)：单位碳排放所获得的代码覆盖率 (Coverage % / gCO2e)。
权衡与衍生指标：
- SI (稳定性指数)：衡量多次运行间性能的一致性。
- GQI (绿色质量指数)：结合质量与效率的调和平均数。
- SCV (可持续覆盖率速度)：单位时间和资源下的覆盖率生成速度。
- SVI (可持续速度指数)：综合覆盖、碳强度、时间和稳定性的归一化指标。
- GFβ (绿色 Fβ分数)：平衡生态效率与输出质量的综合评分（通过调节 $\beta$ 值侧重环保或质量）。

3. 实验设置 (Experimental Setup)

硬件：NVIDIA T4 GPU (16GB RAM)。
参数：温度 (Temperature) 0.2, 最大新 Token 1024, 批量大小 5。
流程：每个模型在 4 种提示词变体下运行，生成 20 组日志，计算平均覆盖率（使用 coverage.py）及各项可持续性指标。

4. 主要结果 (Key Results)

实验结果表明，不同 SLMs 在不同维度上表现出独特的可持续性优势，没有单一模型在所有指标上均占优：

能效与碳排放 (SCI/SEI)：
- deepseek-coder-7b 表现最佳，具有最低的 SCI (0.23 gCO2e/run) 和最高的 SEI，是最节能、碳排放最低的模型。
- 结构化提示词（APV3）普遍降低了所有模型的 SCI。
碳效率与覆盖率 (CER)：
- Mistral-7B 在 CER 上领先 (1.82)，意味着其单位碳排放产生的测试覆盖率最高。
- Llama-3-8B 在覆盖率与碳排放的平衡上表现优异。
稳定性 (SI)：
- Qwen2.5-1.5B 具有最高的稳定性指数 (0.915)，运行间波动最小，适合需要高可重复性的场景。
综合平衡 (SVI & GFβ)：
- Phi-3.5-mini 在综合可持续性指数 (SVI) 和绿色 Fβ分数 (GFβ) 上表现最佳，展现了时间、稳定性与碳效率的最佳平衡。
- Qwen2.5-1.5B 在质量与稳定性的对齐上表现最好。

提示词的影响：从 APV0 到 APV3 的提示词优化显著降低了冗余计算，提高了所有模型的碳效率（SCI 下降，CER 上升）。

5. 主要贡献 (Key Contributions)

DeCEAT 框架：首个专门针对量化 SLMs在自动化测试生成中的环境影响评估框架，具有完全的可复现性。
可持续性指导：为从业者提供了基于指标的指南，帮助根据实际场景（如侧重速度、稳定性还是最低排放）选择最优的“模型 - 提示词”配置。
新型权衡指标：提出了 SI, GQI, SCV, SVI, GFβ 等 5 个衍生指标，量化了测试质量与环境成本之间的复杂动态关系，填补了现有文献中针对 SLMs 的评估空白。

6. 意义与结论 (Significance & Conclusion)

多维可持续性：研究证明了 SLMs 驱动的测试生成具有多维度的可持续性特征。单纯追求低能耗可能牺牲稳定性或质量，反之亦然。
提示词即优化：提示词结构的设计（Prompt Engineering）不仅是提升质量的手段，也是降低碳足迹的关键杠杆。
实践指导：
- 若追求极致节能，首选 deepseek-coder-7b。
- 若追求高稳定性，首选 Qwen2.5-1.5B。
- 若追求综合平衡（速度、质量、排放），首选 Phi-3.5-mini。
未来方向：该框架可扩展至更多模型家族、非量化场景及不同硬件架构，推动绿色软件工程（Green SE）的发展。

总结：DeCEAT 框架揭示了在 AI 驱动的软件测试中，模型选择与提示词设计对环境影响的巨大潜力，为构建绿色、高效的自动化测试流程提供了科学依据和量化工具。