💻 computer science

CASPER-Change-Aware Slice Prioritization for Efficient Regression Testing of LLM-based systems

本文提出了 CASPER，这是一个感知变化的切片优先级排序框架，通过识别语义一致的测试切片并基于来自执行日志的行为信息对其进行优先级排序，从而提高了基于大语言模型（LLM）系统回归测试的效率。

原作者： Biruk Asmare Muse, Lionel Briand, Yiwei Lu, Keheliya Gallaba

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Biruk Asmare Muse, Lionel Briand, Yiwei Lu, Keheliya Gallaba

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是某艘庞大、高科技飞船的船长，船上配备了一位超级聪明但又有点难以捉摸的 AI 领航员。这位 AI 非常出色，能够解决各种问题，比如修复损坏的引擎或规划新的航线，但它并不完美。有时它会犯个小错，有时又表现得极其精准。现在，想象一下你想升级这个 AI 的大脑，或者修改你给它的指令。在发射飞船之前，你需要确保新版本不会破坏它原本能做好的事情。这被称为“回归测试”（regression testing）。

在软件开发的旧时代，测试就像检查电灯开关：如果灯没亮，那就是坏了。但对于 AI 来说，这更像是检查天气预报。如果 AI 对某个城市预测有雨但预测错了，这是否意味着整个系统都坏了？或者这只是个偶然？如果你去检查地球上的每一个城市，那将耗费无穷的时间。但如果你只检查大城市，你可能会错过小镇上的风暴。问题的关键在于找到那个完美的平衡点：将相似的城市归为一组，这样你就可以通过检查几个具有代表性的城市，来了解整个群体的状况。这篇论文探讨的正是一个关于 AI 系统的此类难题。

问题所在：AI 错误中的“大海捞针”

当开发者调整 AI 系统时——也许是更换了模型的“大脑”、更新了指令（提示词），或者是更换了工具——都可能导致“回归”。这些回归是指 AI 开始在某些任务上的表现比以前变差了。棘手之处在于 AI 是概率性的；它可能 90% 的时间都能完成任务，但那 10% 的失败率可能会让人非常困扰。

如果每次变更后都要测试所有可能的场景，速度太慢且成本太高。如果仅仅观察“平均”得分，你可能会忽略这样一个事实：即使 AI 在其他方面表现出色，它现在可能在某一特定类型的任务上变得非常糟糕。作者意识到，解决方案在于切片（slicing）。想象一下把一个巨大的披萨（你的测试集）切成片。每一片都应该包含非常相似的披萨块（比如全是意大利腊肠片）。如果升级烤箱后，腊肠片的味道变差了，你就知道问题出在腊肠上，而不是奶酪上。

解决方案：CASPER，聪明的披萨切割器

这篇论文介绍了一个名为 CASPER（变化感知型切片优先级排序，Change-Aware Slice Prioritization）的新框架。把 CASPER 想象成一个超级聪明的机器人厨师，它主要做两件事：

完美地切割披萨（切片识别）：
CASPER 不仅仅是靠猜测来对任务进行分组，它使用了一种巧妙的进化搜索（类似于数字版的自然选择）来寻找最佳分组。它通过观察 AI 在其“思考过程”（对话日志）中的行为，来观察哪些任务是相似的。它将具有相同行为模式的任务进行分组，并且至关重要的一点是，它将 AI 表现出一致成功或一致失败的任务进行分组。这确保了如果一个组内的某个任务失败了，该组内的其他任务也极有可能失败。
挑选最重要的切片先进行品尝（切片优先级排序）：
一旦披萨被切好了，CASPER 不会随机挑选顺序进行品尝。它使用了一个基于 AI 过去行为训练而成的“失败预测模型”。当发生变更时，CASPER 会观察每个切片中的一些代表性任务，并询问：“根据 AI 之前的思考方式，这次新的变化看起来是否会导致这个特定的切片出现故障？”然后它会对切片进行排名，将最可能出现问题的切片放在列表的最顶端。

如何测试它：软件修复挑战赛

为了验证 CASPER 是否真的有效，研究人员在**软件问题解决（software issue resolution）**领域对其进行了测试。想象一下有一个 AI，它被给予一个 Bug 报告和一堆代码，它的任务是编写一个修复程序（“补丁”）。他们使用了一个著名的数据集 SWE-bench Verified，其中包含了 500 个真实的编程问题。

他们模拟了不同类型的变更：

模型变更（Model Changes）： 将 AI 的大脑更换为更新的版本（例如，从一个 Claude 模型换到另一个 Claude 模型，或者从“Devstral”模型换到“Kimi”模型）。
提示词变更（Prompt Changes）： 修改给 AI 的指令（例如，告诉它要更细心，或者使用不同的工具）。

他们将 CASPER 与另外两种方法进行了对比：

随机排序（Random Ranking）： 只是以随机顺序挑选切片进行测试（就像闭着眼睛选披萨片一样）。
聚类基准（Clustering Baselines）： 使用标准的数学工具（GMM 和 HDBSCAN）来进行分组，这些是常用的方法，但并非专门为这种 AI 回归问题设计的。

测试结果：更快地找到坏掉的切片

结果非常明确。在切割披萨（识别切片）方面，CASPER 比标准聚类方法做得好得多。

一致性（Consistency）： CASPER 创建的切片具有 97% 到 98% 的输出一致性。这意味着在同一个切片内，AI 要么几乎完成了所有任务，要么几乎全部失败。而标准方法只能达到约 74% 到 84% 的一致性。
连贯性（Coherence）： CASPER 还保持了切片的“连贯性”，这意味着切片内部的任务在 AI 处理方式上确实是相似的。

在挑选切片进行测试（优先级排序）方面，CASPER 改变了游戏规则。

在开发者只能测试一小部分切片（预算有限）的情况下，CASPER 比随机猜测能更快地发现损坏的切片。
对于某些提示词变更，与随机排序相比，CASPER 提高近 50% 的发现回归的能力。
即使对于差异更微妙的模型变更，CASPER 仍然明显优于随机基准（提升高达 46%）。

这意味着什么

论文指出，通过观察 AI 如何思考（其行为信号），而不是仅仅观察它输出什么，我们可以将 AI 的任务划分为有意义的类别。这使得开发者可以更高效地测试 AI 系统。他们不需要运行数千个测试，而是可以通过运行少量经过智能选择的测试，并确信自己已经抓住了问题。

作者指出，虽然 CASPER 在这个特定领域（修复软件 Bug）表现出色，但该方法具有灵活性。它不依赖于特定类型的数据或预设的描述，这意味着它潜力巨大，可以被适配到其他 AI 任务中，如生成摘要或回答问题。然而，他们也指出，该方法在 AI 发生的变更足够显著、足以引起行为明显变化时效果最好；如果变更非常微小，则很难区分其影响。

简而言之，CASPER 是一个工具，它帮助开发者不再盲目猜测 AI 系统在更新后哪些部分可能会出错，从而节省时间并确保 AI 在不断演进的过程中保持可靠。

技术摘要：CASPER —— 用于高效回归测试 LLM 系统且具备变更感知能力的切片优先级排序

1. 问题定义

与传统软件相比，基于大语言模型（LLM）系统的回归测试面临着独特的挑战。在传统系统中，单个测试用例的失败能够可靠地指示一个故障。然而，由于 LLM 的概率性质，单次实例的失败并不一定意味着有意义的系统级回归，也无法提供足够的诊断信息。相反，仅在聚合测试套件层面评估性能又过于粗粒度，无法识别哪些特定行为受到了变更的影响。

核心问题在于如何识别“回归切片”（regression slices）——即具有语义相关性的回归实例子集，在这些子集中，系统表现出一致的性能（无论是普遍成功还是普遍失败）——并根据这些切片受系统变更（如模型更新、提示词修改或超参数微调）影响的可能性对它们进行优先级排序。这种优先级排序对于成本效益高的回归测试至关重要，特别是在测试预算有限的 CI/CD 流水线中。

现有的切片识别技术（例如基于决策树、聚类或嵌入驱动的方法）主要针对预测模型、特定模态（图像、时间序列）或分类任务而设计。它们通常依赖于外部的切片描述语料库或特定领域的架构，这使得它们不适用于生成式、基于文本的 LLM 系统。

2. 方法论：CASPER 框架

作者提出了 CASPER（用于高效回归测试 LLM 系统的变更感知切片优先级排序），这是一个旨在识别有意义的回归切片并在系统变更后对其进行优先级排序的两阶段框架。

第一阶段：切片识别 (CASPER-SI)

第一阶段将回归测试数据集划分为满足两个竞争目标的切片：输出一致性（切片内的实例共享相似的成功/失败结果）和行为相干性（实例共享相似的行为特征）。

行为信号提取： CASPER 从智能体对话日志（推理步骤、工具调用、执行反馈）中提取定量特征。对于软件问题解决领域，这些信号包括：
- 文件级召回率 (File-level recall)： 生成的补丁与金标准补丁之间的对齐程度。
- 平均绝对状态移动 (MASM)： 状态转换的稳定性。
- 轨迹熵偏差 (TED)： 状态转移熵相对于成功基准的偏差。
- 测试投入、测试失败率、主导文件比例、跨状态文件重叠以及计划合规性指标 (PPC, POC, PPF)。
多目标搜索： 切片识别被形式化为一个多目标优化问题。CASPER 采用 NSNSGA-II（一种非支配排序遗传算法）来演化候选切片种群。该优化过程最小化以下指标：
1. 输出不一致性 (OI)： 切片中偏离主导成功/失败结果的实例比例。
2. 切片内距离： 切片内行为信号向量之间的平均成对欧几里得距离（最大化相干性）。
3. 切片间距离： 切片质心之间的距离（最大化分离度）。
选择： 该算法使用帕累托前沿（Pareto front）上的膝点分析（knee-point analysis）来选择最优权衡解，确保切片既不会过于细粒度，也不会过于粗粒度。

第二阶段：回归切片排序

第二阶段根据变更（从版本 $V_0$ 到 $V_1$ ）后发生回归的可能性对切片进行优先级排序。

失败预测模型： 在 $V_0$ 数据上训练一个模型（逻辑回归或 SVM），将行为信号映射到失败影响得分（成功概率或距离决策边界的距离）。
代表性采样： 对于每个识别出的切片，使用 最近距离采样 (CDS) 或 最远点采样 (FPS) 在变更后的系统（ $V_1$ ）上选择一小部分代表性实例进行执行。
影响分类： 系统计算失败率的变化 ( $\Delta FR$ ) 和采样比例。两个独立的二分类器（随机森林）预测切片是回归 (R)、改进 (I) 还是未改变 (NC)。
排序： 系统首先按影响类别（R > I > NC）对切片进行排序，然后根据其类别内聚合的失败影响得分变化进行排序。这确保了开发人员首先看到最有可能发生回归的切片。

3. 核心贡献

CASPER 框架： 一个端到端的框架，通过识别有意义的切片并根据变更影响对其进行优先级排序，实现了 LLM 系统的高效回归测试。
进化切片识别 (CASPER-SI)： 一种模型无关的方法，它利用 NSGA-II 将切片识别表述为一个多目标优化问题。它不需要外部描述语料库或特定领域的模型架构，使其适用于生成式任务。
基于行为信号的排序： 一种新颖的方法，通过从智能体执行日志中学习失败预测模型，并利用预测的失败影响变化来对切片进行排序，而不是仅仅依赖于聚合性能指标。
实证验证： 在软件问题解决领域（使用 SWE-bench Verified）进行了全面的评估，证明了其相对于聚类基准和随机排序的显著改进。

4. 评估与结果

作者在 SWE-bench Verified 数据集上使用 Mini-swe-agent 系统对 CASPER 进行了评估。他们测试了四种场景：模型变更（不同系列）、同系列模型变更，以及两种不同的提示词变更。

切片识别质量 (RQ1)：
- CASPER-SI 在输出一致性 (OC) 方面显著优于聚类基准（GMM 和 HDBSCAN），实现的平均 OC > 97%，而基准约为 ~74–84%。这表明 CASPER 生成的切片中，LLM 的性能高度统一。
- 在切片相干性指标 (SCM) 方面，CASPER-SI 在大多数数据集中取得了与基准相当或更好的结果，尽管在同系列模型变更场景下，GMM 由于分布对齐的原因表现略好。
- 卡斯克-华利斯 (Kruskal-Wallis) 和邓恩 (Dunn) 检验确认，CASPER-SI 在输出一致性方面的改进具有统计学显著性。
切片排序有效性 (RQ2 & RQ3)：
- 在所有数据集和测试预算下，CASPER 始终优于随机排序基准。
- Recall@K 和 AUC： CASPER 实现了更高的 Recall@K 值，特别是在测试预算有限（例如仅检查前 20-40% 的切片）的情况下。
- 相对增益： 改进在提示词变更（AUC 相对增益高达 ~49%）和模型变更（高达 ~46%）时最为明显，而同系列模型变更的增益较为温和，反映了更细微的行为偏移。
- 该方法对失败预测模型和采样策略的变化具有鲁棒性，尽管在处理同系列变更时，SVM 结合最近距离采样 (CDS) 的表现通常最好。

5. 意义与主张

论文声称 CASPER 通过超越单个实例的二元“通过/失败”以及过于泛化的“套件级”指标，解决了 LLM 系统回归测试中的关键空白。

实用价值： 通过识别语义相干的切片并优先处理最可能发生回归的切片，CASPER 使开发人员能够将有限的调试资源集中在最相关的变更上，从而显著降低 CI/CD 流水线中的回归测试成本。
泛化性： 虽然是在软件问题解决领域进行的评估，但作者声称该框架是模型无关的，可以通过定制行为信号和性能指标来适配其他 LLM 领域。
局限性说明： 作者承认行为信号是工程化的代理指标，可能无法捕捉智能体行为的所有方面。他们还指出，性能表现取决于变更引起的行为偏移幅度（例如，同系列模型更新比跨系列模型更新更难区分）。

总之，CASPER 提供了一种结构化、自动化的方法，用于组织和优先排序 LLM 系统的回归测试，为现代 AI 驱动软件开发中非确定性和粗粒度评估带来的挑战提供了切实可行的解决方案。