💻 computer science

BT-APE: A Computationally Light Backtracking Approach to Automatic Prompt Engineering for Requirements Classification

该论文提出了 BT-APE，一种基于回溯的计算高效型自动提示工程框架，该框架在需求分类方面实现了与最先进方法相当的准确度，同时显著降低了 Token 消耗和执行时间。

原作者： Mohammad Amin Zadenoori, Waad Alhoshan, Jacek Dąbrowski, Liping Zhao, Alessio Ferrari

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Mohammad Amin Zadenoori, Waad Alhoshan, Jacek Dąbrowski, Liping Zhao, Alessio Ferrari

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个非常聪明但有点固执的机器人如何对一堆乱七八糟的字母进行分类。其中一些字母是关于“系统应该做什么”的（功能性），一些是关于“它做得如何”的（质量），还有一些是关于“如何保持安全”的（安全性）。

在过去，人类必须编写指令（称为提示词）来教机器人，这需要不断地猜测和尝试。他们会说：“这是一封信，告诉我是哪一类，”如果机器人弄错了，人类就会稍微修改句子并再次尝试。这种方式缓慢、不稳定，且过度依赖人类的直觉。

这篇论文介绍了一种更轻量化的教学方法，叫做 BT-APE（回溯自动提示工程）。以下是它的工作原理，我将使用简单的类比来解释：

1. 问题所在：“猜与试”的陷阱

想象一下你在寻找完美的蛋糕食谱。你不是只烤一个，尝一下，然后调整糖量，而是在使用一个机器人烘焙师。

旧方法： 你写下一个食谱，机器人进行烘焙，你品尝，然后你手动重写食谱。你可能会陷入编写一个过长或过于复杂的食谱的困境，而且你并不知道失败的原因。
问题在于： 在软件需求（我们故事中的“字母”）的世界里，人类多年来一直在进行这种手动重写。这完全是碰运气。

2. 解决方案：BT-APE（“聪明的徒步者”）

作者创建了一个让机器人帮助编写自身指令的系统。但它并不仅仅是漫无目的地游荡，BT-APE 就像一个聪明的徒步者，正在寻找最高峰（最佳性能）。

以下是这位徒步者的策略：

地图（提示词）： 徒步者从一张基础地图（一个简单的指令）开始。
指南针（反馈）： 徒徒者在小规模的测试字母组上尝试这张地图。如果机器人弄错了，徒步者会准确记录下哪些字母错了。
“平衡”的视角： 至关重要的是，徒步者不仅看错误。他们看的是一个平衡的批次：一个机器人做对的字母，一个做错的字母，以及来自每个类别的字母。这确保了机器人看到了全貌，而不仅仅是失败。
“回溯”技巧： 这是本论文的秘密武器。想象徒步者正在爬一座山，但却一直滑向死胡同。
- 旧方法 可能会继续向前走，希望能撞大运，或者直接放弃。
- BT-APE 会说：“好吧，我已经尝试过这条路三次了，情况并没有好转。我要回溯到我找到的上一个好位置，并从那里尝试不同的方向。”
- 这防止了系统在糟糕的想法上浪费时间。

3. 竞赛：BT-APE 对阵重量级冠军

研究人员将他们的“聪明徒步者”（BT-APE）与另外两个竞争对手进行了比较：

人工撰写者： 人类编写指令（零样本、少样本、思维链）。
重量级冠军 (PE2)： 另一个自动系统，它非常强大但非常沉重。它背着一个巨大的背包，里面装着它曾经尝试过的每一条指令，以此来决定下一步。

结果：

准确度： 聪明徒步者 (BT-APE) 和重量级冠军 (PE2) 达到了完全相同的巅峰。它们分类字母的效果一样好。两者都碾压了人工撰写者。
重量差异： 这是巨大的胜利。重量级冠军背着一个沉重的背包，消耗大量的能量和时间。聪明徒步者 (BT-APE) 背着一个极轻便的小包。
- BT-APE 使用的“单词”（Token）比前者少了 72%，却得到了同样的结果。
- 它完成任务的速度快了 66%。
- 为什么这很重要： 因为它如此轻量，你可以把它运行在小型本地计算机（如笔记本电脑或小型服务器）上，而不需要庞大、昂贵的云端超级计算机。这对于那些需要保护数据隐私、无法将数据发送到云端的公司来说非常棒。

4. 什么是好的指令？

研究人员还观察了机器人创建的“食谱”，以看看是什么让它们奏效。他们发现最好的指令并不是冗长且华丽的。它们是：

短促有力： 像军事命令一样。
行动导向： 充满动词（例如，“识别”、“检查”、“分类”）。
清晰： 使用冒号和破折号等标点符号来组织思路。
简单： 避免复杂、令人困惑的句子结构。

5. 你需要专家才能开始吗？

团队测试了两种起点：

专家起点： 从一开始就给机器人提供高度详细、教科书般完美的类别定义。
初学者起点： 给机器人一个非常简单、模糊的定义（例如，“功能性是指系统所做的事情”）。

令人惊讶的结果： 这并不重要。即使你从“初学者”的模糊定义开始，机器人的迭代过程（徒步者攀爬和回溯的过程）足够聪明，能够自己摸索出完美的定义。最终结果与使用专家定义几乎没有区别。

总结

这篇论文表明，我们不需要成为提示词编写大师，也不需要使用庞大、昂贵的计算机，就能在 AI 领域获得出色的结果。通过使用一种轻量级的回溯方法，我们可以自动教 AI 进行软件需求分类，其效果能媲美最先进的方法，但成本和时间仅为后者的一小部分。这就像是用一辆灵活的电动踏板车替换了一辆笨重、耗油的卡车，而最终到达的目的地是一样的。

技术摘要：用于需求分类的 BT-APE

问题陈述

由于大语言模型（LLMs）能够遵循自然语言指令而无需进行特定任务的训练，它们越来越多地被应用于需求工程（RE）任务（如需求分类）。然而，这些模型的性能高度依赖于用于引导它们的提示词（prompt）质量。在需求工程领域，提示词设计仍是一个主要依赖于试错和从业者直觉的手动、即兴的过程。这种缺乏系统性优化的现状导致了结果的不一致性和次优性，并限制了可复现性。虽然自动提示词工程（APE）技术在通用自然语言处理（NLP）领域已经存在，但其在特定领域的需求工程任务中的适用性，以及与经典提示策略相比的有效性，仍有待探索。此外，现有的 APE 方法通常会产生高昂的计算成本，使其不适用于需求工程中常见的资源受限环境（在这些环境中，数据保密性通常要求在小型服务器上进行本地部署）。

方法论：BT-APE

作者提出了 BT-APE（回溯式 APE），这是一个将提示词设计建模为优化问题的轻量级计算框架。该方法通过 LLM 生成的候选提示词、回溯搜索策略和动态示例选择来迭代优化提示词。

核心工作流

该过程使用分为三个不相交池的数据集分为三个阶段：用于采样示例的池（ $D_{pool}$ ）、验证集（ $D_{val}$ ）和留出测试集（ $D_{test}$ ）。

初始化： 在验证集上对初始提示词进行评分，以建立基准。
迭代优化：
- 候选生成： LLM 根据当前提示词和一个平衡的动态示例批次提出新的候选提示词。该批次在每次迭代时都会刷新，包含一个正确分类的正例、一个正确分类的负例、一个误分类的正例和一个误分类的负例，均来自 $D_{pool}$ 。
- 评估： 候选提示词在 $D_{val}$ 上进行评分，采用 3 次运行多数投票法以减轻随机性的影响。
- 有界回溯： 与在单次失败后立即回退的方法不同，BT-APE 维护一个已评估候选提示词的排名列表。它沿着一条轨迹进行，直到达到可配置的耐心阈值（ $X=3$ ）即连续若干次迭代未见提升为止。只有在这种情况下，它才会回溯到历史记录中的下一个最佳提示词，从而防止搜索陷入无效率的区域。
留出评估： 在搜索过程中找到的最佳提示词将在留出测试集（ $D_{test}$ ）上仅进行一次评估，以提供最终且无偏的性能指标。

关键设计区别

BT-APE 与最先进的 APE 基准 PE2 进行了明确对比。虽然两者都是单轨迹、具备历史感知能力的算法，但 BT-APE 在以下三个方面有所不同，以降低计算足迹：

有界上下文： PE2 以前 $n$ 个提示词的完整历史为条件，导致输入上下文线性增长。BT-APE 仅以当前提示词和一个紧凑的平衡批次为条件，保持了上下文大小的有界性。
平衡示例选择： BT-APE 强制执行四元组（成功/失败 $\times$ 类别）的选择，而 PE2 使用不受约束的错误批次。
显式耐心机制： BT-APE 使用固定的耐心阈值进行回溯，而 PE2 对非改进情况的反应更为直接。

实验设计

本研究在以下维度对 BT-APE 进行了评估：

数据集： 三个基准需求工程数据集：PROMISE (NFR)、PROMISE-Refined 和 SecReq。
模型： 五个参数规模在 7–8B 范围内的指令微调 LLM（Qwen2, Falcon3, Granite-3.2, Ministral, LLaMA-3）。
基准方法： 四种经典提示策略（零样本、少样本、思维链、CoT+少样本）以及 PE2 APE 基准。
初始化变体： 测试了两种初始化策略：BT-APE-Uninformed（简单、直观的定义）和 BT-APE-Informed（从需求工程文献中整理的定义）。

关键结果

性能对比经典基准

在几乎所有的数据集和模型组合中，BT-APE 的表现都显著优于所有四种经典提示策略。

统计显著性： BT-APE 相对于经典基准在加权 F1 值（$wF1 $）上的平均提升范围为 +0.049 至 +0.143，具有较大的效应量（$ r \ge 0.50$）和统计显著性（经过 Holm-Bonferroni 校正后 $p < 0.05$ ）。
一致性： 在 15 种模型-数据集配置中，BT-APE 在 11 种配置下达到或超过了最佳经典基准的表现。

性能对比 PE2（APE 基准）

准确度： BT-APE 实现的性能与 PE2 在统计上无显著差异（平均差值 $\Delta = +0.001$ ，效应量微乎其微）。两种方法都收敛于相似的性能天花板。
效率： 在准确度相当的情况下，BT-APE 的效率显著更高。它消耗的累计输入 Token 数减少了约 72%，运行时间（wall-clock time）减少了约 66%。这使得 BT-APE 更适合部署在小型、资源受限或隔离环境的服务器上。

提示词特征分析 (RQ3)

通过线性混合效应模型分析提示词的演化，揭示了高性能提示词的特定相关特征：

正相关特征： 较高的动词数量（行动导向型语言）和较高的标点符号计数（结构清晰度）与更好的性能相关。
负相关特征： 较长的句子/单词计数、较高的词汇多样性以及更高的句法复杂度与较低的性能相关。
语义漂移： 涉及较大语义变化的迭代与性能提升相关，这表明实质性的修订比表面的改写更有效。

初始化影响 (RQ4)

知情 vs. 非知情： 提供领域相关的类别定义（BT-APE-Informed）并未在最终性能上比极简的非知情定义（BT-APE-Uninformed）带来统计学意义上的显著提升。
鲁棒性： 迭代优化过程具有足够的鲁棒性，可以补偿较弱的初始提示词，无论初始化策略如何，都能收敛到相当的最终性能。

重要性与贡献

本文声称了三大主要贡献：

一种轻量级的 APE 框架： BT-APE 提供了一种计算高效的现有 APE 方法替代方案，在显著降低资源消耗的同时达到了最先进的准确度。这使得在需要本地化、私密化部署的需求工程场景中应用自动化提示词工程成为可能。
系统的实证评估： 本研究首次针对需求分类任务，在多个数据集和 LLM 上对 APE 与经典提示技术进行了系统的比较。研究表明，APE 在需求工程任务中具有强大的迁移能力，并表现出巨大的效应量。
对提示词演化的洞察： 研究识别了有效提示词的具体结构和语义特征（简洁、行动导向、结构清晰），并证明了领域知情的初始化对于优化过程的成功并非严格必要。

作者将 BT-APE 定位为一种实用的解决方案，弥合了高性能自动化提示优化与现实世界需求工程环境中资源受限之间的鸿沟。他们发布了一个交互式工具和复现包，以促进该技术的采用和进一步研究。