LLM-Driven Cost-Effective Requirements Change Impact Analysis
该论文提出了 ProReFiCIA，一种由大语言模型驱动的方法，能够有效且高性价比地实现需求变更影响分析的自动化，在通过检索增强生成（RAG）引入领域知识进行增强后，仅需极少的工程师复核工作量即可实现高达 95.8% 的召回率。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是一位庞大且混乱的管弦乐团的指挥，每位乐手都在演奏不同的乐器，但他们都在阅读一份不断变化的单一乐谱。在软件的世界里，这份乐谱被称为“需求文档”。它列出了计算机程序必须执行的一切，从“按下按钮时播放声音”到“保护卫星免受太空辐射”。但棘手的部分在于：软件永远不会完工。客户会改变主意，技术在演进，新规则也会出现。当有人说，“嘿，让我们改一下这条规则”时，这就像是要求指挥家把小提琴换成鼓。问题在于？那一次更换可能会意外地破坏整个铜管乐部、打击乐部甚至合唱团的节奏，即使他们从未触碰过小提琴。
这就是“变更影响分析”（Change Impact Analysis）的噩梦。它是通过侦探式的工作，查明当一个微小的部分发生变化时，究竟哪些其他部分的软件会损坏或需要修复。传统上，人类必须手动进行这种侦探工作。他们阅读新的请求，扫描数百页旧规则，并试图猜测其中的联系。这很慢，很枯燥，而且很容易错过线索。如果你漏掉了一个联系，软件可能会在稍后崩溃，从而造成数百万美元的损失，甚至危及生命。最近，一种被称为“大语言模型”（LLM）的新型“超级大脑”进入了这一领域。把 LLM 想象成一个读过互联网上几乎所有书籍的机器人；它擅长理解语言并发现人类可能会错过的想法之间的隐藏联系。但是，这个机器人真的能比疲惫的人类做得更好吗？它会在海量文本面前感到困惑吗？
本论文介绍了一种名为 ProReFiCIA（代表用于变更影响分析的提示词优化与过滤，Prompt-Refinement-Filtering for Change Impact Analysis）的新方法来回答这个问题。来自加拿大、卢森堡、澳大利亚和爱尔兰大学的研究团队希望看看是否可以使用这些 AI 超级大脑来自动找出软件系统中发生变更时的“破碎多米诺骨牌”。他们不仅仅是让 AI 去猜测；他们构建了一个精巧的三步流程，以确保 AI 既彻底又谨慎。
首先，他们把 AI 当作正在参加考试的学生。他们尝试了 64 种不同的提问方式（称为“提示词”），以观察哪种指令风格最能帮助 AI 理解任务。他们在包含 GPT-4o 和 LLaMa 等重量级模型的五个不同 AI 模型上，利用来自一家卫星公司和一家移动应用服务公司的真实数据进行了测试。他们发现并非所有 AI 模型都是平起平坐的；有些表现稳定可靠，而有些则有些反复无常。他们发现，最好的结果来自于一个特定的组合：一个强大的 AI 模型（GPT-4o）加上一种非常具体的提问方式。
但 AI 在第一次尝试时并不完美。有时它会错过一些重要的联系，有时它又会过于兴奋，标记了一些实际上并未损坏的内容。为了解决这个问题，研究人员增加了两个“后处理”步骤，就像是为 AI 的工作提供第二双眼睛进行检查。
- 优化（Refinement）： 他们要求 AI 重新查看它第一次没有选中的需求，给它第二次机会去发现它可能错过的任何内容。这就像是告诉侦探：“你漏掉了窗户，再去检查一遍。”
- 过滤（Filtering）： 随后，他们使用一个智能排序系统，根据 AI 的置信度对建议进行排名。如果 AI 对某个联系只有 50% 的把握，他们就会使用特殊的逻辑检查器来判断其是否合理。如果逻辑不通，他们就会将其剔除。这一步对于保持“嫌疑名单”简短且易于管理至关重要。
结果令人印象深刻。当他们在一组全新的、未见过的卫星需求（一个非常复杂且真实的测试）上测试该系统时，该系统成功识别了 85.7% 的真正受影响的需求。更棒的是，它仅要求人类工程师审查总列表中的 3.0%。这意味着人类只需查看极小比例的工作，就能捕捉到几乎所有的问题。研究人员还尝试向 AI 输入一份领域知识的“小抄”（例如关于卫星的维基百科文章），以观察这是否会有所帮助。这使得成功率进一步提升至 95.8%，而人类审查的成本仅略微上升至 3.4%。
论文明确反对了“需要用海量特定数据来训练 AI 才能使其奏效”的观点。相反，他们展示了通过正确的“提示工程”（提出正确的问题）和一点聪明的过滤，预训练的 AI 就可以有效地完成这项工作，而无需巨额的训练预算。他们还发现，仅仅要求 AI 逐一检查需求（迭代式检查）是一个坏主意；这会产生太多的虚假警报。由于其庞大的记忆窗口，让 AI 一次性看到全局图景要好得多。
简而言之，论文表明我们不需要用机器人取代人类工程师。相反，我们可以将这些 AI 工具作为一种高效的“初步筛选”过滤器。AI 承担了扫描数千页文档以寻找潜在问题点的重体力活，而人类工程师只需复核一份经过精心挑选的、最可能出现问题的微小清单。这种方法节省了时间，降低了错过关键错误的风险，并保持了较低的软件维护成本，证明了只要策略得当，AI 可以成为维持我们复杂的数字世界平稳运行的高效合作伙伴。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。