Search-Based Software Engineering and AI Foundation Models: Current Landscape and Future Roadmap

本文提出了一条面向基础模型时代的基于搜索的软件工程（SBSE）研究路线图，分析了其当前格局，识别了开放挑战，并概述了未来协同整合的方向，以增强 SBSE 和基础模型。

要点

想象一下，你正在尝试解决一个巨大而复杂的拼图。你有两个强大的工具来帮助你：一个超级聪明、富有创造力的助手（称为基础模型或人工智能），以及一个不知疲倦、条理分明的探索者（称为基于搜索的软件工程或 SBSE）。

这篇论文是由研究人员撰写的一份路线图，他们想要弄清楚如何让这两个工具以前所未有的方式更好地协同工作。他们在问：“我们如何将人工智能的创造力与搜索算法的精确性相结合，以构建更好的软件？”

以下是他们旅程的简单分解：

1. 我们故事中的两个角色

探索者（SBSE）：
将 SBSE 想象成一个非常勤奋、逻辑严密的机器人。它的工作是通过尝试数百万种不同的组合，直到找到最佳方案来解决问题。

• 工作原理： 这就像一名徒步者在雾蒙蒙的山脉中寻找最高峰。徒步者迈出一小步，检查自己是否更高，如果是，就继续前进；如果不是，就尝试不同的方向。
• 局限性： 为了做到这一点，徒步者需要一张清晰的地图和一种测量“高度”的方法。在软件中，这意味着问题必须易于衡量（例如“这段代码是否会崩溃？”）。如果问题很模糊（例如“这段代码是否易于阅读？”），机器人就会感到困惑，因为它难以衡量。此外，如果山脉太大，机器人可能会很慢。

创意助手（基础模型/人工智能）：
将这种模型想象成一位超级聪明的图书管理员，几乎读过所有写过的东西。它可以写故事、画画，并理解复杂的指令。

• 工作原理： 它利用其庞大的知识瞬间猜测出最佳答案。
• 局限性： 有时它会自信但错误（称为“幻觉”）。它也可能不可预测（今天给出一个很好的答案，明天却给出一个愚蠢的答案）。此外，它需要大量的电力和强大的计算机才能运行。

2. 它们合作的三种方式

这篇论文提出了这两个角色可以互相帮助的三种主要方式：

A. 助手帮助探索者（AI 用于 SBSE）

• 理念： 创意助手可以帮助探索者设置拼图。
• 类比： 想象探索者试图找到最佳路线，但不知道如何阅读地图。助手阅读地图，画出路径，甚至为探索者编写说明。
• 论文所述： 人工智能可以帮助设计搜索的“规则”，编写机器人运行所需的代码，甚至用通俗易懂的英语解释机器人的发现，以便人类能够理解。

B. 探索者帮助助手（SBSE 用于 AI）

• 理念： 探索者可以帮助纠正创意助手的错误。
• 类比： 助手写了一个故事，但其中有一些情节漏洞。探索者充当严格的编辑，测试成千上万种故事变体，以找到错误最少、流程最好的版本。
• 论文所述： 探索者可以帮助调整人工智能，使其更可靠，找到给予人工智能的最佳“提示”（指令），并测试人工智能编写的代码，以确保其实际有效。

C. 完美的共舞（集成）

• 理念： 它们实时协同工作。
• 类比： 助手提出一个富有创意的想法，探索者立即对其进行测试。如果探索者说“那行不通”，助手会立即尝试一个新的想法。它们来回碰撞想法，直到找到完美的解决方案。
• 论文所述： 这是未来。它们已经开始将这些技术结合起来用于测试自动驾驶汽车和修复错误，但要使这种共舞顺畅，仍有大量工作要做。

3. 道路上的障碍

研究人员指出了地图上的一些棘手之处：

• “公平竞赛”问题： 你如何比较一个在笔记本电脑上免费运行的机器人与一个在巨大、昂贵的超级计算机上运行的人工智能？这就像比较自行车和喷气式飞机。论文指出，我们需要新规则来确保公平比较（例如，计算它们消耗了多少能量）。
• “复制 - 粘贴”问题： 如果你使用商业人工智能（如付费聊天机器人），公司明天可能会更改它。如果你今天运行一个实验，下个月可能无法重复，因为人工智能已经改变。这使得科学研究变得困难。
• “黑盒”问题： 有时人工智能给出了答案，但我们不知道为什么。探索者需要理解“为什么”才能信任该答案。

4. 未来（展望 2030 年）

这篇论文使用了一个特殊的框架（麦克卢汉的四元组）来推测未来的样子：

• 它增强了什么： 它将使软件工程变得更快、更容易。甚至非专家也可能通过与人工智能对话来构建复杂的软件。
• 它找回了什么： 它找回了“人情味”。人类不再需要编写复杂的代码，只需用通俗语言描述他们想要什么。
• 它使什么过时： 一些旧的、手动设计软件测试或修复错误的方法可能会消失，因为人工智能可以自动完成这些任务。
• 它逆转了什么： 如果我们过度依赖人工智能，我们可能会忘记如何自己解决问题。我们可能会变得依赖工具而失去自己的技能。

5. 接下来的发展方向

这篇论文强调了一些令人兴奋的新前沿，这种合作可以在这些领域发生：

• 自动驾驶汽车： 利用人工智能理解复杂的交通场景，并利用探索者测试数百万种“如果……会怎样”的情景，以确保汽车安全。
• 机器人： 帮助机器人理解人类手势，并确保它们在尝试新任务时不会弄坏东西。
• 物联网（智能家居）： 测试成千上万种不同的智能设备如何相互通信而不崩溃。
• 量子计算： 利用这些技术帮助构建未来超快计算机的软件。

核心结论

论文总结道，虽然人工智能（基础模型）目前是舞台上的“明星”，而基于搜索的工程是“无名英雄”，但真正的魔力发生在它们协同工作之时。研究人员绘制了未来几年的地图，向我们展示了在哪里寻找问题，以及如何结合这两种强大的工具来构建更好、更安全、更智能的软件。

技术摘要

技术摘要：基于搜索的软件工程与人工智能基础模型

问题陈述

基于搜索的软件工程（SBSE）作为一个研究领域已存在约 25 年，成功地将元启发式搜索技术应用于解决软件生命周期中的各类软件工程（SE）问题。然而，基础模型（FMs）——特别是大语言模型（LLMs）、视觉 - 语言模型（VLMs）和多模态模型（MMs）——的迅速涌现，使得 SBSE 的演进前景变得模糊不清。尽管基础模型在处理多模态数据和推理方面展现出变革性能力，但它们与 SBSE 的整合仍处于探索不足的状态。本文解决的核心问题在于：缺乏一个结构化的路线图来定义 SBSE 与基础模型如何协同工作、两者整合中的具体挑战（如实证评估的公平性与可复现性），以及基础模型颠覆传统 SBSE 实践的潜力。

方法论

本文并未提出新的经验算法或具体的实验研究，而是采用系统性文献综述与概念分析来构建研究路线图。方法论包括：

1. 现状分析：回顾当前最先进的相关研究，识别基础模型目前在 SBSE 中的应用方式，反之亦然。
2. 协同效应分类：将 SBSE 与基础模型的交互结构化为三个核心维度：
   • 利用基础模型增强 SBSE。
   • 利用 SBSE 推动基础模型的发展。
   • 整合 SBSE 与基础模型以实现双向互动。
3. 框架应用：运用麦克卢汉的四元组（增强、获取、淘汰、逆转）来分析基础模型对 SBSE 未来的颠覆性影响。
4. 批判性评估：识别实证评估实践中的差距，特别是在将 SBSE 技术与商业基础模型进行比较时，关于资源公平性和可复现性的问题。

主要贡献

1. 三位一体的研究路线图

本文围绕三个协同方面阐述了一个全面的研究路线图：

A. 面向 SBSE 的基础模型（增强 SBSE）

• 设计自动化：基础模型可以自动化定义适应度函数、解编码和搜索空间定义，减少对人工领域专业知识的依赖。
• 工件生成：基础模型可以根据基于搜索的测试数据生成可执行的测试脚本，并解释编码后的 SBSE 解（例如，将二进制编码转换为文本需求或图形模型）。
• 实现与调试：基础模型可以协助生成部分或完整的 SBSE 实现，并自动化这些实现的调试与修复。

B. 面向基础模型的 SBSE（推动基础模型发展）

• 解决局限性：SBSE 技术（如进化算法）可应用于管理基础模型的局限性，如非确定性、幻觉和不确定性。例如，搜索算法可以系统地探索提示空间以检测幻觉，或优化微调的超参数。
• 工件精炼：SBSE 可以改进由基础模型生成的工件，例如修复大语言模型生成代码中的编译器错误，优化大语言模型生成的测试用例以提高覆盖率和多样性，以及验证基础模型生成的模型。

C. SBSE 与基础模型的整合（双向协同）

• 新型搜索算子：基础模型可以作为搜索算子（如交叉和变异）或适应度函数嵌入 SBSE 循环中。
• 新兴领域：本文强调了在自动驾驶系统（ADS）、机器人、人工智能赋能系统、物联网和量子计算等复杂多模态领域中整合 SBSE 与基础模型的潜力。

2. 实证评估挑战

本文指出了混合 SBSE-基础模型技术评估中存在的关键差距。它认为，公平的比较之所以困难，是因为：

• 资源差异：商业基础模型运行在远程的高端 GPU 上，而 SBSE 通常运行在本地 CPU 上。如果不考虑能耗和硬件成本就进行比较，是不公平的。
• 可复现性：远程商业基础模型会随时间变化（FM-W4），使得研究复现成为不可能。作者主张使用本地开源基础模型进行可复现的研究，即使商业模型能带来更好的即时结果。
• 需要指南：社区缺乏针对混合技术进行公平、资源感知比较的标准化指南。

3. 通过麦克卢汉四元组展望 2030 年未来

作者运用麦克卢汉的四元组来预测基础模型对 SBSE 的影响：

• 增强：基础模型增强了 SBSE 设计中的自动化（编码、适应度函数），并实现了多模态问题解决（如自动驾驶、机器人）。
• 获取：基础模型获取了以人为中心的交互（自然语言接口）以及问题解决中的创造性/探索性特质，使 SBSE 对非专家更具可及性。
• 淘汰：手动设计实践（如手工编写适应度函数）和简单的搜索算法（如交替变量法）可能会被淘汰，因为基础模型可以直接处理这些任务。
• 逆转：过度依赖基础模型可能会将重心从系统化的解设计逆转回提示工程，从而可能抑制新型 SBSE 算法的发展，并导致 SBSE 专业知识的流失。

结果与主张

本文并未报告实验结果（例如“算法 X 将覆盖率提高了 15%"）。相反，其“结果”是识别研究机会与开放挑战：

• 现状：目前的研究主要由大语言模型主导；视觉 - 语言模型和多模态模型在 SBSE 中的潜力 largely 未被探索。
• 差距识别：虽然 SBSE 几十年来成功解决了软件工程问题，但其在工业界的实际采用率与基础模型的广泛采用相比仍然有限。本文主张，通过将 SBSE 与基础模型整合，可以使 SBSE 在处理需求分析等抽象问题时更具可用性和有效性，从而弥合这一差距。
• 意义：本文声称是首个前瞻性路线图，专门针对 SBSE 与更广泛的基础模型类别（而不仅是大语言模型）之间的协同效应。与以往的综述不同，它侧重于双向关系以及在此新背景下实证评估的具体挑战。

意义与基调

作者保持了既具激励性又谨慎的基调。他们承认，尽管基础模型具有颠覆性，但它们并非万能药。本文强调：

• SBSE 提供了严谨的、基于优化的方法，可以减轻基础模型的随机性和易产生幻觉的特性。
• 基础模型提供了传统 SBSE 所缺乏的上下文理解能力和多模态能力。
• 该领域的未来在于协同，而非替代。
• 随着领域的发展，需要开展大量工作以建立公平的实证评估标准，以确保科学严谨性。

本文最后呼吁研究社区超越孤立的实验，开发集成框架，利用 SBSE 和基础模型两者的优势，以解决新兴领域中复杂的现实世界软件工程挑战。