🤖 AI

Effectiveness of LLM-based Software Diversity for Reliability Improvement -- an Empirical Study

这项实证研究表明，大语言模型可以作为一种可扩展、低成本的软件多样性来源，其中结合由大语言模型生成的程序——特别是通过在不同模型、设置和语言之间进行异构配置——能通过减少共模故障来有效提高系统的可靠性。

原作者： Gabriel Almeida, Ilir Gashi, Vladimir Stankovic, João R. Campos

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Gabriel Almeida, Ilir Gashi, Vladimir Stankovic, João R. Campos

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在建造一座至关重要的桥梁。为了确保它不会坍塌，你不仅仅建造一个版本，而是使用不同的蓝图、不同的材料和不同的工程团队来建造三个或四个不同的版本。如果其中一个团队犯了一个导致裂缝的错误，其他的版本可能会因为构建方式不同而发现它。这就是**软件多样性（Software Diversity）**的核心理念：拥有多个不同的软件版本，这样如果其中一个失效，其他的仍能继续工作。

几十年来，这极其昂贵且缓慢。你需要雇佣不同的团队，付钱让他们从零开始编写代码，然后测试所有这些代码。这就像雇佣三位不同的厨师来做完全相同的汤，希望如果其中一位烧焦了，另外两位能做得正确。

“神奇复印机”的到来 (LLMs)
最近，大语言模型（LLMs）出现了。把它们想象成超快速、神奇的复印机，它们可以瞬间编写代码。你可以要求一台机器在几秒钟内写出 100 个程序，它会给你 100 个略有不同的版本。作者提出的核心问题是：“如果我们使用这个神奇的机器来创建我们的‘备份’桥梁，它们是否真的足够不同，能在出问题时拯救我们？”

以下是他们的研究发现，通过简单的分类进行了拆解：

1. “同样的错误”问题

研究人员使用三个不同的编程谜题（类似于数学题）测试了两组对象：

A 组： 多年前由真实人类编写的代码（在 AI 普及之前）。
B 组： 由各种 AI 模型生成的代码。

他们发现，AI 模型确实会犯错，但它们经常犯下相同的错误。 如果你要求两个不同的 AI 模型解决同一个谜题，它们可能会在同一个棘手的步骤上同时出错。这就像让两名学习了同一本教科书的学生参加考试；如果他们都答错了，很可能是因为教科书里的解释很令人困惑，而不是因为他们的思考方式不同。

2. “切换语言”的小技巧

然而，研究人员发现了一个聪明的办法，可以让 AI 生成的版本彼此之间更加不同。他们强制要求 AI 使用不同的编程语言来编写代码（例如，一个用 C++，一个用 Java，一个用 Python）。

类比： 想象要求同一位厨师做汤，但首先是在法式厨房里做，然后在日式厨房里做，最后在意式厨房里做。即使他们在做同样的汤，他们使用的工具、食材和技巧也会如此不同，以至于不太可能犯下完全相同的错误。
结果： 当 AI 用不同的语言编写代码时，这些“备份”版本变得更加可靠。它们不太可能同时失效。事实上，混合使用不同的 AI 语言的效果甚至比混合使用不同的语言（指人类语言）在某些情况下效果更好。

3. “人类 + AI”超级团队

最令人兴奋的发现是，当他们将人类编写的程序与AI 编写的程序配对时发生了什么。

类比： 把人类想象成一名依靠直觉和经验的老练侦探，而把 AI 想象成一个依靠模式和数据进行工作的超快速机器人。
结果： 这两者的思维方式如此不同，以至于它们很少犯同样的错误。如果人类忽略了一个微妙的线索，AI 可能会捕捉到它。如果 AI 被一个奇怪的格式规则搞糊涂了，人类可能会解决它。
结论： 将人类与 AI 配对，创造了一个“超可靠”的系统，其鲁棒性通常远高于单独使用两个人类或两个 AI。在某些情况下，它们的差异性如此之大，以至于能够完美地弥补彼此的弱点，成为一个比部分之和更强大的安全网。

4. “温度”调节旋钮

研究人员还尝试调高了 AI 的“创造力”旋钮（称为“温度”/ Temperature）。

类比： 想象要求一位作家写故事。如果你告诉他要非常严谨（低温度），他每次都会写出同样的故事。如果你告诉他要狂野且富有创意（高温度），他会写出截然不同的故事。
结果： 提高 AI 的创造力确实创造了更多的代码多样性，但也让代码更容易彻底崩溃（就像一个逻辑不通的故事）。虽然这起到了一点作用，但更换编程语言是确保备份版本既不同又可靠的更有效的方法。

核心结论

论文总结道，AI 是创建一个软件多样性的绝佳工具，但你必须聪明地使用它。

不要只是要求 AI 用同一种语言写 10 次同样的东西。 它们很可能会以同样的方式失败。
要要求 AI 用不同的语言编写同样的东西。 这会创造一个真正的“安全网”。
要将人类与 AI 结合。 人类与机器思考方式之间的差异使它们成为实现可靠性的完美搭档。

简而言之，AI 可以帮助我们构建更安全的软件，不是通过取代人类，而是通过提供大量、廉价且“不同”的版本，让我们能够通过组合搭配，捕捉到单一版本可能会错过的错误。

标题： 基于大语言模型（LLM）的软件多样性在提升可靠性方面的有效性——一项实证研究

问题陈述
软件多样性是减少容错系统中共模故障的一种成熟策略，尤其是在 N-版本编程（NVP）中得到了广泛应用。然而，传统的多样化方法成本高昂，需要多份独立的专家人工实现、验证和维护。虽然大语言模型（LLM）提供了一种可扩展、低成本的机制来生成多样化的代码实现，但目前尚不清楚 LLM 生成的程序是否具备提升系统可靠性所需的失败多样性。具体而言，尚不清楚 LLM 是否会引入与人类开发者类似的关联失效，或者它们是否能提供可以被利用于实现可靠性增益的互补型失效特征。

研究方法
作者通过对三项规范（3n+1、因子与阶乘 以及 Factovisors）下的历史人类编写程序与大规模 LLM 生成代码池进行对比，开展了一项实证研究。

数据集：
- 人类基准： 程序源自 UVa Online Judge 题库，其开发时间处于 LLM 普及之前，以确保基准数据的无污染性。
- LLM 生成： 使用 14 种现代 LLM（包括 5 种商业 API 和 9 种本地开源模型）在四种编程语言（C、C++、Java、Pascal）和五种温度设置（0.5 至 1.5）下生成的大规模代码池。
评估框架：
- 程序在沙盒环境中编译并针对详尽的测试集进行执行。
- 过滤： 剔除了无法编译、崩溃或未能通过所有测试用例（PFD=1）的程序。仅保留有效的程序（完美或部分通过）。
- 指标： 可靠性增益通过可靠性提升比率（ $R$ ）进行衡量，定义为单个程序的平均需求失效概率（PFD）除以 1-out-of-2 对组合的平均 PFD。
- 配置： 研究分析了以下三种情况：
  1. 同质对（Homogeneous pairs）： 取自同一群体（例如，人类-人类或 LLM-LLM）。
  2. 异质对（Heterogeneous pairs）： 取自不同群体（例如，不同的编程语言，或人类-LLM）。
  3. 跨源对（Cross-source）： 特指将人类编写的程序与 LLM 生成的程序进行配对。

核心贡献

首次将经典框架应用于 LLM 代码： 这是首个将经典的 Eckhardt-Lee (EL) 和 Littlewood-Miller (LM) 可靠性分析框架应用于大规模 LLM 生成代码群体的研究，并将其与历史人类编写的基准进行了直接对比。
系统化表征 LLM 多样性： 本研究表征了 LLM 生成的多样性在可控维度（模型家族、温度、编程语言）上的表现，并量化了它们对可靠性增益的影响。
人类-LLM 异质性分析： 研究初步提供了关于 LLM 是否复制了现有的失效模式，以及在与人类代码配对时是否能提供互补多样性的实证视角。

结果

同质可靠性： 在高可靠性谱系中，LLM 生成的程序通常比人类编写的程序产生更高的可靠性提升（例如，对于 3n+1，在 PFD 为 $10^{-7}$ 时，LLM 实现了约 11,500 倍的提升，而人类约为 1,900 倍）。然而，与人类程序类似，LLM 程序并非失效独立的；它们的可靠性曲线仍受限于理论上的独立性界限，表明存在内在的失效相关性。
语言多样性： 强制 LLM 生成不同语言的代码会显著增加可靠性增益。异质 LLM 配对（如 C++ 和 Java）通常优于人类语言多样性，使经验测量值更接近严格的独立性边界。
跨源（人类-LLM）多样性：
- 强制异质性： 通过强制实施严格的异质架构（一个人类程序配对一个 LLM 程序）实现了最显著的可靠性增益。这种配置的表现始终优于纯人类和纯 LLM 基准。
- 负相关性： 在特定案例中（例如，在特定阈值下的 3n+1），强制的人类-LLM 配对跨越了理论上的独立性界限，表明存在负失效相关性，即两种来源能够主动补偿彼此的弱点。
- 模型层级差异： 将人类与商业 LLM 配对通常能提供稳健的可靠性提升。将人类与较小的本地模型配对时，有时会出现数学上极端的提升因子（例如，>290 万），但作者指出这往往具有误导性，是由本地模型的高失败率而非真正的互补多样性驱动的。
温度效应： 提高生成温度增加了 LLM 代码池内的多样性（改善了同质 LLM 配对），但对异质跨源可靠性没有影响，这表明温度改变了 AI 错误的分布，但并未弥合 AI 与人类推理之间的根本认知差距。

意义与主张
本文主张 LLM 提供了一种可扩展、低成本的异质程序来源，其多样性可以被用于提升可靠性。然而，作者强调 LLM 并未消除经典的软件相关失效挑战。相反，它们提供了一种诱导多样性的新机制。

研究结论认为，最有效的架构策略并非简单地汇集人类和 AI 的输出，而是强制实施结构化异质性（例如，将人类编写的组件与 LLM 生成的组件进行配对）。这种方法可以产生超越纯人类和纯 AI 基准的可靠性增益，并且在某些情况下可以实现负失效相关性。研究结果表明，LLM 可以通过使异质程序的系统化生成和评估变得可行，从而支持多版本软件开发。

有效性威胁
作者承认，人类语料库由 LLM 时代之前的竞赛编程解法组成，可能无法完全代表现代的“增强型”开发。此外，测试集是针对特定竞赛编程任务的，因此结果取决于这些特定的难度景观。研究还指出，LLM 在训练过程中可能接触过类似的规范，尽管所分析的特定人类语料库并非以公开形式存在。

1. “同样的错误”问题

2. “切换语言”的小技巧

3. “人类 + AI”超级团队

4. “温度”调节旋钮

核心结论

类似论文