🤖 AI

Parameter-Efficient Neuroevolution for Diverse LLM Generation: Quality-Diversity Optimization via Prompt Embedding Evolution

本文介绍了 QD-LLM，这是一种参数高效的神经进化框架，它在质量多样性优化方案中进化紧凑的提示嵌入，以引导冻结的大型语言模型产生多样化的高质量输出，在无需模型微调的情况下，其覆盖率和下游效用显著优于现有方法。

原作者： Dongxin Guo, Jikun Wu, Siu Ming Yiu

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Dongxin Guo, Jikun Wu, Siu Ming Yiu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位才华横溢、超级聪明的厨师（即大型语言模型，或 LLM），他几乎能烹饪任何菜肴。但有一个问题：这位厨师有个坏习惯。无论你让他做什么，他总是端出完全相同的菜肴，只是点缀略有不同。如果你要蛋糕，他给你香草蛋糕；再要一次，他给的仍然是香草蛋糕。他已经忘记了如何制作巧克力、柠檬或辣味蛋糕。这被称为“模式崩溃”——厨师陷入了死胡同。

这篇论文介绍了一种名为QD-LLM的新系统来解决这个问题。把它想象成一位“创意总监”，他本人不烹饪食物，而是向厨师耳边低语具体的指令，迫使他们尝试新食谱。

以下是其工作原理，分解为简单概念：

1. “低语”（提示嵌入）

与其重写厨师的整本食谱（这将耗时极长且代价高昂），团队创建了一组微小的特殊“低语”（称为提示嵌入）。

类比：想象厨师是一座巨大的冰冻雕像。你无法融化雕像来改变它。但你可以将一张小小的磁性便条贴在它的额头上。这张便条（即低语）告诉雕像如何移动。
魔力：这张便条非常小（仅约 32,000 个数字），却能控制一个巨大的大脑（700 亿个数字）。通过进化这张微小的便条，团队可以引导这位大厨制作巧克力蛋糕，然后是辣味蛋糕，接着是咸味派，而无需改变厨师实际的大脑。

2. “多样性地图”（质量 - 多样性优化）

通常，当我们要求 AI 解决问题时，我们只想要最好的答案。但有时，我们需要多种不同种类的优质答案。

类比：想象一张城市地图。大多数人只探索市中心的主要区域（即“最佳”解决方案）。QD-LLM 则像是一个 GPS，迫使探索者访问每一个街区、小巷和公园，确保他们在每个区域都找到一家出色的餐厅，而不仅仅是高档的市中心。
目标：该系统维护一个解决方案的“画廊”。它不仅仅追求最高分；它需要每种行为类型的解决方案（例如，递归代码解决方案、基于循环的解决方案、基于库的解决方案）。

3. “混合指南针”（行为表征）

系统如何知道两个解决方案是否真正不同？

类比：想象你在整理书籍。你可以按类型（语义：是悬疑小说还是浪漫小说？）和按物理特征（显性：是精装本吗？是 200 页吗？）来分类。
论文的技巧：团队使用“混合指南针”。他们既查看文本的含义（利用 AI 理解其氛围），也查看文本的结构（计算行数、检查循环或测量正式程度）。
结果：他们从数学上证明，同时使用“氛围”和“结构”比仅使用其中一种能提供更广阔、更多样化的地图。这就像拥有一个同时指向北方和东方的指南针。

4. “进化花园”（神经进化）

他们如何找到这些新的“低语”？他们不使用标准的数学梯度（这就像沿着单一路径下山）。相反，他们使用神经进化。

类比：把它想象成培育植物。
1. 他们取一个“父代”低语和一个“父代”故事。
2. 他们对低语进行轻微突变（随机调整）。
3. 有时，他们“杂交”两个低语以产生一个新的。
4. 他们有一个特殊的技巧叫定向突变：如果他们在“多样性地图”中看到缺口（即无人涉足的街区），他们会利用数学猜测，专门将低语推向那个空白区域。
结果：随着时间的推移，“花园”里充满了各种各样高质量、独特的解决方案。

5. 这为何重要？（下游效用）

论文表明，拥有这种多样化的解决方案“画廊”不仅仅是一个有趣的技巧；它实际上对现实世界任务很有用：

更好的测试：当团队使用这些多样化的代码解决方案来测试新软件时，他们发现的“边缘案例”（即导致代码崩溃的奇怪、棘手情况）比标准方法多出 34%。这就像拥有一支思维方式各不相同的测试团队，能够捕捉到单一思维测试者会遗漏的漏洞。
更好的训练：当他们使用这些多样化的解决方案来训练一个较小的 AI 模型时，该小模型变得聪明 8.3%。它学会了解决问题有多种方法，而不仅仅是一种。

总结

这篇论文提出了QD-LLM，一种通过进化微小的、不可见的“低语”来引导大型 AI 模型的方法。该系统不让 AI 陷入反复制作相同事物的困境，而是迫使 AI 探索整个可能性景观，创建一个丰富、多样且高质量的解决方案库，这些方案在测试代码和训练其他模型方面表现更佳。

关键要点：你不需要重建整个引擎就能让汽车驶向新方向；有时，你只需要进化方向盘即可。

技术摘要：面向多样化大语言模型生成的参数高效神经进化

问题陈述

大语言模型（LLM）经常表现出模式崩溃（mode collapse），产生同质化的输出，无法探索有效解的完整空间。在代码生成或创意写作等任务中，模型倾向于收敛于句法相似的变体或可预测的模式。这一局限性阻碍了需要多样化解的应用，例如发现多种算法途径、生成全面的测试套件或探索创意方向。虽然质量 - 多样性（QD）算法已在机器人学和游戏设计中通过维护多样化且高性能解的档案成功解决了这一问题，但其在 LLM 中的应用却十分有限。先前的方法（如 QDAIF、LMX）将 LLM 视为固定的黑盒生成器，仅进化离散的提示词，或将 LLM 用作评估器而不修改任何神经参数。这阻碍了其与更广泛的神经进化范式的整合，而后者历史上是通过进化网络权重或架构来发现多样化且高性能的解。

方法论：QD-LLM 框架

本文提出了QD-LLM，这是一个参数高效的神经进化框架，通过进化提示词嵌入（prompt embeddings），将 QD 优化与 LLM 生成相结合。

1. 进化的提示词嵌入

QD-LLM 不微调整个模型或进化离散 token，而是进化软提示词嵌入（soft prompt embeddings）——即预置于输入的可学习连续向量（ $p \in \mathbb{R}^{n \times d}$ ）。

参数效率：该框架进化一个紧凑的神经接口，包含约32,000 个参数（8 个虚拟 token × 4096 维），用于引导拥有700 亿+ 参数的冻结 LLM。
机制：这些嵌入充当间接编码，在注意力机制中创建额外的键值对，从而修改整个网络中的信息流。
实现：
- 对于开源模型（如 Llama-3-70B），嵌入被直接注入嵌入层。
- 对于 API 模型（如 GPT-4），使用投影离散近似，即将连续嵌入映射到最近的语言词汇 token，并限制投影误差。
优化：系统采用无梯度优化（神经进化的核心原则）。它利用自适应变异强度（基于 CMA-ME 原则）和有限差分梯度估计来进行有针对性的行为变异。

2. 混合行为表征

为了组织 QD 档案，该框架定义了一个行为描述符 $b(t)$ ，结合了两个组件：

语义组件：源自经 UMAP 降维的 SBERT 嵌入，以捕捉高层语义多样性。
显式组件：特定于任务的特征（例如，代码中的圈复杂度、代码行数和算法范式；写作中的情感、正式程度和可读性）。
混合融合：通过加权连接将这些组件结合。本文提供了定理 5，在组件近似独立的假设下，确立了该混合描述符的形式化覆盖边界。实证验证确认了低互信息（NMI $\approx$ 0.08–0.11），支持了近乎乘性覆盖改进的理论保证。

3. 协同进化变异算子

该框架采用联合变异提示词嵌入和生成文本的算子：

针对性行为变异：利用有限差分梯度估计，将嵌入引导至行为空间中未充分探索的区域。
探索性变异：应用高斯扰动以进行更广泛的探索。
交叉：在两个父代之间插值嵌入，并提示 LLM 结合它们的文本解。

4. 档案管理

该系统扩展了CVT-MAP-Elites，并引入了受Extract-QD启发的不确定性处理机制。它维护每个档案条目的评估缓冲区，使用中位适应度进行比较以处理 LLM 的随机性，并定期重新评估精英个体。

主要贡献

用于 QD 的进化提示词嵌入：一种针对软提示词向量的无梯度优化方法，实现了无需模型微调的行为引导。该方法既适用于开源 LLM（直接访问），也适用于 API 模型（投影近似）。
具有形式化保证的混合行为表征：语义特征与显式特征的原则性结合。定理 5在近似独立条件下提供了形式化覆盖边界，并通过低归一化互信息（NMI）进行了实证验证。
协同进化变异算子：新颖的算子，包括通过有限差分梯度估计实现的针对性行为变异，以及嵌入空间的交叉操作。
全面的验证与下游效用：在代码和创意写作基准测试中进行了广泛评估，证明多样化的档案改善了下游任务，如测试生成和微调数据质量。

实验结果

该框架在HumanEval（164 个问题）、MBPP（974 个问题）以及创意写作基准测试（ROCStories、WritingPrompts）上进行了评估，使用了 Llama-3-70B、Mistral-Large 和 GPT-4-turbo 模型。

性能：在 HumanEval 上，QD-LLM 的 QD 分数比之前的最先进方法（QDAIF）高出41.4%，覆盖率高出46.4%（ $p < 0.001$ ，Vargha-Delaney $A = 0.94$ ）。
消融研究：移除混合行为表征导致性能下降 18.6%（仅语义）和 27.0%（仅显式）。禁用提示词进化使 QD 分数下降了 16.0%。
跨模型泛化：该方法在 Llama-3、Mistral-Large 和 GPT-4 上均显著优于基线（即使使用投影近似）。
下游效用：
- 测试生成：与 QDAIF 相比，来自 QD-LLM 的多样化档案在测试输入中发现了34% 更多的边缘案例。
- 微调：在 QD-LLM 档案上微调的模型，在保留的 HumanEval 问题上比在 QDAIF 解上训练的模型实现了8.3% 的准确率提升。

意义与主张

本文主张建立提示词嵌入进化作为连接神经进化与现代 LLM 的有效范式。通过进化紧凑的神经接口（间接编码）而非整个网络，QD-LLM 克服了全模型进化的计算障碍，同时保留了神经进化多样性的优势。

作者强调，这项工作超越了将 LLM 视为静态黑盒的做法，转而进化直接修改注意力机制的条件信号。所展示的下游效用——特别是在生成多样化测试用例和提高微调数据质量方面——表明其在软件工程和数据增强方面具有实际价值。该工作验证了参数高效的神经进化可以有效地探索大规模冻结基础模型的解空间。