💻 computer science

Lark: Biologically Inspired Neuroevolution for Multi-Stakeholder LLM Agents

Lark 是一个受生物启发的神经进化框架，它通过整合可塑性、复制/成熟机制、排序选择聚合以及计算感知惩罚，增强了多利益相关者大语言模型智能体，从而高效地生成简洁且高性能的策略，同时透明地管理权衡。

原作者： Rikhil Tanugula, Dheeraj Chintapalli, Sunkalp Chandra

发布于 2026-08-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Rikhil Tanugula, Dheeraj Chintapalli, Sunkalp Chandra

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能飞速发展的世界里，一个超越了单纯让机器变得更聪明的新挑战已经出现。这个挑战在于教它们如何进行群体协作，就像人类团队试图解决复杂问题时那样——每个人都有不同的观点和目标。这个被称为“多智能体系统”（multi-agent systems）的领域，对于从协调自动驾驶车辆到规划医疗策略等任务至关重要。然而，当这些数字智能体由大语言模型（即现代聊天机器人背后的技术）驱动时，它们往往会在两个主要问题上挣扎。首先，它们往往过于冗长，生成大量重复的解释，从而浪费计算能力和资金。其次，它们往往无法平衡决策中涉及的不同人群的需求，例如既想要利润的企业主，又想要安全的社区团体。传统的训练这些系统的方法通常依赖于循序渐进的学习，类似于学生通过解决一个接一个的数学题来学习。但对于复杂的、创造性的策略规划，这种方法可能显得低效且僵化。

为了应对这些障碍，一个研究小组开发了一个名为 Lark 的新框架，它从生物进化中汲取灵感。Lark 不再强迫人工智能智能体通过严格的步骤进行学习，而是将策略的创建视为一个生物种群。想象一下，一群数字智能体正在针对一个问题提出不同的解决方案。在每一轮中，系统不仅评估这些提议是否可行，还会评估它们在多大程度上满足了一群多元化的利益相关者。随后，系统会筛选出最好的想法，对其进行微小且有针对性的改进，并偶尔复制这些最强的想法，以创造出专门化的新版本。这个过程在多个世代中不断重复，系统在每一轮循环中都会变得更擅长平衡竞争性需求，并剔除不必要的词汇。其结果是，这种方法能够产生高质量、简洁的策略，而不会产生通常与此类复杂推理相关的沉重计算成本。

研究人员通过创建三十个不同的模拟场景来测试这种方法，范围涵盖政策提案、产品路线图到临床决策。在每个场景中，他们要求 Lark 和另外十四个竞争系统针对涉及多个利益相关者且存在冲突利益的问题生成解决方案。为了确保公平，他们使用了一个独立的评审系统，根据五个标准对答案进行评分：方案的完整性、现实性、细节程度、是否遵循规则以及表达的清晰度。结果显示，完整版的 Lark 始终优于其他系统。平均而言，它在十四个系统中排名第二，取得了接近三十（满分五十）的高分。它在百分之八十的轮次中都进入了前三名。虽然其他强大的系统表现接近，但 Lark 能够在保持这种高水平性能的同时，将成本控制在与领先商业模型相当的水平，即每个任务约十六美分。

Lark 之所以表现如此出色，是因为它结合了四种受生物学启发的特定机制。第一个过程叫做“可塑性”（plasticity），它允许系统对策略进行快速的、基于语境的调整，而无需重新开始。如果一个方案大致良好但存在小瑕疵，系统会通过微调来修复该特定问题。第二个机制是“复制与成熟”（duplication and maturation）。当一个策略表现出色时，系统会复制它，然后使该副本专业化，使其专注于特定的群体或特定的目标，就像自然界中的基因发生复制并进化以执行略微不同的功能一样。第三个机制涉及一个结合不同利益相关者偏好的投票系统。系统并没有简单地取平均值，而是使用了一种权重方法，衡量每个人对结果的重视程度，从而确保最终决策尊重最关键的诉求。最后一个机制是对冗长的惩罚。系统被设计为奖励简洁，会自动降低任何使用多余词汇的方案的分数，从而保持较低的计算成本和锐利的逻辑。

当研究人员移除这四个机制中的任何一个以观察其重要性时，系统的性能都出现了显著下降。最大的损失发生在停止“复制与专业化”过程时，这导致解决方案的质量出现了明显的下滑。移除快速微调的能力也会损害性能，其次是投票系统和字数惩罚。这表明所有四个部分对于系统的有效运行都是必不可少的。这项研究表明，通过模仿这些自然进化过程，人工智能可以更好地处理人类决策中混乱且冲突的现实情况。研究人员强调，虽然这些结果令人鼓舞，但它们是基于受控模拟的。他们计划在现实世界的情境中（如实际的政策制定或医院规划）测试该系统，以观察它能否应对现实世界的不可预测性。目前，这项工作提供了一个概念验证，证明了一种受生物启发的方法可以使人工智能智能体在处理多元群体间的共同点时，变得更加高效、公平且具备能力。

技术摘要：Lark —— 用于多利益相关者 LLM 智能体的生物启发式神经进化框架

1. 问题陈述

利用大语言模型（LLM）的传统多智能体系统（MAS）在复杂决策领域面临三个关键局限性：

冗余与成本： 由 LLM 驱动的智能体经常产生冗余输出，导致高昂的计算开销。
探索能力有限： 当前系统难以有效地探索多样化的替代策略及潜在的未来状态。
多利益相关者失调： 现有框架缺乏稳健的机制来处理多个（通常是冲突的）利益相关者目标，而无需依赖受约束优化或需要即时奖励信号的马尔可夫决策过程（MDP）。

作者认为，多利益相关者策略生成更适合离散的、基于种群的搜索，而非序列化的状态-动作转换，因为策略是在完成后进行整体评估，而非增量式评估。

2. 方法论：Lark 框架

Lark 是一个受生物启发、结合了神经进化理论的框架，它将 LLM 驱动的推理与离散生成的进化搜索相结合。与需要 MDP 形式化定义的强化学习（RL）方法不同，Lark 在候选策略的种群上运行，通过选择、变异和特化来进行进化。该框架集成了四个核心机制：

2.1 可塑性（上下文敏感的精炼）

受赫布学习（Hebbian learning）和神经调制启发，该机制允许智能体在单个世代内对候选策略进行简洁且具备上下文感知能力的调整。

实现： 一个 LLM 驱动的精炼算子 ( $\Phi$ ) 接收候选策略和场景上下文，从而生成改进后的变体。
过程： LLM 识别特定于上下文的弱点，提出有针对性的修改，并在保留核心结构以维持多样性的同时，精炼实现细节。
控制： 通过一个衰减的温度参数控制的应用概率 ( $p_{plast}$ )，以平衡探索与开发。

2.2 复制与成熟（模块化特化）

受进化生物学中基因复制和亚功能化（subfunctionalization）的启发，该机制通过复制并特化高性能策略来促进功能多样性。

复制： 高性能策略根据适应度比例选择（使用聚合利益相关者评分的逻辑函数）被选中进行复制。
成熟： 复制的策略经历一个随机的特化过程，在此过程中，LLM 被提示执行以下操作：
- 识别特定的利益相关者子群或目标维度。
- 修改策略以实现针对该子群的特化。
- 引入父代中不存在的新颖实现细节。
目标： 模拟复制基因向截然不同但相关的功能演化的过程，利用 LLM 的语义理解而非随机变异来实现。

2.3 利益相关者排序选择投票

为了在不假设基数效用（cardinal utility）或不需要人际比较的情况下聚合异质偏好，Lark 使用了加权影响力的博达计数法（Borda count）。

机制： 每个利益相关者对候选策略进行序数排名。
评分： 共识得分 $B(x_i)$ 计算为影响权重乘以排名位置的倒数之和。
鲁棒性： 该方法对策略性操纵具有鲁棒性，且不需要利益相关者透露其基数效用。系统还会计算变异系数（CV）以量化共识强度。

2.4 计算效率惩罚

为了强制执行资源意识并奖励简洁性，在适应度评估中应用了基于 Token 的惩罚。

公式： 调整后的适应度 $R(x_i)$ 会在 Token 数 $T(x_i)$ 超过目标预算 $T_{target}$ 时降低博达得分。
指标： 系统跟踪运行中的效率指标 $E(t)$ （平均单位 Token 质量）以监测世代间的改进。

2.5 进化循环

系统按以下步骤迭代世代：

初始化： 通过 LLM 采样生成初始策略种群。
可塑性： 以概率 $p_{plast}$ 对策略进行精炼。
评估： 利益相关者对所有策略进行排名。
评分： 计算博达得分并针对 Token 惩罚进行调整。
选择与繁殖： 基于适应度选择策略进行复制；复制品进行成熟处理。
下一代： 从组合池（原始种群 + 复制品）中选取前 $k$ 个策略组成下一代。

3. 核心贡献

新颖框架： 引入了 Lark，这是一个 LLM 驱动的 MAS，它在一个神经进化循环中结合了可塑性、复制/成熟、排序选择投票和计算感知惩罚，作者指出这种组合在这一特定语境下此前从未实现过。
范式转变： 从基于 MDP 的约束优化转向离散的、计算感知的进化搜索，该搜索对策略进行整体评估。
机制集成： 证明了生物学原理（突触适应、基因复制）可以有效地转化为 LLM 智能体的行为，以实现多利益相关者对齐。
透明度： 通过每步效率指标和最终分析使权衡过程透明化，避免了某些 RL 方法所具有的“黑盒”性质。

4. 实验结果

作者进行了 30 轮合成轮次的受控评估，将 Lark Full 与其他 13 种系统（包括 GPT-4o、GPT-o3 和 Qwen3-Next-80B 等专有模型）以及四个消融变体进行了对比。

4.1 性能指标

Lark Full 实现了 平均排名 2.55（95% 置信区间 [2.17, 2.93]）和 平均综合得分 29.4/50（95% 置信区间 [26.34, 32.46]）。
它在 80% 的轮次中进入前三名。
成本效率： Lark Full 的成本具有竞争力，平均 每个任务 0.016 美元，与 GPT-o3 ($0.0164) 相当。

4.2 消融研究

配对 Wilcoxon 符号秩检验确认了所有四种机制均有显著贡献。移除机制后的性能下降情况如下：

复制/成熟： 最大的下降（ $\Delta$ Score = 3.5, $d_z$ = 2.53, $p < 0.001$ ）。
可塑性： 显著下降（ $\Delta$ Score = 3.4, $d_z$ = 1.86）。
排序选择投票： 显著下降（ $\Delta$ Score = 2.4, $d_z$ = 1.20）。
Token 惩罚： 显著下降（ $\Delta$ Score = 2.2, $d_z$ = 1.63）。

4.3 基准对比

Lark Full 相比 GPT-4.1 和 GPT-4o 显示出统计学上的显著改进（具有较大的效应量）。
Lark Full 与 GPT-o3 和 Qwen3-Next-80B 表现出统计学上的相当性（等效），尽管 Lark Full 在平均排名上保持了微弱优势。

5. 重要性与声明

本文将 Lark 定位为一个 概念验证，而非最终的生产系统。其主要意义在于：

证明可行性： 展示了生物启发的神经进化可以有效地扩展 LLM 智能体中符合利益相关者对齐的策略生成。
实用性： 提供了一种透明且可适应的、计算感知的替代方案，用于取代正式的约束优化。
社区邀请： 作者明确邀请社区反馈，并计划向政策、医疗保健和组织管理等现实世界验证研究扩展。

作者对自己的声明保持谦逊，承认了包括使用合成基准、需要更广泛的模型覆盖以及当前研究中缺乏直接墙钟时间（wall-clock time）或能量测量在内的局限性。他们强调，虽然结果令人鼓舞，但现实世界的生态效度仍有待建立。