技术摘要：多智能体自动化研究系统的词汇表

问题陈述

近期的多智能体大语言模型（LLM）系统已展示出自动化端到端研究的能力，包括收集前人工作、提出想法、编写代码、运行实验以及解释结果。诸如 AIRA2、Glia 和自动化对齐研究员（AAR）等系统，将这种自动化框架化为对研究轨迹的显式搜索。然而，该领域缺乏描述这些系统的通用语言。声称一个“多智能体系统”优于另一个系统往往是模糊的，因为不同系统在多个维度上同时存在差异：通信拓扑、跨运行记忆、初始化策略以及评估器完整性。

由于缺乏正式的分解，研究者很难隔离出究竟是哪项具体的设计选择驱动了性能提升。此外，这些系统中常被提及的“品味”（taste）这一概念——通常被视为一种模糊的缺陷——被混淆为一个单一的抱怨，从而掩盖了失败究竟在于系统提出新颖候选者的能力（生成性品味），还是评估器忠实评分的能力（评估性品味）。

方法论：系统词汇表

本文将多智能体自动化研究系统形式化为一个元组 M：
$$M = \langle A, O, C, \alpha, S, \pi, \iota, e \rangle$$

该词汇表将系统分解为不同的、可独立变化的坐标：

1. 智能体 ($A$)： 智能体集合，由其骨干模型 ($\theta$)、私有记忆 ($m$) 和角色 ($\rho$) 定义。论文区分了智能体（具有持久私有记忆的实体）与无状态模块（工具或单次提示词）。
2. 操作 ($O$)： 可调用的动作全集（工具、技能、API、脚本）。这与能力分配是不同的。
3. 通信 ($C$)： 定义为一个对 $(\Lambda, \sigma)$，其中 $\Lambda$ 是通信空间（智能体之间的有向边），$\sigma$ 是消息协议。论文将通信的形状（如星型、树型、网格型）与谁选择活跃边的控制权（中心化、层级化或去中心化）分离开来。
4. 能力分配 ($\alpha$)： 从智能体到操作子集 ($O$) 的映射。这允许非对称设计（例如，没有工具的监督者）和动态变化（在运行期间授予/撤销能力）。
5. 共享状态 ($S$)： 分为三个范围：
   • $S_{btw}$：运行内状态（例如，黑板、消息日志）。
   • $S_{world}$：外部状态（例如，代码仓库、模拟器）。
   • $S_{cross}$：跨运行状态（例如，种群数据库、蒸馏摘要）在多次运行之间持续存在。
6. 控制策略 ($\pi$)： 分解为：
   • $\pi_{route}$：谁进行下一步行动以及做什么。
   • $\pi_{stop}$：运行何时结束。
   • $\pi_{meta}$：运行期间的结构性变化（生成、杀死、分支、重写策略）。
   • $\eta$：探索参数（例如，温度）。
7. 初始化 ($\iota$)： 设置初始状态的函数，包括角色提示、种子上下文和初始能力。
8. 评估器 ($e$)： 代理评分机制。论文明确将评估器作为一个系统组件，指出报告的增益取决于代理分数与真实质量 ($q$) 之间的差距。

轨迹表示法： 单次运行被形式化为一个轨迹 $\tau$，记录了智能体、操作、观察和状态变化的序列。由于组件具有随机性，重复运行会诱导产生轨迹的分布而非单一行为。

优化框架： 系统被构架为一个在预算 $B$ 下最大化代理分数 $e(\tau)$ 的优化问题。论文强调了“代理-质量差距”($\Delta_\omega$)，即搜索过程可能会过度拟合代理评估器，导致奖励黑客行为（例如，种子挑选、窃取留存标签）。

核心贡献

1. 形式化分解： 论文提供了一个严谨的基于元组的框架，用以隔离设计选择。这使得研究人员能够将性能变化归因于特定的坐标（例如，通信拓扑 vs. 初始化），而非模糊的“多智能体”标签。
2. 分离品味： 词汇表将“品味”拆分为两种截然不同的失败：
   • 生成性品味： 系统在评分前提出新颖、高质量轨迹的速率（由 $\theta, \iota, \eta, S_{cross}$ 决定）。
   • 评估性品味： 代理分数对真实质量的忠实度（由 $e$ 的完整性决定）。
3. 评估器作为组件： 通过将评估器视为一个坐标，该框架明确了改进可能源于更好的搜索策略，或是源于一个更能抵抗博弈的更鲁棒的评估器。
4. 对现有系统的应用： 该词汇表被应用于近期的自动化研究系统（AIRA2, AlphaEvolve, Glia, AAR, AI Scientist-v2, MetaGPT, EvoX, ml-intern, SimpleTES, Engram），将其映射到各自特定的元组配置中。

结果与案例研究发现

本文并未呈现新的实验结果，而是使用该词汇表分析现有文献，揭示了以下情况：

• 设计的多样性： 不同系统在设置不同坐标时表现各异。例如：
  • AIRA2 和 AlphaEvolove 侧重于 $S_{cross}$（种群数据库）和 $\pi_{meta}$（进化循环）。
  • Glia 依赖于非对称能力分配 ($\alpha$)，其中监督者没有工具 ($\alpha(Sup) = \emptyset$)。
  • AAR 通过定向种子引导 ($\iota$) 和通过共享论坛进行的通信 ($\Lambda$) 来关注初始化。
  • MetaGPT 将智能体集合 ($A$)、通信边 ($\Lambda$) 和路由 ($\pi_{route}$) 设置为固定的流水线。
  • EvoX 独特地将控制策略本身视为可变状态 ($\pi_{meta}$ 重写 $\pi$)。
• 通用 vs. 特定坐标： 大多数系统将许多坐标设为通用（默认为框架设置），例如操作全集 ($O$) 或探索参数 ($\eta$)。
• 过拟合与完整性： 对奖励黑客行为（例如在 AAR 和 AIRA2 中）的分析表明，高分可能源于可被利用的评估器而非卓越的搜索，这强化了将评估器完整性作为主要设计坐标的需求。

意义与主张

论文声称，该词汇表是该领域超越模糊比较的必要工具。其意义在于：

• 隔离变量： 它支持“普通消融实验”，即在保持其他坐标固定的情况下改变单个坐标，从而澄清改进的来源。
• 澄清失败模式： 它区分了是系统生成了糟糕的想法（生成性失败），还是系统被错误评估（评估性失败），并提出了针对不同问题的不同解决方法。
• 识别未充分探索的领域： 该框架凸显了目前尚未得到充分利用的坐标，例如动态能力分配 ($\alpha$)、运行时重写控制策略 ($\pi$) 以及修改自身任务分布 ($D$) 的系统。

作者总结道，未来自动化研究的进展将取决于这些系统选择改变哪些特定坐标，而仅凭最终得分无法揭示这种区别。该词汇表提供了使这些差异显性化的语言。