技术摘要：Arbor —— 作为自主智能体认知层的树搜索

问题陈述

近期基于大语言模型（LLM）的代码优化进展表明，自主智能体能够为孤立计算目标（例如单个算子或特定内核）发现高质量的解决方案。然而，生产级软件的性能源于多个层级（应用、框架、编译器、内核、硬件）之间复杂的相互作用。优化一个层级往往会暴露另一层的瓶颈或回归问题，从而产生一个状态化、大规模动作空间，其中干预措施可能会使先前的进展失效。

现有方法面临三个主要局限性：

1. 孤立范围： 编译器自动调优器和多智能体框架通常在单一层级或单一目标内运行，无法处理跨层依赖。
2. 缺乏状态化记忆： 当前系统无法维护一个随每次测量而演进的共享工作记忆，而是将失败仅仅视为停止信号，而非诊断数据。
3. 无法处理级联故障： 当优化导致系统崩溃或性能回归时，现有系统缺乏诊断根因、将约束传回搜索过程并重塑后续探索的机制。

核心挑战已从候选生成转向候选选择：在动态景观中进行导航，其中每一次干预都会重塑瓶로分布，这要求系统能够检测偏移、诊断跨层故障，并自主扩展搜索前沿。

方法论：Arbor 框架

Arbor 将全栈性能优化形式化为一个在动态扩展的动作空间上的启发式评分树搜索。它引入了一个认知层，该层维护一个显式的搜索树，作为跨智能体的共享工作记忆。

1. 搜索程序与状态管理

• 树结构： 优化状态是一个以剖析基准（profiled baseline）为根的树 $T = (V, E)$。每个节点代表一个动作及其结果（保留、回退或崩溃）。从根到节点的路径定义了干预的累积序列。
• 动态扩展： 该树不是静态的。在一次成功的动作之后，系统会重新进行剖析以揭示此前不可见的瓶颈，从而生成初始化时不存在的新分支。
• 搜索循环： 编排器（Orchestrator）执行深度优先循环：
  1. 剖析当前状态以识别瓶颈和 GPU 时间占比。
  2. 使用启发式函数对候选动作进行评分。
  3. 将得分最高的动作分发给领域专家（Domain Specialist）。
  4. 通过准确性验证和端到端基准测试进行结果把关。
  5. 更新树结构：保留的动作成为新的基准；回退的动作记录诊断注释；崩溃的动作触发根因分析（RCA）。
  6. 随着瓶颈分布的转移，对剩余候选者进行重新评分。

2. 启发式评分

候选者的评分通过平衡预期收益与成本及风险来进行，并引入探索奖励：
$$h(a) = \frac{g(a)}{c(a) \cdot (1 - r_{acc}) \cdot (1 - r_{crash}) \cdot m_{gap}} + C_s \frac{\ln N}{1 + n_{cat}}$$

• $g(a)$： 预期收益，根据目标内核的 GPU 时间占比和特定类别的加速先验（源自持久知识库）进行估算。
• $c(a)$： 估算的墙钟时间成本（实现、重启、基准测试）。
• $r_{acc}, r_{crash}$： 准确性和崩溃的经验失败率，随 캠페인 进程进行精细化。
• $m_{gap}$： 随着剩余差距缩小的吞吐量目标而缩放的紧迫性乘数。
• UCB 项： 鼓励对采样不足的动作类别进行探索。

3. 带有检查与平衡的多智能体架构

Arbor 通过将能力分解为硬技能（领域专业知识）和软技能（协调协议），构建了模仿高效工程组织的智能体结构。

• 编排器（技术负责人）：

  • 通过剖析、评分和委派驱动优化循环。
  • 在运行时动态构建领域专家，用于特定任务（内核、框架、通信、编译器、调度）。
  • 利用硬件上下文、知识库条目和失败历史来组合提示词。
  • 不实现代码本身，而是决定“尝试什么”以及“由谁实现”。

• 批评者（质量保证）：

  • 维护稳定性与测量完整性。
  • 对崩溃进行根因分析（RCA），区分实现错误与无意义的方向。
  • 执行**护栏（Guardrails）**机制以检测基准测试异常。
  • 进行内省（Introspection），评估被回退的想法在不同约束下是否仍具价值。
  • 监控长周期系统健康状况，发布约束以防止重访无意义区域。

• 领域专家：

  • 根据任务动态构建。
  • 在各层级异步运行，进行带有局部验证的迭代优化，最后返回可合并的补丁。
  • 遵循批评者发布的约束。

• 持久知识库：

  • 累积跨会话的策略和失败模式。
  • 实现向新模型和硬件的热启动迁移，为评分先验提供信息并减少运行间的方差。

核心贡献

1. 状态化树搜索形式化： 本文将跨层优化形式化为树搜索，其中树作为共享工作记忆。失败作为约束传播至子节点，成功则触发重新剖析以扩展搜索前沿。
2. 带有检查与平衡的多智能体架构： 引入了双智能体系统，其中编排器驱动激进优化，而批评者保障稳定性。两者都不能单方面驱动系统，确保仅在必要时为了会话的可持续性而牺牲短期吞吐量。
3. 技能分解： 将智能体能力分解为硬技能（领域专业知识）和软技能（协调协议），并辅以用于跨会话迁移的持久知识库。
4. 动态专家构建： 摆脱了固定智能体的模式，根据特定的优化目标、硬件上下文和历史数据在运行时动态构建领域专家。

结果

Arbor 在 AMD Instinct GPU（MI355X 和 MI300X）上针对六种生产模型进行了 LLM 推理服务评估。

• 吞吐量提升：
  • 在 MI355X 上，经过数天的完全自主运行后，Arbor 相比厂商优化基准实现了 +40% 至 +193% 的吞吐量提升。
  • 在 MI300X（跨代验证）上，提升幅度在 +62% 至 +99% 之间。
• 可复现性： 运行间的方差在 2 个百分点以内，展示了硬件无关的可复现性。
• 消融/对比： 没有使用 Arbor 框架（即多智能体树搜索框架）的单智能体系统，其吞果量提升仅停留在 +33%，并在数小时内发生不可恢复的崩溃。
• 案例研究 (gpt-oss-120b)： 在针对一个 120B MoE 模型的特定搜索树中，系统探索了 30 个动作。其中 9 个被保留，16 个被回退并带有诊断见解，3 个发生崩溃但通过 RCA 得到了恢复。系统达到了 6,515 tok/s/GPU（比 4,405 tok/s/GPU 的基准提升了 48%），利用了来自内省（例如识别死代码路径）和 RCA（将崩溃分类为依赖问题而非算法缺陷）的洞察。

意义与主张

本文声称 Arbor 代表了自主优化从孤立候选生成向导航状态化、大规模动作空间的转变。通过将失败视为重塑探索的诊断信号，并维护共享工作记忆，Arbor 实现了全自主的多日规模化作业，而这在以往由于系统不稳定性是无法实现的。

该框架证明了：

1. 跨层优化是可行的，前提是系统能够检测瓶颈转移并能诊断整个技术栈中的故障。
2. 检查与平衡架构对于持续的自主性至关重要，能够防止激进的探索破坏系统的稳定性。
3. 通过持久化记忆，实现知识迁移跨越不同会话和硬件世代是可行的，这降低了引入新硬件或新模型的门槛。

最终，Arbor 旨在通过自动化原本需要跨软件与硬件全栈工程团队协作的复杂过程，来降低 LLM 部署的运营成本和碳强度。