ACAR: Adaptive Complexity Routing for Multi-Model Ensembles with Auditable Decision Traces

1. 研究背景与问题定义 (Problem)

核心痛点：
大型语言模型（LLM）的部署面临质量与成本之间的根本权衡。

• 单一模型：成本低，但可能产生错误或回答不完整。
• 多模型集成（Ensembling）：通过并行运行多个模型提高可靠性，但推理成本呈倍数增加。
• 现有挑战：如何在执行前知道任务难度，从而动态分配计算资源？

现有方案的局限性：

1. 学习型路由（Learned Routers）：虽然路由准确率高，但存在训练与部署分布偏移（Distribution Shift），缺乏可解释的决策轨迹，且难以处理多模型协作时的归因问题。
2. 可观测性平台（Observability Platforms）：仅提供事后分析，无法在执行时影响路由决策。

本文目标：
提出一种可审计、可复现的测量框架，用于研究多模型编排。该框架旨在通过自适应路由，在保留困难任务质量的同时，降低简单任务的计算成本，并明确界定当前方法的局限性。

---

2. 方法论 (Methodology)

2.1 核心基础设施：TEAMLLM

作者构建了一个名为 TEAMLLM 的研究级执行底层，确保实验的可审计性：

• 确定性执行：记录随机种子、提示词哈希、模型标识和环境指纹，确保相同输入产生相同输出。
• 不可变工件：所有响应、评估和决策轨迹均为追加写入，不可篡改。
• 单向状态机：任务状态按 PENDING → EXECUTING → VERIFYING → COMPLETED 推进，无回滚。

2.2 核心算法：ACAR (自适应复杂度与归因路由)

ACAR 不使用学习型分类器，而是利用**自一致性方差（Self-Consistency Variance, $\sigma$）**作为任务难度的代理信号。

路由流程：

1. 探针阶段（Phase 1）：使用一个快速模型（Gemini 2.0 Flash）对任务 $T$ 进行 $N=3$ 次采样，提取标准答案 $a_1, a_2, a_3$。
2. 计算方差 $\sigma$：
   • $\sigma = \frac{|\{a_1, a_2, a_3\}| - 1}{2}$
   • $\sigma \in \{0.0, 0.5, 1.0\}$，分别代表：完全一致、2/3 一致、完全不一致。
3. 自适应路由（Phase 2）：
   • $\sigma = 0.0$ (完全一致)：任务简单，直接采用该答案，仅调用单模型模式 (single_agent)。
   • $\sigma = 0.5$ (部分一致)：任务中等，采用多数投票并调用两个模型进行验证，进入 arena_lite 模式。
   • $\sigma = 1.0$ (完全不一致)：任务困难，调用所有三个模型（Claude, GPT-4o, Gemini），进入 full_arena 模式，由裁判模型选择最佳答案。

设计哲学：

• 启发式而非学习型：牺牲部分路由精度，换取无分布偏移、完全可解释的决策轨迹和抗过拟合能力。
• 离散信号：避免连续信号带来的阈值调优问题。

---

3. 实验设置 (Experimental Setup)

• 数据集：涵盖 4 个基准测试，共 1,510 个任务：
  • MathArena (60 题，高难度数学推理)
  • Reasoning Gym (250 题，逻辑推理)
  • LiveCodeBench (200 题，代码生成与执行验证)
  • SuperGPQA (1,000 题，多领域知识问答)
• 模型：
  • 探针模型：Gemini 2.0 Flash
  • 集成模型：Claude Sonnet 4, GPT-4o, Gemini 2.0 Flash
• 对比配置：
  • Single-Model (仅最佳单模型)
  • Arena-2 (双模型集成)
  • Arena-3 (三模型全集成，质量上限)
  • ACAR-U (自适应路由，无检索)
  • ACAR-UJ (自适应路由 + 检索增强)

---

4. 关键结果 (Key Results)

4.1 主要性能表现

• 准确率：ACAR-U 达到 55.6% 的准确率。
  • 优于双模型基线 (Arena-2, 54.4%)，提升 1.2 个百分点。
  • 低于三模型全集成上限 (Arena-3, 63.6%)，差距为 8 个百分点。
• 成本效益：
  • ACAR-U 的成本比 Arena-2 低 1.5% ($20.34 vs $20.64)。
  • 在 54.2% 的任务中避免了昂贵的全集成调用（即路由到了单模型或轻量模式）。
• 路由分布：
  • 32.9% 的任务被路由到单模型模式（$\sigma=0$）。
  • 45.8% 的任务被路由到全集成模式（$\sigma=1$）。
  • 不同基准测试表现差异显著：SuperGPQA（简单）42% 走单模型，LiveCodeBench（困难）96% 走全集成。

4.2 负面结果与失败模式 (Negative Results)

论文特别强调了三个在实践中的假设失效：

1. 检索增强反而降低性能：
   • 引入检索增强（ACAR-UJ）导致整体准确率下降 3.4%。
   • 原因：虽然检索命中率高达 84-100%，但中位相似度仅为 0.167。低质量的相关性注入噪声而非知识，证明了“更多上下文”并不自动等于更好，需要语义对齐（相似度阈值 >0.7）。
2. “一致但错误” (Agreement-but-Wrong) 的不可恢复性：
   • 当探针模型一致给出错误答案（$\sigma=0$）时，路由系统会直接采用该错误答案，后续集成无法纠正。
   • 这构成了 ACAR 方法相对于全集成的8 个百分点的理论上限。
3. 归因代理信号失效：
   • 基于响应相似度、熵等代理信号估计模型贡献度，与真实的“留一法”（Leave-one-out）反事实计算结果相关性极弱。
   • 结论：实用的归因需要显式的反事实计算，无法通过观测数据估算。

---

5. 主要贡献 (Contributions)

1. 提出 ACAR 框架：一种基于自一致性方差（$\sigma$）的自适应路由机制，在无学习组件的情况下实现了优于双模型基线的性能，并显著降低了计算成本。
2. 发布 TEAMLLM 与可审计数据：开源了包含 7,550+ 次可审计运行的确定性执行底层，所有图表均可通过公开工件复现，为多模型研究提供了严格的可复现基准。
3. 提供可证伪的负面结果：
   • 量化了检索增强在缺乏语义对齐时的危害。
   • 界定了基于自一致性路由的固有准确率上限（无法纠正一致错误）。
   • 证明了代理信号无法替代反事实计算进行归因。

---

6. 意义与启示 (Significance)

• 测量范式转变：从单纯追求“路由准确率”转向追求“可审计的测量框架”。ACAR 证明了在缺乏训练数据分布偏移的情况下，简单的启发式规则（自一致性）足以实现高效的路由。
• 对检索增强的警示：在 LLM 集成中，盲目引入检索（RAG）若缺乏严格的语义相似度过滤，不仅无效，反而有害。
• 对归因研究的启示：多模型协作中的责任归属不能依赖事后推测，必须依赖显式的反事实实验设计。
• 基础设施价值：TEAMLLM 提供的不可变、可复现的实验环境，解决了当前 LLM 评估中常见的“结果不可复现”和“基准污染”问题。

总结：
ACAR 不仅是一个路由算法，更是一个测量方法论。它揭示了在自适应多模型系统中，什么有效（基于一致性的简单路由），什么无效（低质量检索、代理归因），以及物理极限在哪里（一致错误无法纠正）。这为未来构建更智能、更经济的 LLM 编排系统提供了坚实的实证基础。