💻 computer science

When is Routing Meaningful? Diversity and Robustness in Language Model Societies

本文认为，为了使语言模型社会中的路由具有意义，它必须同时确保参与者之间的行为多样性以及针对查询扰动的稳定性，通过引入诸如层级社会熵和基于扰动的鲁棒性等指标，揭示了高准确率本身并不能保证有效的专业化分工，且规模较小、经过精选的智能体子集通常可以恢复大部分可用多样性。

原作者： Fantine Huot, Michael Kaisers, Mirella Lapata

发布于 2026-07-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Fantine Huot, Michael Kaisers, Mirella Lapata

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你建立了一个由 112 个不同机器人组成的庞大且混乱的图书馆，每个机器人都有自己的个性与技能集。你想构建一个“图书管理员”（路由程序），由它来决定哪个机器人应该回答访客的问题。通常，人们只检查图书管理员是否得到了“正确的答案”或是否节省了成本。但这篇文章认为，这就像是在评价一位指挥家时，只看乐团是否演奏出了正确的音符，却忽略了这些音乐家是否真的是性格迥异的个体，或者指挥家是否会因为乐谱上的一点微小变动而感到困惑。

作者 Fantine Huot、Michael Kaisers 和 Mirella Lapata 指出，一个路由系统要具有真正的“意义”，需要两个特殊的要素：多样性（Diversity）和稳定性（Stability）。

游戏的两个规则

1. “并非全都一样”规则（多样性）
如果图书馆里的每个机器人对每个问题的回答都完全一样，那么雇佣图书管理员就毫无意义。这就像是雇了一名交通警察来指挥车辆，但所有的道路最终都通向同一个死胡同。论文引入了一个高级数学工具，叫做层级社会熵（Hierarchic Social Entropy, HSE），用来衡量机器人们之间到底有多么不同。你可以把 HSE 想象成一个“性格检测器”。如果得分是零，说明大家都是克隆体，那么路由也就只是在浪费时间。

2. “不要被错别字搞糊涂”规则（稳定性）
想象一下，一位访客问：“我该如何烤蛋糕？”于是图书管理员把他们送到了机器人 A。但如果访客输入的是：“我该如何烤蛋糕e？”（多了一个字母 'e'），图书管理员突然就把他们送到了机器人 B。这简直是混乱！论文认为，一个好的路由策略必须是鲁棒的（robust）。它不应该在意微小的拼写错误、奇怪的句子结构，或者在问题前加上像“天空是蓝色的”之类的随机词汇。如果图书管理员无法处理这些表层的变化，那么机器人就永远无法精通它们特定的工作，因为它们从未获得过稳定且相似的请求流。

大惊喜：少即是多

团队在两个巨大的数据集上测试了这些想法：EmbedLLM（包含 112 个模型）和 RouterBench（包含 11 个模型）。他们发现了一个惊人的事实：你并不需要一个庞大的图书馆也能获得极高的多样性。

在这些模拟实验中，他们发现通过精心挑选的一组少于十个的智能体（具体来说，在 EmbedLLM 中约为九个，在 RouterBench 中约为四个），就能捕捉到大规模模型池中几乎所有的独特“个性”。这就像是发现一支经过完美策划的四人小乐队，比一百个在房间里乱喊乱叫的人能演奏的曲目种类还要丰富。论文提出了这种“核心集”（coreset）的概念——即用于设计这些社会的小型且完美的子集。

准确率陷阱：正确 vs. 稳定

在这里，情况变得复杂了。论文测量了两种类型的路由策略：

KNN 路由器：它们就像智能搜索引擎，在数学空间中寻找问题的“形状”，以找到最合适的机器人。
提示词驱动型（Prompted）路由器：它们就像类人化的助手，通过阅读问题和机器人的任务描述来进行选择。

结果显示了一种剧烈的权衡。KNN 路由器在面对“专家型”社会（即为特定任务设计的机器人组合）时，在处理干净的问题时表现出了极高的准确率。然而，一旦加入了一个拼写错误或奇怪的改写，它们的表现就会崩溃。它们变得不稳定，仅仅因为词汇的变化，就会把同一个问题发送给不同的机器人。

相比之下，提示词驱动型路由器在处理干净问题时的准确率稍低，但它们非常稳固。无论面对各种类型的拼写错误或改写，它们都能保持稳定。论文阐明了这样一个道理：你可以拥有高准确率但缺乏有意义的路由，但如果你想要一个在现实世界中真正起作用的系统（即人们会犯错的现实世界），你就需要这种稳定性。

这意味着什么（以及它不意味着什么）

论文建议，我们一直看待路由的方式错了。我们不能只追求最高的准确率分数；我们还必须检查这个机器人社会是否真的足够多样化，以及路由是否足够稳定，能够应对现实世界的混乱。

他们排除了这样一种观点，即大量的模型会自动等于一个多样化的社会。他们的测量表明，许多现实世界的模型在行为方式上其实是非常相似的，因此增加模型的数量并不会带来太多帮助。

他们同时也提醒道，他们的“专家型”社会是基于完美的二元规则构建的（一个机器人要么知道某个主题，要么不知道），这比现实生活要僵化一些。在现实世界中，专家的领域可能会有更多重叠，这可能会缓解 KNN 路由器所经历的那种剧烈的性能下降。

所以，下次当你看到一个将任务路由到不同 AI 模型的系统时，请记住，这不仅仅关乎谁能答对问题。这还关乎这支团队是否真的是由不同的专家组成的，以及当访客开始结巴或出错时，管理者是否能让他们保持在正轨上。

技术摘要：何时路由才具有意义？语言模型社会的差异性与鲁棒性

问题陈述

当前对多模型系统（语言模型、工具或智能体组成的社会）路由策略的评估几乎完全集中在下游效用上：即任务准确性和推理成本。作者认为，仅凭高准确率并不能保证路由是“有意义的”。路由策略可能通过在一个所有参与者行为一致的冗余社会中运行，或者根据输入的表层变化将查询不一致地分配给不同的参与者，从而获得高绩效。在这种情况下，实现参与者建立稳定专业化所需的结构性条件是不存在的。

本文确定了使路由具有意义的两个正交结构属性：

行为差异性（Behavioral Differentiation）： 社会必须包含对查询做出不同响应的参与者。如果所有参与者的行为完全一致，则路由是空洞的。
路由稳定性（Routing Stability）： 路由策略必须对表层形式的变化具有鲁棒性。语义等价的查询（例如，带有拼写错误、同义词替换或改写的查询）必须被分配给同一个参与者。如果没有这种稳定性，参与者就无法可靠地实现专业化。

方法论

1. 测量社会多样性：层级社会熵 (HSE)

为了量化行为差异性，作者将最初用于机器人集群（Balch, 2000）的**层级社会熵（Hierarchic Social Entropy, HSE）**改编并应用于语言模型社会。

行为向量： 该方法并非通过比较模型权重，而是通过在评估集 $E$ 上评估参与者来生成行为向量 $b_k \in \mathbb{R}^L$ ，其中每个元素代表参与者在特定提示词上的得分。
距离度量： 参与者间的距离使用这些行为向量的 $1 - \text{余弦相似度}$ 来计算。这捕捉的是剖面相似性而非绝对性能大小。
层次聚类： 使用单链接法（single linkage）在每一个可能的距离阈值 $h$ 下对参与者进行聚类。
熵计算： 在每个阈值 $h$ 下计算不同参与者划分的简单社会熵（香农熵）。HSE 是这些不同分类层级（从 $h=0$ 到 $h \to \infty$ ）上熵的积分。
属性： HSE 是一个具有绝对零值（相同参与者）的连续比例度量。它经过归一化处理，以便在不同规模的社会之间进行比较。该指标旨在对组间分离程度保持敏感，而不仅仅是关注组的数量。

2. 测量路由鲁棒性

为了量化路由稳定性，作者引入了一个基于扰动的度量指标 $\rho(\pi, Q)$ 。

扰动分类法： 查询在五个不断增加语义距离的层级上进行扰动：
1. 字符级（拼写错误、空格）。
2. 词级（同义词、拼写错误）。
3. 语法级（被动语态、语序重排）。
4. 改写（全文重写，但含义相同）。
5. 冗余（添加无关上下文）。
度量定义： 对于被路由到参与者 $a_i$ 的查询 $q_i$ ，其鲁棒性 $\rho_i$ 是其 $p$ 个扰动中也被路由到 $a_i$ 的比例。数据集层级的鲁棒性是所有查询 $\rho_i$ 的平均值。
假设： 如果 $q_i$ 及其扰动在语义上是等价的，那么最优的参与者分配应当保持不变。偏差则表明策略不稳定。

3. 实验设置

这些方法在两个基准测试上得到了验证：

EmbedLLM： 包含 112 个模型，在 10 个基准测试（如 MMLU, GSM8K）的 36,054 个问题上进行评估。
RouterBench： 包含 11 个模型，在 8 个数据集的 36,497 个查询上进行评估。
合成社会： 为了测试理论边界，作者构建了基于二元性能指标的“专家”合成社会，这些指标基于：
- RD（推理深度）： 5 个认知复杂度层级。
- SA（专业领域）： 15 个不同的学术/实践领域。
- RD+SA： 具有部分重叠的组合池。
路由策略： 随机路由、提示路由（基于角色描述使用 LLM 进行选择）以及 KNN（在嵌入空间中的 k-最近邻）。

关键结果

1. 多样性的收益递减

真实 vs. 合成： 专门设计的专家社会（SA, RD）表现出显著高于规模相当的真实模型池的 HSE。例如，SA 社会（HSE=3.91）的差异性是默认 EmbedLLM 池（HSE=1.62）的两倍多。
核心集启发式（Coreset Heuristic）： HSE 表现出强烈的收益递减现象。在默认的 EmbedLLM 社会中，当增加的智能体超过约九个后，多样性的增益便微乎其微。在合成社会中，曲线下降得更快（4–5 个智能体）。这表明，通过精心挑选不到十个智能体的精选子集，可以恢复大部分可用多样性。

2. 准确性与鲁棒性的权衡

KNN 路由器： KNN 路由器在专家社会（其行为边界清晰）上能实现极高的任务准确率。然而，在面对扰动时，其鲁棒性会发生灾难性崩溃。细微的表层变化会使查询嵌入跨越领域边界，导致路由器将语义等价的查询分配给不同的参与者。
提示路由器： 提示路由（使用自然语言描述）在所有扰动类型和社会配置下都能保持高鲁棒性。虽然它们在专家社会上的纯净任务准确率可能略低于 KNN，但其受扰动后的准确率保持稳定。它们捕捉的是语义意图而非嵌入的邻近性。

3. 社会组成的影响

切换到 最大 HSE 子集（通过贪婪算法选择的一个较小的、具有多样性的子集）可以提高提示路由器的鲁棒性。
该效应对 KNN 路由器而言取决于具体的数据集。在 RouterBench 上，最大 HSE 子集挽救了 KNN 的鲁棒性。在 EmbedLLM 上，KNN 的鲁棒性仅有微弱提升或反而下降，这表明 EmbedLLM 池的具体行为结构（即使在最大 HSE 时也缺乏结构化的分离）使得最近邻路由本质上对表层变化非常脆弱。

意义与主张

本文声称提供了首个用于语言模型路由分析的行为多样性度量及相应的鲁棒性度量。其主要贡献在于：

重构评估框架： 作者认为，有意义的路由需要既具备差异化的社会，又具备稳定的策略，这与任务准确率是不同的概念。
实用的设计启发： 关于 HSE 存在强收益递减的发现表明，大规模且异质的模型池往往是冗余的。设计包含少于十个精心策划的智能体的社会，是最大化多样性而不增加成本的实用策略。
诊断性洞察： KNN 准确率与鲁棒性之间的分歧强调了，在高纯净查询下的高性能并不意味着拥有鲁棒的路由系统。研究表明，提示路由是维持输入变化下专业化条件的更稳定的方法。

作者对研究范围保持了谦逊的态度，指出其度量的是分配稳定性，而非随着时间推移而实际涌现出的专业能力，并且其合成社会使用了比现实世界智能体更尖锐的理想化二元性能剖面。