💻 computer science

ARIADNE: Agnostic Routing for Inference-time Adapter DyNamic sElection

本文介绍了 ARIADNE，这是一个无需训练且与适配器无关的路由框架，它通过测量无标签输入在潜空间中与预计算训练集质心的接近程度，动态地为输入选择最合适的参数高效微调适配器，在无需访问适配器内部信息或进行额外训练的情况下，在多种 NLP 任务中实现了近乎最优的性能。

原作者： Enrico Cassano, Michał Brzozowski, Zuzanna Dubanowska, Paolo Mandica, Neo Christopher Chung

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Enrico Cassano, Michał Brzozowski, Zuzanna Dubanowska, Paolo Mandica, Neo Christopher Chung

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个巨大的、超级聪明的机器人大脑（即“骨干网络”），它懂得如何说话、写作和推理。然而，这个大脑是一个通才；它样样精通，但并不精通任何特定领域。为了让它成为真正的专家，你给它安装了一些小型且专业的“工具包”（称为适配器/Adapters）。其中一个工具包是用来写诗的，另一个是用来解数学题的，第三个则是用来理解医学报告的。

问题在于，当你拥有 23 个、44 个甚至数百个这样的工具包，而用户在提问时并没有告诉你应该使用哪一个工具包时，你需要一种方法能瞬间选出正确的那一个。

旧的方法：窥探工具箱内部

以往的方法试图通过这种方式来解决问题：它们会窥视工具包内部，分析每个适配器的内部齿轮和弹簧（即数学权重），以此来猜测它的用途。

缺陷： 这就像是仅仅通过观察瑞士军刀手柄上的金属纹路，就试图猜出这把刀是用来做什么的。只有当工具包是以非常特定的方式构建时，这种方法才有效。如果你更换了工具包的品牌，这种方法就会失效。此外，如果你没有权限打开这些工具包，也很难进行这种分析。

新的方法：ARIADNE（“心理地图”法）

这篇论文介绍了一种名为 ARIADNE 的新系统，它完全不看工具包内部，而是观察问题本身。

把 ARIADNE 想象成一位为图书馆绘制了心理地图的图书管理员。

绘制地图： 在机器人见到用户之前，图书管理员会从每个专业领域中抽取一些样本问题（例如：“写一首诗”、“计算 2+2”、“诊断这种皮疹”），并将它们绘制在一张地图上。
聚类： 在这张地图上，所有的“诗歌”类问题自然会在一个角落聚集，所有的“数学”类问题在另一个角落，而所有的“医学”类问题则在第三个角落。这些群体被称为质心（或“中心点”）。
选择： 当一个新的、未标记的问题进来时（例如：“法国的首都是哪里？”），图书管理员只需将一枚大头针落在该问题在地图上所处的位置即可。
- 如果大头针落在“常识”聚类区，图书管理员就会抓取“常识”工具包。
- 如果大头针落在“数学”聚类区，他们就会抓取“数学”工具包。

为什么这意义重大

它是通用的： 因为 ARIADNE 只观察问题而不观察工具包，所以无论工具包是如何构建的，它都能适用。这就像是一张无论你的工具是瑞士军刀、中国多功能工具还是定制小工具都能通用的地图。
它无需训练： 图书管理员不需要去上学来学习如何使用这张地图。地图是利用样本问题一次性构建好的，之后便能直接投入使用。
它对错误的处理很聪明： 如果图书管理员犯了错，选错了工具包，这种错误通常是“优雅”的。例如，如果机器人需要解决一个数学问题，却得到了一个“科学”工具包，由于数学和科学在地图上是邻居，它可能仍然能给出一个不错的答案。它不会给出完全荒谬的答案（比如在要求解数学题时却尝试写诗）。

测试结果

作者在一个拥有 23 个不同工具包（涵盖阅读理解、逻辑和语言理解等各种任务）的机器人大脑上测试了这个系统。

得分： ARIADNE 85% 的情况下选对了正确的工具包。
表现： 即使在选错的情况下，机器人的表现仍能达到完美选择情况下的 97.4%。
对比： 它击败了之前的“窥探工具包内部”的方法，尤其是在这些工具包彼此非常相似的情况下。

简而言之，ARIADNE 是一种简单且无需训练的方法，它通过使用问题的地图，而不是试图解码专家的内部秘密，来将问题路由到正确的专家手中。

技术摘要：ARIADNE

问题陈述

参数高效微调（PEFT）的激增创造了这样一种模型生态系统：单个骨干语言模型可以与众多任务专用的适配器（adapter）配对。在推理阶段，一个关键挑战在于：当输入在没有任务标签的情况下到达时，系统必须能够自动从不断增长且异构的适配器池中选择最合适的适配器。

现有的路由解决方案面临显著的局限性：

依赖训练的方法： 诸如 LoRARetriever 之类的方法需要使用带标签的数据对专门的路由组件进行监督训练，并且需要访问每个适配器的训练分布，这造成了可扩展性和可移植性的瓶颈。
谱路由方法（Spectral Routing Methods）： 诸如 Arrow 和 SpectR 等技术直接从适配器权重中导出路由信号（例如，通过 LoRA 矩阵的奇异值分解）。虽然这些方法是零样本（zero-shot）的，但它们在架构上与 LoRA 形式紧密绑定，无法推广到其他 PEFT 方法，并且在适配器语义相似时表现不佳，往往会退化到接近随机的准确率。

因此，需要一种无需训练、与特定 PEFT 架构无关、且在不要求访问适配器内部信息的情况下也能对新增加的适配器具有鲁棒性的路由框架。

方法论

ARIADNE（用于推理时适配器动态选择的无关路由）将适配器路由重新定义为一个输入分类问题。它并不分析适配器权重或梯度，而是完全在冻结的、现成的文本编码器的潜嵌入空间（latent embedding space）内运行。

核心机制

质心构建（Centroid Construction）： 对于每个任务 $T_i$ ，系统在嵌入空间中构建一组 $m$ 个代表性质心（ $C_i$ ）。这些质心是通过对来自该任务训练集的样本进行聚类计算得出的。形式化地，对于一个子集样本 $S_{i,j}$ ，质心 $c_{i,j}$ 是其嵌入的平均值：
$c_{i,j} = \frac{1}{|S_{i,j}|} \sum_{(x,y) \in S_{i,j}} e(x)$
其中 $e(\cdot)$ 是冻结的辅助编码器。这种多质心方法比单一全局原型能更好地捕捉任务内的变异性。
推理时选择： 给定一个无标签输入 $x$ ，系统使用相同的冻结编码器对其进行嵌入。路由函数选择与任务相关的适配器 $\phi_{i^*}$ ，该任务的质心集对输入嵌入产生的最大余弦相似度最高：
$i^* = \arg \max_{i} \left( \max_{c \in C_i} \cos(e(x), c) \right)$

关键设计属性

无关性（Agnosticism）： 由于路由依赖于输入嵌入，ARIADNE 兼容任何 PEFT 架构（如 LoRA、VeRA、DoRA），并且不需要修改适配器或基础模型。
零样本且无需训练： 一旦从训练数据中计算出质心，就不再需要额外的路由训练。
解耦（Decoupling）： 该机制与适配器内部实现解耦，避免了需要白盒访问权重矩阵的需求。

主要贡献

重构路由： 作者提出将适配器路由重新定义为一个输入分类问题，利用冻结文本编码器的潜几何结构来区分任务分布，而不依赖于适配器权重。
架构无关性： 通过仅在输入嵌入空间内运行，ARIADNE 天生兼容任何 PEFT 架构，不同于受限于 LoRA 的谱路由方法。
实证验证： 论文证明了输入几何结构本身就能为适配器选择提供强有力的信号，其性能优于谱路由方法，并能随着适配器库的增长而实现稳健扩展。
失效模式分析： 研究表明，路由错误集中在语义相关的任务簇中。这导致了“优雅降级”而非灾难性失败，因为误路由的输入通常会选择相似任务的适配器。

结果

该框架在 Llama 3.2 1B Instruct 和 Qwen2.5 3B Instruct 骨干网络上，针对多样化的 NLP 任务进行了评估。

性能对比 Oracle： 在包含 23 个任务的任务集中，ARIADNE 实现了平均任务性能（TP）54.74%，恢复了 97.44% 的 Oracle 性能（即始终选择正确适配器的理论上限）。
与谱方法的比较： 在一个共享的 5 任务基准测试（HellaSwag, MNLI, MRPC, QQP, SST-2）中，ARIADNE 始终优于 Arrow 和 SpectR。值得注意的是，谱方法在任务语义高度相似（例如 MRPC 和 QQP）时会退化到接近随机的准确率，而 ARIADNE 则保持了高准确率。
可扩展性： 在一项包含 44 个任务的扩展研究中，系统的平均适配器选择准确率（SA）达到了 89.7%。随着库的扩大，性能趋于稳定而非持续下降，错误仍集中在语义簇内。
优雅降级： 在发生严重路由失败的情况下（例如 SQuAD V1 被路由到 SQuAD V2），由于任务在语义上接近，系统仍恢复了 85% 的 Oracle 性能，这验证了错误会导致优雅降级而非灾难性失败的说法。

意义

该论文将 ARIADNE 定位为模块化 LLM 生态系统中动态适配器选择的一种实用解决方案。其意义在于提供了一种通用的、无需训练的路由机制，能够在不要求访问模型内部特权信息的情况下，随着适配器库复杂度的增加而进行扩展。通过证明输入空间的几何结构是路由的一个充分且鲁棒的信号，这项工作挑战了基于权重分解方法的必要性，并为实现更具可移植性和互操作性的 PEFT 生态系统提供了路径。

作者承认一个主要局限性：该方法需要访问训练数据来计算质心，这使得它在训练数据属于私有的去中心化生态系统中应用受限。他们建议未来的工作可以探索直接从适配器中提取描述任务的信号，以实现一种完全无需数据的（data-free）方法，同时保持其无关性。