💻 computer science

CALM: A Self-Adaptive Orchestration Approach for QoS-Aware Routing in Small Language Model based Systems

该论文介绍了 CALM，这是一个基于 MAPE-K 循环的自适应编排框架，它通过将用户查询动态路由到协调的专业化小语言模型（SLM）集群，并利用缓存和调度技术，与单 LLM 基准相比，将延迟降低了 40% 并将能耗降低了 50%。

原作者： Hemang Jain, Divyansh Pandey, Karthik Vaidhyanathan

发布于 2026-02-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Hemang Jain, Divyansh Pandey, Karthik Vaidhyanathan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你经营着一家繁忙的餐厅。在过去，你可能会雇佣一位巨大的、极其昂贵的“超级大厨”，他能烹饪任何东西——从寿司到牛排再到甜点。这位大厨才华横溢，但动作缓慢，消耗大量的燃气（能量），而且如果你要求非常具体的要求时，比如“一份针对糖尿病患者的无麸质、低钠菜肴”，他有时会感到困惑。

这篇论文的作者提出了另一种经营厨房的方式：CALM。他们建议不要雇佣一个庞大的个体，而是聘请一个由六位专业厨师组成的团队。

一位是意大利面大师。
一位是寿司专家。
一位是甜点专家。
一位是素食专家。
依此类推。

这些“小语言模型”（SLMs）规模更小、运行更快、成本更低，并且在各自擅长的特定领域比那位“超级大厨”做得更好。但问题在于，你不能让所有六位厨师同时站在灶台前，因为你的厨房太小了（你的计算机内存有限）。

CALM 就是一位聪明的经理，他负责决定在特定时刻应该让哪位厨师来烹饪哪道菜，以确保你的食物既快、又省钱、又美味。

以下是 CALM 经理的工作方式，分为几个简单的步骤：

1. 智能菜单（模型注册）

在任何订单进来之前，每位厨师都会写下一份关于自己擅长领域的简短描述。

厨师 A 说：“我擅长提供医疗建议。”
厨师 B 说：“我擅长处理法律合同。”
厨师 C 说：“我擅长提供健身技巧。”

经理（CALM）会保存一份这些描述的清单。

2. 点单员（路由）

当顾客走进店里并说，“我喉咙痛，还在发烧”时，经理并不会随机挑选一位厨师。

大脑扫描： 经理会快速阅读顾客的要求，并将其与厨师们的描述进行对比。他意识到：“嘿，医疗专家是最合适的选择！”
速度检查： 但等等，经理还会检查“实时统计数据”。医疗专家现在很忙吗？他今天动作变慢了吗？他在处理上一个订单时是否消耗了大量能量？
决策： 如果医疗专家现在动作很慢或很疲惫，经理可能会说：“好吧，把这个任务交给全科健康专家吧，因为他现在的速度更快。”

这就是自适应路由（Self-Adaptive Routing）。经理不断学习并根据厨师们当前的表现来改变主意，而不仅仅是根据他们原本该做什么。

3. 厨房置物架（缓存）

由于厨房空间有限，经理一次只能让三位厨师站在灶台前（在计算机内存中）。另外三位则在后勤室休息（在硬盘上）。

如果顾客点的是“寿司”，而寿司专家已经在灶台旁了，太棒了！经理立即发送订单。
如果寿司专家还在后勤室，经理必须把他唤醒并带到灶台前。这需要几秒钟的时间（“冷启动”）。
神奇的技巧： 经理很聪明，他知道该让谁留在灶台旁。如果寿司专家连续为三个人服务，经理会让他留在那里。如果意大利面专家已经一个小时没被叫过了，经理就会把他送回后勤室，为下一个可能出现的订单腾出空间。

这就是缓存模块（Caching Module）。通过保留最受欢迎的厨师随时待命，它节省了时间，这样你就不用等待他们“醒来”。

4. 反馈循环（MAPE-K）

经理不只是靠猜测；他观察一切。

监测（Monitor）： 他观察每个订单花费了多长时间以及消耗了多少燃气（能量）。
分析（Analyze）： 他会问：“寿司专家是不是变慢了？”
计划（Plan）： 他会决定：“好吧，接下来的 10 个订单，我们要优先考虑速度而非能量，”或者“我们要优先考虑准确性。”
执行（Execute）： 他会为下一个顾客改变规则。

他们发现了什么？

作者将这个系统与“超级大厨”（单个大型语言模型）进行了对比测试，发现了一些令人印象深刻的结果：

更快： 系统速度提升了约 40%（更低的延迟）。
更环保： 它消耗了约 50% 的能量。
质量相当： 回答的质量（置信度）与“超级大厨”一样高，在特定主题上甚至更好。
更智能的内存管理： 通过使用“厨房置物架”（缓存），他们可以在使用更小计算机（占用更少内存）的情况下运行整个系统，而不会造成明显的减速。

核心结论

这篇论文认为，与其试图制造一个能做所有事情的、庞大且昂贵的单一 AI，不如使用一个由智能、自适应系统管理的专业化小型 AI 团队。这种方法既节省了资金，又节省了能量，还能让你更快地获得答案，同时保持高质量。这就像是将一个单一、过度劳累的超级大厨，更换为一支管理良好的专家团队。

技术摘要：CALM —— 一种用于基于小语言模型系统中面向服务质量（QoS）路由的自适应编排方法

1. 问题陈述

现代人工智能赋能的系统面临着由于动态工作负载、资源波动以及自回归语言模型固有的非确定性而导致的显著运行时不确定性。虽然大语言模型（LLMs）提供了广泛的能力，但它们通常资源密集，通过 API 运行成本高昂，并且在特定领域任务（如医疗、法律）中容易出现幻觉或“表面能力”问题。相反，小语言模型（SLMs）提供了效率和领域专业化，但在单独部署时缺乏处理多样化、变化上下文的能力。

核心挑战在于如何编排一组领域专业的 SLM 来取代单个通用 LLM。这需要解决三个具体问题：

领域准确性： 在通用 LLM 常会失败的关键领域中确保高事实准确性。
资源约束： 管理显存（VRAM）和计算限制，因为同时加载多个大型模型是不切实际的。
自适应路由： 开发一种机制，根据实时性能指标（延迟、能耗、置信度）和语义相关性，而非静态负载均衡，动态地将查询路由到最合适的 SLM。现有的自适应方法往往忽略了自回归文本生成的特定开销和不确定性。

2. 方法论：CALM 方法

作者提出了 CALM（上下文感知语言模型编排），这是一个基于 MAPE-K（监控、分析、计划、执行、知识）反馈循环的自适应系统。CALM 集成了两个主要组件：SORA（语义感知编排器）和 CAS（缓存增强型自适应调度器）。

2.1 系统架构

模型注册： SLM 通过提交包含语义任务描述（自然语言提示词）和操作属性（IP、端口）的元组向 SORA 进行注册。
自适应查询路由 (SORA)：
- 静态评分： 计算用户查询与模型任务描述之间的语义相似度（例如，余弦相似度）。
- 动态评分： 结合由监控器收集的滚动运行时指标（延迟、能耗、VRAM 使用量、置信度）。
- 路由策略： 使用加权得分结合静态和动态指标。系统使用可调控制参数 ( $\lambda$ ) 来优先考虑特定的 QoS 目标（例如，延迟优先、能耗优先或置信度优先）。
- 相关性处理： 该框架承认指标之间的相关性（例如，延迟与能耗），并调整权重以防止偏差，尽管目前的实现假设各指标是独立贡献的。
查询处理与调度 (CAS)：
- 请求在全局缓冲区中排队。
- 调度器采用诸如 FIFO（先进先出）或 STCF（最短完成时间优先）的策略来管理执行顺序。
缓存机制：
- 为了解决 VRAM 约束，CAS 在内存中维护一个固定大小的模型缓存。
- 它采用 LRU（最近最少使用） 置换策略来管理模型的加载与卸载。
- 一种“缓存优先”的路由策略可以偏向于选择已经在缓存中的模型，以减少冷启动开销。

2.2 实验设计

作者将 CALM 与单 LLM 基准模型（如 Llama-2 13B、Deepseek-MOE 16B）以及其各种消融实验进行了对比评估。

工作负载： 在不同领域（医疗、健身、心理健康、法律、金融）模拟了 500 个用户请求，具有不同的 Token 限制（256/512）和负载率（12.5–25 RPM）。
指标： 延迟、能耗 (kJ)、置信度评分 (1–5) 以及峰值 VRAM 使用量。
配置： 测试了包括 Base（静态路由）、Base + Caching 以及 Base + 自适应路由（带有不同 $\lambda$ 优先级）在内的变体。

3. 关键结果

评估表明，CALM 在多个维度上均优于单 LLM 基准模型：

延迟与效率： 与基准 LLM 相比，CALM 变体将延迟降低了约 40–50%，并将能耗降低了 50–60%。使用轻量级 SLM 是实现这些增益的主要驱动力。
置信度： 领域专门化的路由将置信度评分提高了 15–30%，表明在特定领域具有更好的任务对齐度和事实准确性。
内存优化： 缓存模块将峰值 VRAM 使用量从约 32 GB（全量 LLM 基准所需）降低至低至 8–19 GB（取决于缓存大小），从而使在受限硬件上部署成为可能，且不会显著降低 QoS。
自适应控制： 自适应循环允许进行细粒度的权衡。例如，增加延迟权重 ( $\lambda_{lat}$ ) 可在保持可接受置信度的同时，将延迟降低高达 44%。同样，“缓存优先”路由将缓存命中率提高到了 83.8%，显著减少了冷启动惩罚。
可扩展性： 系统在不断增加的工作负载下保持了稳定的性能，并在不同领域（如法律 vs. 医疗）之间有效地实现了泛化，证实了路由逻辑的模型无关性。

4. 意义与主张

论文声称，CALM 通过将范式从“越大越好”转向“编排为关键”，为在现实世界约束下部署 AI 系统提供了切实可行的解决方案。

编排优于规模： 作者认为，通过自适应控制协调一组专门化的 SLM，可以在效率、成本和领域特定准确性方面超越单个通用的 LLM。
处理不确定性： 通过集成运行时反馈（MAPE-K），系统能够自主适应变化的上下文和工作负载模式，解决了语言模型推理中固有的不确定性。
资源效率： 通过智能缓存和调度，该方法能够在受限硬件（如单 GPU 或边缘设备）上部署多个模型，从而减少了 AI 推理的环境和经济足迹。
模块化： 该框架支持模块化设计，其中路由、调度和缓存可以独立调整，以满足特定的服务水平目标 (SLO)。

作者总结道，虽然 CALM 展示了有效的单 GPU 部署效果，但未来的工作应探索多 GPU 分布式策略、对输入变化的韧性以及在多轮对话设置中的扩展。他们强调，其方法为可持续、高性价比且高性能的 AI 系统奠定了基础，而无需依赖不透明、资源密集型的基于 API 的 LLM。