CR^2: Cost-Aware Risk-Controlled Routing for Wireless Device-Edge LLM Inference

技术摘要：CR2——面向无线设备 - 边缘大语言模型推理的成本感知风险受控路由

问题陈述
随着大语言模型（LLM）从集中式云端向移动边缘环境迁移，在受限的设备 - 边缘资源下实现高效服务，需要在延迟、能耗和准确性之间取得平衡。虽然轻量级设备模型与更强边缘模型之间的查询级路由提供了一种灵活的机制来应对这种权衡，但现有的路由方法主要专为集中式云端场景设计。这些先前的方法优化了令牌级成本或静态的质量 - 成本权衡，未能捕捉无线边缘部署中固有的动态延迟和能量开销。

在设备 - 边缘系统所需的两阶段决策结构中存在一个关键差距：

1. 本地决策（用户设备 UE）： 用户设备（UE）必须仅利用本地可用信息（查询嵌入和成本偏好）来决定是本地执行查询还是将其推迟到边缘，而无法访问边缘模型得分或实时边缘状态。
2. 边缘决策： 只有被推迟的查询才会根据完整的系统状态在可用的边缘模型之间进行路由。

现有方法通常假设对边缘状态拥有全局知识，或将路由视为单次选择，忽略了不对称的决策风险：不必要的推迟会带来通信延迟和能量消耗，而错误的本地接受则不可逆地放弃了更优的边缘模型，从而降低用户体验。此外，标准路由器在部分信息下并未明确控制错误本地接受的风险。

方法论：CR2 框架
作者提出了CR2，这是一个两阶段设备 - 边缘路由框架，将路由问题分解为可部署的本地接受门控和状态感知的边缘选择器。

1. 系统与成本建模：

   • 该系统对端到端延迟和能耗进行建模，纳入了随机无线条件（上行/下行信道增益）、计算工作负载（预填充和解码阶段）以及设备/边缘功耗配置文件。
   • 定义部署成本为相对于参考模型的归一化延迟和能量的加权和。
   • 路由目标被表述为在部署成本预算约束下最大化准确性，参数化为标量化效用函数 $u_m = y_m - \lambda c_m$，其中 $\lambda$ 为成本权重。

2. 两阶段架构：

   • 阶段 1：UE 本地接受（边际门控）： 一个轻量级设备端模块计算“效用边际”，以评估本地执行是否具有与最佳边缘替代方案相当的竞争力。
     • 它使用冻结的查询编码器和轻量级评分头。
     • 它以查询嵌入和运营商指定的成本权重 $\lambda$ 作为输入。
     • 它在做出决策之前不访问边缘模型效用或运行时状态 $\xi$。
   • 阶段 2：边缘效用选择器： 对于被推迟的查询，边缘服务器根据完整的效用估计（包含运行时状态 $\xi$）从边缘模型池中选择最优模型。

3. 训练与校准：

   • 师生蒸馏： 一个“教师”选择器在完整信息数据（查询 + 状态 + 正确性标签）上进行训练，以估计模型正确性和效用边际。设备端门控被训练以蒸馏本地执行与边缘执行之间的教师诱导效用边际（$\Delta$）。
   • 损失函数： 门控的优化结合了以下损失：
     • 符号损失： 使预测边际的符号与教师的本地与边缘偏好保持一致。
     • 边际损失： 使用 Huber 损失将预测边际回归至连续的教师边际。
     • 单调性正则化器： 强制预测边际关于成本权重 $\lambda$ 非递减，反映了较高的成本权重倾向于本地执行这一结构特性。
   • 共形风险控制（CRC）： 为了解决错误本地接受的不对称风险，作者引入了 CRC 校准程序。
     • 对于目标风险水平 $\alpha$，CRC 将学习到的分数映射为校准接受阈值 $\tau^*(\lambda; \alpha)$。
     • 这确保了在假设校准数据与测试数据具有可交换性的前提下，边缘错误接受风险（即当边缘模型严格更优时仍接受本地执行）的概率被限制在 $\alpha$ 以内。

主要贡献

1. 部署受限框架： 本文建立了一个两阶段路由框架，明确尊重移动边缘部署的信息约束，将 UE 本地接受与边缘模型选择分离。
2. CR2 算法： 作者开发了 CR2，其特点包括：
   • 一个UE 可观测的边际门控，将完整信息效用边际蒸馏为可部署的设备端分数。
   • 一个单调性正则化器，以确保在不同成本权重操作点下决策的一致性。
   • 一个每-$\lambda$ CRC 校准规则，在不要求 UE 端获取边缘模型分数的情况下，提供对边缘错误接受风险的明确控制。
3. 实证性能： 在基于基准的路由任务（使用 Qwen 模型和剖析的部署成本）上的评估表明，CR2 实现了最佳的可部署准确性 - 成本帕累托前沿。与强大的查询级基线（KNN、MLP、EmbedLLM、LLM-Rank）相比，在匹配准确性的情况下，CR2 将归一化部署成本降低了高达16.9%。

结果

• 准确性 - 成本权衡： CR2 在准确性 - 成本平面上始终优于基线。在放大的操作区域中，它在可部署方法中构成了最强的前沿。
• 成本降低： 在固定准确性水平下（例如 0.81 和 0.82），与 KNN 相比，CR2 分别将归一化部署成本降低了 16.9% 和 16.2%。
• 风险控制： CRC 校准的阈值成功控制了经验边缘错误接受率，使其保持在指定范围内（例如 $\alpha=0.01$），同时保持具有竞争力的准确性。
• 效率： 设备端边际门控计算轻量（约 10.5 万个参数，20.7 万 FLOPs），远小于完整信息参考或其他参数化路由器（如 LLM-Rank）。
• 误差分解： 分析表明，可部署的 CR2 与完整信息预言机之间的剩余性能差距主要由较低成本下的“错误推迟”（过度升级）驱动，而错误本地接受率保持在低位（<1.5%）。

意义与主张
本文主张，CR2 通过在两阶段设备 - 边缘部署下构建模型选择，弥合了查询级路由与边缘 LLM 服务之间的差距。其意义在于：

• 解耦： 成功解耦了必须在部分信息下做出的本地决策与拥有完整信息的边缘决策。
• 风险控制： 提供了一种严格的、分布无关的机制（通过 CRC）来明确调节错误本地接受的风险，这是可靠边缘推理的关键要求，因为通信开销成本高昂。
• 实用性： 证明了基于轻量级冻结编码器的门控可以紧密近似完整信息预言机，从而在无需设备端进行密集跨层协调或全局状态知识的情况下，实现现实世界无线边缘场景中的高效、成本感知路由。

作者得出结论，CR2 为移动边缘协同推理提供了一种稳健的解决方案，在遵守无线边缘部署严格信息约束的同时，平衡了延迟、能耗和准确性之间的权衡。