Policy-Governed LLM Routing with Intent Matching for Instrument Laboratories

以下是论文《基于意图匹配与策略治理的仪器实验室大语言模型路由》的详细技术总结。

1. 问题陈述

将大语言模型（LLM）作为导师集成到工程仪器实验室中，存在一个关键矛盾：既要提供足够的辅助以支持学习，又要避免过度支架导致学生产生依赖。当前的 LLM 辅导系统存在三个主要局限性：

• 缺乏控制力：教师难以决定何时允许高支架帮助（例如完整解决方案）、对提示词应用何种转换，或如何控制成本。
• 教学法与运营之间的差距：现有的路由系统仅优化成本或答案质量，而忽略了教师定义的教学策略（例如“除非获得批准，否则仅允许概念性指导”）。
• 可审计性：在实时实验室环境中，缺乏透明的机制来追踪路由决策、提示词修改和预算使用情况。

本文旨在填补系统证据的空白，专门针对仪器化实验室，将成本感知的多模型路由与教师治理的支架策略及可审计的提示词干预相结合。

2. 方法论与系统架构

作者提出了一个双组件系统，集成于LABIIUM远程电子实验室平台中：

A. 系统组件

1. Routiium（网关）：

   • 一个兼容 OpenAI 的网关，作为多个 LLM 后端（本地和云端）的前端。
   • 功能：验证客户端身份，应用可配置的提示词覆盖层（基于策略对查询/响应进行的修改），并记录每轮使用的数据（令牌数、成本、模型）。
   • 隐私：当路由到本地模型时，将学生查询保留在校园网络内。

2. EduRouter（决策引擎）：

   • 一个感知策略的路由服务，为每个查询选择后端。
   • 工作流程：
     1. 意图匹配：计算学生查询与教师策划的标准问题库之间的嵌入相似度。
     2. 策略执行：检查预算限制、审批工作流和提示级别约束（L0–L3）。
     3. 路由决策：根据库元数据（首选层级、最大成本）和“粘性”（将对话上下文保持在同一模型上）选择模型。
     4. 回退：如果没有库匹配超过阈值，则基于查询复杂度回退到启发式路由。

B. 治理机制

该系统定义了具体的提示级别和策略模式：

• 提示级别（L0–L3）：从最小验证（L0）到完整解决方案（L3）。较高级别（L2/L3）会触发预算扣减或助教（TA）审批。
• 策略模式：
  • P0（无治理）：无限制，覆盖层禁用。
  • P1（已治理）：强制执行支出限制和提示上限。
  • P2（完整性优先）：严格的审批队列和完整性标志门控。

C. 评估方法

系统通过两种方法进行评估：

1. 轨迹驱动模拟：利用两个电子实验室（LED 特性分析、RC 电路分析）的数据校准模拟器，以在合成工作负载（416 种配置）下测试策略合规性。
2. 实时查询重放：将 100 个查询的工作负载通过实时模型端点重放，以测量实际成本、延迟和路由正确性。

3. 主要贡献

• Routiium：一个开源的、兼容 OpenAI 的网关，支持可配置的提示词覆盖层和每轮审计日志。
• EduRouter：一个路由服务，将基于嵌入的意图匹配与严格的策略执行（预算、审批）相结合。
• 治理指标：一套新颖的行为指标（非教育成果指标），用于表征系统与教师策略的一致性：
  • 挑战对齐指数（CAI）：观察到的提示分布与目标提示分布之间的一致性。
  • 有效挣扎窗口（PSW）：出现高支架提示之前的轮数。
  • 覆盖层依从性得分（OAS）：提示词修改的验证。
  • 标准命中率（CHR）与路由增益（CRG）：基于意图路由的效率。
• 开源发布：完整发布源代码、模拟器配置和评估工具。

4. 结果

模拟结果（策略合规性）

• 挑战对齐：治理策略（P1/P2）将 CAI 从0.90（无治理）提高到0.98，表明对目标提示分布的近乎完美的依从性。
• 覆盖层依从性：在治理策略下，OAS 从0.69提升至0.87。
• 有效挣扎：PSW 指标从1.4轮增加到3.6轮，意味着学生在收到高支架提示前获得了更多挣扎的时间。
• 公平性：公平指数（EI）略有下降（从 0.59 降至 0.52），表明预算限制将 L3 提示集中在较少的学生身上，这是教师必须管理的权衡。

实时重放结果（成本与延迟）

• 成本降低：EduRouter 将75%的查询路由到本地模型（gpt-oss-20b），使总令牌成本降低了66%（全高级路由为$0.26，现为$0.087）。
• 延迟：
  • 直接云端（GPT-5 Mini）：平均延迟 23.2 秒。
  • 本地模型：平均延迟 26.1 秒。
  • 路由执行：平均延迟 21.7 秒（由于智能选择），首令牌时间（TTFT）为 305 毫秒（含路由开销）。
• 路由正确性：
  • 简单/中等查询：96% / 89% 的正确率。
  • 高级查询：68% 的正确率（归因于研究生级故障排除的标准库覆盖不完整）。
• 标准库性能：在策划的 89 个意图问题库上，标准命中率（CHR）为1.0，证明了对已知意图的完美匹配。

5. 意义与局限性

意义：

• 系统工件：本文提供了一个具体、可实施的“教育中受治理的 AI"框架，将焦点从"LLM 能否教学？”转移到“我们如何控制 LLM 的教学方式？”。
• 成本效益：证明了基于嵌入的路由可以在不牺牲处理标准实验室查询能力的情况下显著降低成本。
• 可审计性：通过提供特定模型或提示级别选择原因的逐轮日志，解决了“黑盒”问题，使教师能够动态审计和调整策略。

局限性：

• 范围：指标衡量的是行为合规性，而非教育有效性（学习成果）。
• 数据保真度：模拟依赖于从有限校准会话中得出的学生行为马尔可夫模型；现实世界的学生行为可能有所不同。
• 覆盖范围：该系统在标准库内的查询上表现最佳。高级、新颖的查询（例如研究生级故障排除）由于库的缺口，目前路由正确性较低。
• 策划开销：创建标准库需要教师每学期投入 2–3 小时，其价值尚未通过用户研究得到验证。

结论：
本文成功展示了一个路由和治理层，使教师能够在 AI 辅助的实验室中执行教学策略、管理成本并维护审计轨迹。它为未来的课堂研究奠定了基础，以确定这些治理机制是否能转化为改善的学习成果。