🤖 machine learning

ComplianceGate: Classifier-Gated Multi-Tier LLM Routing for Inference in Regulated Industries

该论文提出了 ComplianceGate，一种分类器门控的多层路由架构，通过在任何推理发生之前，预先筛选查询的复杂度和个人身份信息（PII），将其动态路由至符合合规地理位置且规模适中的模型，从而在受监管行业中强制执行数据驻留和成本效率。

原作者： Abhishek Dey

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Abhishek Dey

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你经营着一家规模宏大、高度安全的银行。每天，成千上万的人来到柜台寻求帮助。有些问题很简单，比如“你们的营业时间是什么时候？”或“目前的汇率是多少？”另一些问题则非常复杂，比如“为一家跨国公司设计一套新的投资策略”或“分析这份法律合同中的隐藏风险”。

在旧的处理方式中（即论文中描述的“单一模型”或“混合专家模型/MoE”方法），你会让每一个人都必须排队等待坐在玻璃塔里的那一位极其昂贵、极其聪明的“首席专家”。

问题所在： 即使有人只是问一句“你们几点关门？”，首席专家也必须停止手头的工作，穿上他的全套盔甲（将 480GB 的数据加载到内存中）来回答问题。这既缓慢又昂贵，而且非常浪费。
合规风险： 更糟糕的是，想象一下如果一位客户向首席专家低声透露了一个秘密（比如他们的社会保障号码），而这位专家位于另一个国家，那么这个秘密现在就非法跨越了国境，违反了法律。

论文的解决方案：“ComplianceGate”（合规门）

作者 Abhishek Dey 提出了一种名为 ComplianceGate 的新系统。与其使用一个巨大的专家，不如想象在正门口站着一位聪明且反应迅速的保安。

以下是其运作步骤：

1. 聪明的保安（分类器）

在任何人到达主柜台之前，一位经过高度训练的“保安”（一个 AI 编码器）会先审视问题。这位保安动作极快（仅需 7 毫秒），并承担两项任务：

这是秘密吗？ 问题是否包含敏感个人数据（PII）？
这有多难？ 这是一个简单的问题，还是一个复杂的谜题？

2. 交通指挥员（路由）

根据保安的评估，问题会被立即发送到正确的地方：

场景 A：简单问题（例如：“你们的营业时间是什么时候？”）
- 旧方式： 发送给首席专家。
- 新方式： 保安说：“这很简单！”然后将客户引导至附近的一个小型、快速的服务亭。服务亭会立即给出答案。它成本极低，且消耗的能量很少。
- 类比： 就像是用自动售货机买苏打水，而不是请一位侍酒师来为你选酒。
场景 B：涉及秘密的问题（例如：“用社会保障号码 123...查询我的银行余额”）
- 旧方式： 发送给首席专家，而首席专家可能在另一个国家。
- 新方式： 保安立即发现了秘密。在任何处理发生之前，保安会说：“停！这些数据不能离开这栋建筑。”该问题会被路由到一个位于同一国家境内的本地安全保险库中。
- 类比： 就像一名 VIP 俱乐部的保镖看到了 VIP 的身份证件，并立即将他们护送到建筑内部的私人房间，确保他们永远不会走到外面被窥视。
场景 C：难题（例如：“设计一套新的金融体系”）
- 旧方式： 发送给首席专家。
- 新方式： 保安说：“这很难。”于是将客户送往首席专家（大型模型）那里，以获得最好的答案。

3. “安全网”（基于置信度的回退机制）

如果保安不确定怎么办？也许问题很棘手。

规则： 如果保安没有 100% 的把握，他们不会冒险。他们会自动将客户发送到最安全、最昂贵的选项（本地保险库或首席专家）。
原因： 宁愿在安全的回答上多花一点钱，也不要意外泄露秘密。论文声称这种情况发生得极少（准确率达 99.2%），因此几乎不会影响成本。

结果：为什么这很重要

论文使用 600 个真实世界的问题对该系统进行了测试，发现：

速度更快： 简单问题的响应速度提高了 2 到 4 倍，因为它们不需要等待庞大的专家“苏醒”。
成本更低： 通过将简单问题发送给小型、廉价的机器，该系统节省了 33% 到 52% 的成本。
更加安全： 敏感数据从未离开其本地管辖区。该系统在结构上使得秘密“不可能”发生意外跨境。
更具可预测性： 旧系统像是一条混乱的高速公路，有时车只需 1 秒，有时却要 20 秒。新系统则像是一条专用车道；简单问题始终耗时大致相同。

总结

论文认为，我们不应该“用大锤去砸坚果”。与其强迫每个问题都通过一个巨大、昂贵且具有潜在风险的 AI 模型，不如先使用一个智能过滤器。这个过滤器会将简单的问题交给小型、快速的助手，将秘密严格留在本地，并且只在绝对必要时才请出那些“重量级选手”。

这种方法通过设计本身，使 AI 在受监管行业（如银行业和医疗保健业）中变得更快、更便宜且符合法律规范。

技术摘要：面向受监管行业的分类器门控多层 LLM 路由架构

问题陈述

在大语言模型（LLM）于受监管行业（如金融服务、医疗保健）的部署过程中，面临着能力、成本效率与监管合规性之间的关键权衡。目前的推理架构无法同时解决以下三个特定约束：

数据驻留与合规性： GDPR、SEBI、RBI 以及印度 DPDPA 等法规要求个人身份信息（PII）不得跨越司法管辖边界。单模型部署无法强制执行此项规定，因为在进行任何路由决策之前，数据就已经进入了模型端点。
单模型推理的低效性： 将所有查询都路由到单个大型模型会消耗大量的 GPU 容量，无论查询复杂度如何。这造成了基础设施争用，并忽略了在受监管领域中，大多数查询仅需小型模型即可完成简单的查找任务这一事实。
现有路由方法的局限性：
- 混合专家模型（MoE）： 虽然 MoE 在专家层之间路由 Token，但所有专家都保持在内存中加载状态，且路由发生在数据到达端点之后。这无法实现地理位置上的强制执行。
- 先前的路由方法（FrugalGPT、RouteLLM、Hybrid LLM）： 这些方法侧重于成本或质量，但缺乏集成的 PII 检测和地理路由功能。它们未能通过设计实现合规性，往往允许敏感数据在做出决策前就已跨越区域基础设施。

方法论

本文提出了 ComplianceGate，一种在**推理前层（pre-inference layer）**强制执行合规性和优化成本的分类器门控路由架构。该系统在私有网络内运行，由两个主要组件构成：

1. 编码器分类器

一个双向 Transformer 编码器（12 层，768 隐藏维度，约 1.34 亿参数）位于任何解码器推理之前。

训练： 在 20 亿个英文 Token 上进行预训练，并在 50,000 个特定领域的示例上进行了微调。
功能： 它评估原始查询文本的复杂度（简单、中等、复杂）和敏感度（存在 PII 与非敏感数据）。
输出： 六个标签（3 个复杂度等级与 2 个敏感度维度的笛卡尔积）的概率分布及置信度分数。
性能： 推理时间低于 10 毫秒（实验中具体为 7 毫秒）。

2. 路由逻辑与回退机制

路由层根据分类器的输出，在任何 LLM 计算开始前做出确定性决策：

地理强制执行： 包含 PII 的查询被路由至本地端点（位于管辖区内）。非敏感查询则路由至跨区域基础设施。
模型层级选择：
- 简单查询 $\rightarrow$ 小型、快速的稠密模型（例如 Nova Lite, Gemma 4B）。
- 中等查询 $\rightarrow$ 中型规模模型（例如 Gemma 27B, Ministral 14B）。
- 复杂查询 $\rightarrow$ 大型、高能力模型（例如 Qwen3-480B）。
基于置信度的回退： 如果分类器的置信度低于设定的阈值（默认 80%），系统将默认采用最严格的标签（complex_pii）。这确保了在不确定情况下，查询会被路由到本地的全容量模型，从而在结构上防止数据驻留违规。

3. 部署架构

系统通过基础设施即代码（IaC）进行容器化部署。每个模型层级都在独立的基础设施上运行，不存在共享内存或故障域，从而允许在不影响其他层级的情况下进行独立的扩展与升级。

核心贡献

设计即合规（Compliance-by-Design）： 该架构通过在任何 LLM 计算发生前检测 PII 并路由至本地端点，使数据驻留违规在结构上变得不可能。
多层级成本优化： 不同于二元路由或 MoE，本系统支持多个模型层级。它将简单查询路由至成本比前沿模型低 6–8 倍的模型，从而显著降低了与实际流量复杂度成比例的推理成本。
性能与韧性： 通过避免将简单的请求处理通过庞大的模型，该系统降低了延迟并提高了吞吐量。独立的层级确保了一个模型的故障不会导致整个系统的级联失效。
形式化成本模型： 本文推导了一个关于分数节省额（ $S$ ）的数学模型，证明了当查询分布向简单请求倾斜时（这在金融服务业很常见），节省效果最为显著。

实验结果

系统在 Amazon Bedrock (us-east-2) 上使用 600 个查询进行了评估，对比基准为 Qwen3-480B-A35B (MoE) 与门控路由配置。

准确率： 编码器分类器达到了 99.2% 的准确率，且具有近乎完美的 PII 召回率。
延迟降低：
- 简单查询： 快 2–4 倍（490–840ms 对比基准的 ~1850ms）。
- 中等查询： 快 1.7–3.3 倍（1140–2250ms 对比基准的 ~3750ms）。
- 复杂查询： 无差异（使用相同模型）。
- 中位延迟： 全面降低了 39%。
吞吐量： 针对简单/中等查询，门控路由实现了 122–200 tokens/second，而 MoE 基准仅为 50–64 tokens/second。
可预测性（方差）：
- MoE 基准显示出高延迟方差（最大/最小比值高达 34.5倍）。
- 门控路由将方差降低至 1.1–2.0倍，使得 SLA 保证变得可行。
成本节省：
- 在等分布查询（33% 简单/中等/复杂）下节省 33%。
- 在金融服务业典型的偏态分布（60% 简单，25% 中等，15% 复杂）下节省 52%。
- 在高度偏态分布（70% 简单）下预计节省 74%。

意义与主张

本文声称 ComplianceGate 为受监管行业提供了一种生产级的替代方案，可用于替代单模型和 MoE 部署。其意义在于实现了从“事后”策略执行到**“推理前”结构化强制执行**的架构转变。

结构性优势： 不同于 MoE 在数据进入模型后无法强制执行地理路由，该架构在路由层便强制执行了司法管辖边界。
可扩展性： 它允许独立扩展模型层级，而 MoE 则需要扩展整个集群。
实用性： 凭借极低的路由开销（<0.1% 的总成本）和极高的分类准确率，该系统证明了经过训练的编码器可以在满足严格合规指令（数据驻留）的同时，在不牺牲复杂查询响应质量的前提下，实现激进的成本效率目标。

作者总结道，这项工作的价值不在于选择了特定的模型，而在于其提供的路由框架——该框架能够根据每个查询、每个管辖区以及每个约束条件下的可衡量复杂度与敏感度，实现模型与查询的精准匹配。