🤖 AI

KBF: Knowledge Boundary as Fingerprint for Language Model and Black-Box API Auditing

本文介绍了 KBF，一种低成本的黑盒审计协议，它利用知识边界附近稳定的数值召回率来为语言模型 API 生成指纹，从而在无需直接访问模型的情况下，有效检测生产端点和影子 API 中涉及的经济相关模型替换及混合路由攻击。

原作者： Yijia Fang, Yiqing Feng, Bingyu Li, Mingxun Zhou

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Yijia Fang, Yiqing Feng, Bingyu Li, Mingxun Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正从一家高档的第三方转售商那里购买一瓶葡萄酒。酒标上写着，这是一款来自著名酒庄的稀有昂贵年份酒。但你无法看到瓶中的酒液，转售商也不允许你在购买前品尝。你怀疑他们可能为了保持高利润率，将昂贵的葡萄酒换成了廉价的大众品牌。

这正是当今**大型语言模型（LLM）**用户所面临的困境。许多人通过“中继”服务或转售商购买这些 AI 模型的访问权限。这些服务充当中间人：你向他们付款，他们再将你的请求转发给实际的 AI 提供商。问题在于？转售商可能会秘密地将你付费购买的高价、高质量 AI 替换为廉价、低质量的 AI，同时却告诉你那是真货。

本文介绍了一种名为KBF（知识边界指纹）的新工具，它无需开瓶或进入工厂内部，就能揪出这些“换酒者”。

核心理念：“知识边界”

大多数人认为，可以通过向 AI 提出难题或让其自我介绍来区分两个 AI 模型。但 AI 很狡猾；它们经常谎称自己的身份，或者被诱导表现得像其他人。

研究人员发现了一种不同的识别 AI 的方法：观察其知识的边缘。

将 AI 的知识想象成一座图书馆。

图书馆内部（常识）： 如果你问"2+2 等于几？”，几乎每个 AI 都会回答"4"。这无助于你区分它们。
图书馆外部（过于生僻）： 如果你询问一本不存在的书中某个具体的虚构事实，AI 只会随机猜测。这噪音太大，毫无用处。
边界（最佳点）： 这是图书馆的边缘。这些事实刚好处于 AI 知识的边缘。
- 一个聪明、昂贵的 AI 可能会知道确切答案。
- 一个廉价的 AI 可能会猜出一个略微错误的答案。
- 关键在于，即使 AI 答错了，它往往每次都会给出相同的错误答案。

研究人员称这些为“稳定的错误答案”。它们就像独特的指纹。如果一个昂贵的 AI consistently 说“这种生僻化学物质的沸点是 106 度”，而一个廉价的 AI consistently 说“是 108 度”，这种差异就是指纹。即使昂贵的 AI 答错了，其错误的模式也是其独有的。

KBF 的工作原理（“审计”过程）

KBF 是一个三步流程，用于当场揪出转售商：

为真品“指纹化”（离线）：
首先，审计员与官方 AI（即转售商声称正在销售的 AI）进行对话。他们向它提出数千个关于“知识边界”附近生僻事实的问题。他们记录下官方 AI 的确切回答，即使它是错的。他们构建了该特定 AI 如何处理其知识边缘的“指纹”。
校准噪音：
审计员再次向官方 AI 提出相同的问题，以观察其“抖动”程度。有时，即使是真正的 AI，也可能因随机的计算机噪音而给出略有不同的答案。KBF 测量这种自然的“抖动”，以便了解正常错误是什么样子的。
审计（在线）：
现在，审计员向可疑的转售商提出相同的问题。
- 如果转售商是诚实的，他们的回答将与官方指纹匹配（在自然“抖动”范围内）。
- 如果转售商作弊并使用了廉价 AI，回答将偏离官方指纹。廉价 AI 可能会给出不同的错误答案，或者根本不回答。

KBF 使用统计测试来判断：“这种差异仅仅是随机噪音，还是证明了正在使用不同的 AI？”

他们的发现

研究人员在16 种不同的真实世界 AI 模型和各种转售服务上测试了 KBF。结果如下：

它能揪出作弊者： KBF 成功识别了155 起转售商将模型替换为更廉价模型的案例。它从未错误指控诚实的转售商。
它很稳健： 转售商经常改变其 AI 的设置（添加“人格设定”、改变温度参数或使用额外工具）。即使设置发生变化，KBF 也能完美运作。而其他方法则失效，并错误地指控诚实的人作弊。
它能揪出部分替换： 有时，转售商不会替换每一个请求；他们可能会替换 10% 以节省成本。KBF 足够敏感，即使只有小部分流量被替换，也能捕捉到这种“混合路由”。
现实世界结果： 团队使用 KBF 审计了六个可疑的“影子”API 平台，这些平台宣传提供顶级模型的廉价访问权限。他们发现，27 个端点中有 7 个在撒谎，声称运行的模型与实际不符。有趣的是，谎言主要集中在最昂贵、最高端的模型（如 Claude）上，因为那里有最大的省钱空间。

这为何重要

在此之前，如果你想确认转售商是否诚实，你只能猜测，或者问 AI“你是谁？”（它可能会撒谎），或者依赖未经证实的社区测试。

KBF 提供了一种低成本、科学的方法来验证你购买的内容。它不需要转售商配合，不需要特殊访问 AI 内部代码的权限，也不需要要求 AI 执行任何危险或奇怪的操作。它只是向 AI 询问生僻事实，并检查答案是否与你所付费模型的“指纹”相匹配。

简而言之，KBF 是AI 转售商的测谎仪，确保当你支付“ premium wine（高端酒）”的费用时，你真正得到的是高端酒瓶，而不是廉价替代品。

技术摘要：KBF——作为语言模型与黑盒 API 审计指纹的知识边界

1. 问题定义

本文探讨了大型语言模型（LLM）不断发展的中继和转售 API 生态系统中固有的“信任问题”。用户通常通过聚合模型的第三方中介访问 LLM，这些中介提供统一的计费和切换功能。然而，这些中介可能会为了增加利润，悄无声息地将广告中宣传的昂贵旗舰模型替换为更便宜、能力较弱的后端模型。

核心挑战在于黑盒中继审计：在无法获取以下信息的情况下，确定可疑的中继端点（ $O_{sus}$ ）是否正在提供其声称的特定模型（ $O_{ref}$ ）：

模型权重、logits 或训练数据。
服务器端的路由日志或隐藏的系统提示词。
提供商的配合（例如水印或可验证的推理）。

审计方仅拥有对官方参考端点和可疑端点的公共 API 访问权限。目标是检测完全替换（提供完全不同的模型）和混合路由（同时提供声称的模型和更便宜的替代品），同时保持低误报率（避免对诚实提供商的错误指控），并对良性部署变化（例如不同的系统提示词、温度设置或 RAG 包装器）保持鲁棒性。

现有的黑盒方法无法同时满足这些要求。行为指纹法（如 LLMmap）依赖于固定的探测，容易被规避或对包装器敏感。分布测试（如 MET）在配置变化下方差过高。自我识别提示不可靠，因为模型经常错误地陈述其身份。

2. 方法论：知识边界指纹（KBF）

作者提出了KBF，这是一种利用知识边界附近稳定的数值回忆作为指纹的协议。

核心直觉

作者观察到，虽然模型在常见事实（低信号）上达成一致，在生僻事实（不稳定）上失败，但它们在“知识边界”附近表现出独特的行为：

边界内部：模型能稳定地回忆正确的数值事实。
边界刚外侧：模型经常产生稳定但事实错误的数值。
这些“错误但稳定”的值充当了持久的、特定于模型的参数关联。替代模型不太可能重现完全相同的稳定错误，也不太可能重现参考模型特定的稳定正确值。

KBF 协议

KBF 分为三个阶段运行：

阶段 1：探测生成（离线）

自适应前沿搜索：审计方查询官方参考端点（ $O_{ref}$ ），以提出跨各种领域（化学、天文学、数学等）的候选数值事实。搜索过程会自适应地向稳定回忆边界附近的日益生僻的事实移动。
参考一致性检查：在多种良性配置下（例如，改变系统提示词、温度）重新查询候选项。仅保留那些 $O_{ref}$ 能产生稳定、可解析数值（即使事实错误）的候选项。
对比筛选（可选）：为了提高效率，将候选项与已知的更便宜替代品（例如，90 亿参数模型）进行筛选。如果替代品与参考项匹配，则丢弃该探测，以确保其区分能力。
输出：一组紧凑的探测 $P_{ref} = \{(q_i, d_i, a_i, match_{d_i})\}$ ，其中 $a_i$ 是参考端点的共识值。

阶段 2：自校准

审计方在针对可疑端点预期的特定审计配置下，使用已注册的探测重新查询 $O_{ref}$ 。
系统计算自不一致性（ $k_{self}$ ），以估计参考端点的“普通自噪声”。
计算Clopper-Pearson (CP) 上限置信度（ $p_0$ ）。这为参考端点本身预期的错误数量设定了一个保守的零假设容限。

阶段 3：可疑端点审计（在线）

审计方将已注册的探测发送给可疑端点（ $O_{sus}$ ）。
解析响应，并使用特定领域的匹配规则将其与参考共识 $a_i$ 进行比较。
执行二项统计检验：如果不一致性数量（ $k$ ）超过由 $p_0$ 定义的阈值（显著性水平 $\alpha = 0.05$ ），则拒绝零假设（ $H_0$ ： $O_{sus} \approx O_{ref}$ ），并将该端点标记为不同。

自适应路由扩展
对于混合路由（其中仅有一部分 $\alpha$ 的流量被替换），KBF 采用两轮审计：

第一轮：审计所有探测。
第二轮：仅重新审计第一轮中不匹配的探测。
这将查询集中在最可能被替换的流量上，从而即使在替换率较低时（例如 5–10%）也能进行检测。

3. 主要贡献

新颖信号识别：本文确定了“知识边界数值回忆”（包括可重复的错误答案）作为一种稳定且特定于模型的信号，它不依赖于自我识别、风格或特权元数据。
端到端协议（KBF）：一种黑盒审计协议，通过自适应前沿搜索、配置稳定性过滤和对比筛选，将该信号转化为紧凑的探测集。
全面评估：在 16 个生产 LLM 端点（8 个系列，3 个价格层级）上的评估，证明了对具有经济相关性的替换具有高度区分度。
现实世界应用：在六个“影子 API"平台上部署，成功在无需提供商配合的现实环境中标记出统计不一致的端点。
开放资源：发布代码、数据和基准探测集以支持可复现性。

4. 实证结果

作者将 KBF 与三个基线（MET、LLMmap、ZeroPrint）进行了评估，发现：

高准确率：KBF 检测到了所有 155 个具有经济相关性的替换（包括同系列内的降级），在相同参考对照上实现了0 个误报。基线方法误报率很高（LLMmap 高达 37.5%）或漏掉了替换。
鲁棒性：在六种不同的部署配置下（角色提示词、温度变化、RAG 包装器），KBF 保持了0 个误报并检测到了100% 的替换。基线方法要么产生过多的误报，要么因对包装器敏感而漏掉被替换的模型。
混合路由检测：KBF 在仅5–10%的流量被路由到替代品时（针对基于 Opus 的模型）检测到了替换，在更困难的情况下（基于 Sonnet 的模型）甚至高达50%。
成本效益：
- 注册成本：生成模型版本探测的一次性成本约为 22 美元。
- 审计成本：审计所有 16 个模型的总成本约为 0.39 美元（每个模型约 0.02–0.24 美元）。
影子 API 发现：在对 6 个影子平台上的 27 个端点的审计中：
- 7 个端点被标记为统计不一致。
- 7 个标记中的 6 个集中在高级 Claude 端点（Opus 和 Sonnet）上，这与用便宜模型替换昂贵模型的经济激励相一致。
- 层级分析：在提供同一模型多种价格层级的平台上，低价层级被标记的可能性显著高于高价层级，表明存在依赖于层级的后端替换。

5. 意义与主张

本文声称，KBF 为第三方审计 LLM 中继 API 提供了一种实用、低成本且鲁棒的解决方案。其意义在于：

操作可行性：它严格在黑盒设置下工作，不需要模型提供商或中继的配合。
经济相关性：它专门针对中继的经济激励（用便宜模型替换昂贵模型），而不是通用的模型识别。
可靠性：通过针对特定参考端点的自噪声进行校准，它避免了分布或行为指纹方法在部署配置变化时的高误报率。
可操作性：它使用户和研究人员能够验证服务声明，并识别可能提供降级或不一致服务的“影子”API，特别是针对高价值的专有模型。

作者保持了谦逊的态度，指出 KBF 是一种统计分类工具，而非后端身份密码学证明。他们承认，高风险的操作使用需要进一步的校准（例如，跨时间和跨地区的重复审计），并且当前的二项模型假设探测是独立的，这可能需要针对领域块相关性进行修正。