🤖 AI

Auditing Pay-Per-Token in Large Language Models

该论文提出了一种基于鞅理论的审计框架，能够以高概率在观测少量输出后准确检测大语言模型服务商的代币计费欺诈行为，同时确保不会误报诚实的提供商。

原作者： Ander Artola Velasco, Stratis Tsirtsis, Manuel Gomez-Rodriguez

发布于 2026-03-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Ander Artola Velasco, Stratis Tsirtsis, Manuel Gomez-Rodriguez

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这是一篇关于**“如何防止大模型服务商在‘按字收费’中作弊”的学术论文。为了让你轻松理解，我们可以把这篇论文的故事想象成一场“餐厅与食客之间的账单保卫战”**。

🍽️ 核心故事：被“注水”的账单

想象一下，你走进一家高科技餐厅（大模型服务提供商），点了一道菜（输入提示词）。厨师（AI 模型）开始烹饪，最后端给你一盘菜（生成的回答）。

这家餐厅的收费规则很简单：按“食材颗粒数”（Token）收费。

如果你吃的是“米饭”，每粒米 1 块钱。
如果你吃的是“面条”，每根面条 1 块钱。

问题出在哪里？
在这个世界里，“颗粒”的定义权完全在厨师手里。

厨师端给你一盘“西红柿炒蛋”。
诚实的厨师会告诉你：“这盘菜由 4 个颗粒组成（西红柿、炒、蛋、句号）。”你付 4 块钱。
狡猾的厨师（不诚实的提供商）可以玩弄文字游戏。他把“西红柿”切成“西、红、柿”三个颗粒，把“炒”切成“炒、油”两个颗粒。虽然你吃到的味道和样子（字符串内容）完全没变，但他现在告诉你：“这盘菜由 7 个颗粒组成！”
结果：你付了 7 块钱，但吃到嘴里的东西和 4 块钱时一模一样。这就是论文中提到的**“代币虚报”（Token Misreporting）**。

由于只有厨师知道切菜的过程，你作为顾客（用户）根本没法知道他是切了 4 块还是 7 块。这就是信息不对称带来的“道德风险”。

🕵️‍♂️ 论文的主角：一位“数学侦探”

为了解决这个问题，作者们设计了一套**“第三方审计系统”。想象这位审计员是一位拥有“上帝视角”**的数学侦探。

1. 侦探的超能力：知道“标准做法”

这位侦探手里有一本**“标准食谱”（即模型的内部概率分布）。他知道，对于这道“西红柿炒蛋”，按照标准做法，厨师平均**应该切出多少块。

虽然厨师每次切法可能不同（因为 AI 生成是随机的），但侦探知道**“平均长度”**应该是多少。

2. 侦探的武器：martingale（鞅）—— 一个“公平游戏”的计数器

侦探手里有一个计数器（论文中的 $M$ ）。

如果厨师是诚实的：他报的颗粒数，和侦探算出的“平均标准数”差不多。侦探的计数器会像走钢丝一样，在 1 附近晃来晃去，不会大幅上涨。
如果厨师在作弊：他报的颗粒数总是比标准多。侦探的计数器就会像滚雪球一样，开始疯狂上涨。

3. 侦探的规则：一旦超过红线，立刻抓人

侦探设定了一条**“红线”**（阈值）。

只要计数器涨过这条红线，侦探就敢拍着胸脯说：“这个厨师在作弊！”
论文最厉害的地方在于：他们证明了，只要厨师真的在作弊，这个计数器最终一定会涨过红线（不管厨师怎么变着花样切菜）。
同时，他们保证了：如果厨师是诚实的，计数器几乎不可能误报（误报率控制在 5% 以下）。

🧪 实验结果：侦探有多快？

作者们找来了几个著名的“厨师”（Llama, Gemma, Ministral 等模型），模拟了各种作弊手段（比如随机切分、智能切分）。

结果令人惊讶：侦探只需要观察大约 70 次 订单（查询），就能 100% 确定那个作弊的厨师在搞鬼。
对比：以前可能需要几千次才能发现，现在 70 次就够了。而且，对于诚实的厨师，侦探几乎不会冤枉好人。

💡 总结：这篇论文意味着什么？

揭露了“按字收费”的漏洞：就像按重量卖西瓜，如果卖家可以随意把西瓜皮算进重量里，买家就吃亏了。这篇论文指出了大模型收费中类似的漏洞。
提供了“照妖镜”：它不需要拆穿厨师的厨房（不需要完全公开源代码），只需要一个受信任的第三方（审计员）拿着“标准食谱”去核对，就能发现谁在偷偷注水。
保护了用户钱包：随着 AI 服务越来越普及，这种“审计工具”能防止服务商利用信息差多收钱，让市场更公平。

一句话总结：
这就好比给大模型服务商装了一个**“智能防作弊计数器”**，只要他们敢在“颗粒数”上动手脚多收钱，这个计数器就会像警报器一样，在短短几十次交易后大声尖叫，把骗子揪出来！

这是一篇关于审计大型语言模型（LLM）“按 Token 付费”机制中 Token 数量虚报问题的学术论文。文章提出了一种基于**鞅理论（Martingale Theory）**的审计框架，旨在检测服务提供商是否通过操纵 Token 分词（Tokenization）来虚报数量，从而向用户多收费。

以下是对该论文的详细技术总结：

1. 研究背景与问题定义 (Problem)

背景：目前 LLM 即服务（LLM-as-a-Service）的主流商业模式是“按 Token 付费”。用户通过 API 提交提示词，提供商返回生成结果并按 Token 数量收费。
核心问题：由于 Token 化（将文本分割为 Token 的过程）不是唯一的，同一个字符串可以有多种不同的 Token 分词方式。提供商拥有模型生成的完整过程信息（信息不对称），而用户只能看到最终输出的字符串。
道德风险：提供商有经济动机去“策略性地”选择一种 Token 数量更多的分词方式来报告给用户，从而在字符串内容不变的情况下增加收费（即Token 虚报，Token Misreporting）。
挑战：用户无法直接验证提供商报告的 Token 数量是否真实，因为不同的分词方式可能生成相同的字符串。现有的审计方法难以在不访问模型内部的情况下检测这种欺诈。

2. 方法论 (Methodology)

作者将审计问题建模为一个**序贯假设检验（Sequential Hypothesis Test）**问题，并引入了一个受信任的第三方审计员（Auditor）。

2.1 核心假设

审计员权限：审计员拥有被审计模型（LLM）的下一个 Token 概率分布（Next-token probability distribution）。这可以通过模型是开源的（Open-weight）或监管要求（如欧盟 AI 法案）强制提供商向审计员开放模型来实现。
审计目标：检测提供商的报告策略 $\pi$ 是否导致报告的 Token 序列长度 $\text{len}(\tilde{T})$ 在期望上大于模型实际生成的 Token 序列长度 $\text{len}(T)$ 。

2.2 技术组件

无偏估计器 (Unbiased Estimator)：
- 为了判断提供商是否虚报，审计员需要知道：对于给定的输出字符串 $s$ ，模型在生成该字符串时，平均使用了多少个 Token。
- 作者提出了一种基于**控制变量法（Control Variates）和随机截断（Randomized Truncation）**的蒙特卡洛估计方法（Algorithm 1）。
- 该方法通过修改模型的生成过程（Masked generation），强制生成字符串为 $s$ 的 Token 序列，并利用重要性采样（Importance Sampling）权重，构建了一个无偏估计量，用于计算 $E[\text{len}(T) | \text{str}(T)=s]$ 。
基于鞅的序贯检验 (Martingale-based Sequential Test)：
- 定义证据量 $E_i = \text{len}(\tilde{T}_i) - \text{EstimateLength}(Q_i, \text{str}(\tilde{T}_i))$ ，即报告长度与估计的平均真实长度之差。
- 构建一个随机过程 $M_i$ （鞅）：
  $M_i = M_{i-1} \cdot (1 + \lambda_i \cdot E_i)$
  其中 $\lambda_i$ 是权重参数。
- 检验逻辑：
  - 原假设 $H_0$ ：提供商是诚实的（ $E[\text{len}(\tilde{T})] = E[\text{len}(T)]$ ）。此时 $M_i$ 是一个鞅，期望值保持不变。
  - 备择假设 $H_1$ ：提供商在虚报（ $E[\text{len}(\tilde{T})] > E[\text{len}(T)]$ ）。此时 $M_i$ 会呈指数级增长。
- 判定规则：一旦 $M_i$ 超过阈值 $1/\alpha$ （ $\alpha$ 为预设的假阳性率上限，如 0.05），则判定提供商虚报。

3. 主要贡献 (Key Contributions)

理论框架：首次提出了基于鞅理论和 e-value 的 LLM Token 虚报审计框架。
无偏估计器：开发了一种新颖的、无偏且高效的估计器，用于计算模型生成特定字符串所需的平均 Token 长度，这是审计的基础。
严格的理论保证：
- 假阳性控制：证明了在诚实提供商的情况下，错误标记（False Positive）的概率严格控制在 $\alpha$ 以内（基于 Ville 不等式）。
- 检测保证：证明了无论提供商采用何种虚报策略，只要存在虚报强度（Misreporting Intensity $I(\pi) > 0$ ），审计框架最终必然会检测到虚报（即检测时间 $\tau$ 是有限的）。
通用性：该框架不依赖于特定的虚报策略，对任意非确定性报告策略均有效。

4. 实验结果 (Results)

作者在 Llama、Gemma 和 Ministral 等多个系列的 LLM 上进行了实验，使用了 LMSYS Chatbot Arena 的数据集。

对诚实提供商的测试：
- 在 150 次重复实验中，测试过程 $M_i$ 始终保持在初始值附近，从未超过阈值 $1/\alpha$ 。
- 验证了框架在实际应用中几乎不会错误地标记诚实提供商（假阳性率远低于理论上限 0.05）。
对虚报提供商的测试：
- 模拟了两种虚报策略：随机策略（Random）和启发式策略（Heuristic，优先选择概率较高的分词）。
- 检测速度：框架在观察到约 70 个 报告输出后，即可成功检测出虚报行为。
- 强度影响：虚报强度（ $I(\pi)$ ，即平均多报的 Token 数）越高，检测所需的时间越短。
- 鲁棒性：即使审计员使用的是非量化模型，而提供商使用的是量化模型（近似访问），框架依然保持有效。

5. 意义与影响 (Significance)

解决信息不对称：为 LLM 服务市场提供了一种技术手段，解决了用户无法验证 Token 计数的核心痛点，遏制了提供商的道德风险。
监管与合规：为监管机构（如欧盟 AI 法案）提供了具体的技术工具，使其能够强制要求第三方审计员访问模型以验证计费准确性。
经济激励对齐：通过引入审计机制，迫使提供商放弃虚报策略，从而保护用户利益，促进 LLM 市场的健康发展。
方法论创新：将序贯统计检验和鞅理论应用于 LLM 审计领域，为后续研究算法审计（Algorithmic Auditing）提供了新的范式。

总结

这篇论文通过严谨的数学推导和广泛的实验验证，证明了利用模型概率分布和序贯统计检验可以有效检测 LLM 提供商的 Token 虚报行为。该框架不仅具有理论上的完备性（保证检测且控制误报），而且在实践中表现出高效性（仅需约 70 次查询即可发现欺诈），为构建可信的 LLM-as-a-Service 市场奠定了重要基础。