技术摘要：“您的大语言模型是否在向您多收费？分词、透明度与激励机制”

问题陈述

本文探讨了当前“大语言模型即服务”（LLM-as-a-Service）定价模式中的一个根本性漏洞，即用户按固定单价支付令牌（token）费用的机制。核心问题源于提供商（代理人）与用户（委托人）之间的信息不对称。提供商能够观察整个生成过程，包括中间步骤和输出的具体分词方式，而用户仅能看到最终文本，并根据报告的令牌数量付费。

由于分词并非唯一——多个令牌序列可以表示同一个字符串——提供商具有虚报输出分词方式以最大化收入的财务动机。例如，提供商可以将代表“大马士革”（Damascus）的一个令牌拆分为四个较小的令牌（"Da"、"ma"、"s"、"cus"），从而按四个令牌收费而非一个，且不改变可见文本。这构成了道德风险，即提供商以牺牲用户利益为代价来最大化自身效用。

本文研究了如果要求提供商保持透明（例如，共享下一个令牌的概率），这种虚报行为是否可被检测，以及是否存在一种激励相容的定价机制能够彻底消除这种行为。

方法论

作者将用户与大语言模型提供商之间的互动建模为一个委托 - 代理问题。

1. 形式化建模：

   • 效用函数： 提供商的效用定义为来自报告令牌序列的收入，减去生成成本和报告策略的成本。
   • 定价机制： 研究聚焦于加法定价机制，具体比较了标准的按令牌付费模型与拟议的按字符付费模型。
   • 合理性约束： 为了逃避检测，虚报的提供商必须确保报告的令牌序列在给定的字符串内容下是“合理的”（例如，符合 top-$p$ 或 top-$k$ 采样分布）。

2. 理论分析：

   • 作者证明，在 top-$p$ 采样下寻找字符串的最长合理分词是NP 难的。这表明，在不引起怀疑的情况下，通过虚报来最大化收入在一般情况下是计算上不可行的。
   • 他们刻画了激励相容的定价机制，证明一个机制是激励相容的，当且仅当价格线性地取决于输出字符串的字符数，而非令牌数。

3. 算法概念验证：

   • 尽管存在 NP 难的结果，作者开发了一种高效的启发式算法（算法 2）。该算法迭代地将生成输出中的令牌拆分为更小的、合理的令牌，以增加令牌数量。
   • 该算法检查合理性（例如，验证令牌是否落在 top-$p$ 概率集中），仅当拆分后的序列保持合理时才报告该序列；否则，报告真实的序列。
   • 作者分析了通过多收费获得的额外收入与验证合理性所需的计算成本（GPU 能耗）之间的权衡。

4. 实证评估：

   • 实验使用了来自 Llama、Gemma 和 Ministral 系列的模型。
   • 提示语（Prompts）源自 LMSYS Chatbot Arena 平台。
   • 该研究测量了多收费令牌的百分比、合理虚报的比例，以及在各种参数（温度、top-$p$ 值和利润率）下提供商的净效用增益。

主要贡献

1. 激励分析： 本文证明，按令牌付费的机制为提供商虚报分词方式创造了直接的财务激励。即使有透明度要求，这种激励依然存在，因为提供商总能找到一些合理的、更长的分词方式来增加收入。
2. 复杂性结果： 作者确立了寻找最优（最长）合理分词是 NP 难的，这意味着提供商无法在不付出巨大计算努力的情况下轻松计算出绝对最大多收费额度。
3. 启发式漏洞： 关键在于，本文表明次优的虚报在计算上是廉价的，且在财务上是获利的。所提出的启发式算法允许提供商显著多向用户收费（例如，对于特定模型和参数，最高可达 11.2%），其净效用增益超过了验证成本。
4. 激励相容定价： 本文证明，唯一能消除虚报分词方式激励的加法定价机制是按字符付费。在此机制下，价格仅由字符串长度决定，使得分词方式与成本无关。
5. 过渡策略： 作者提出了一种方法，使提供商能够从按令牌付费过渡到按字符付费，同时保持其平均利润率。这涉及根据当前的每令牌价格（$r_o$）和提供商输出分布中令牌与字符的实证平均比率（$tpc$）来设定每字符价格（$r_c$）。

结果

• 多收费能力： 使用算法 2，不诚实的提供商可以以显著的幅度向用户多收费。例如，使用 Llama-3.2-1B-Instruct 模型且 $p=0.99$ 时，提供商可以多收费 11.2% 的令牌。即使在更严格的合理性阈值（$p=0.90$）下，多收费仍然可能（0.28%）。
• 盈利能力： 虚报带来的额外收入始终超过了验证合理性所需的能源成本。对于像 Llama-3.2-1B-Instruct 这样的模型，无论提供商的利润率如何，当 $p=0.99$ 时，效用增益均超过 10.5%。
• 利润率方差： 在拟议的按字符付费机制下，提供商的利润率会因不同输出而异（取决于令牌与字符的比率）。然而，作者表明，通过正确校准字符价格，平均利润率保持稳定，且绝大多数输出的利润率仍为正（例如，对于 Llama-3.2-1B-Instruct，超过 92%）。
• 语言敏感性： 研究指出，在按字符付费模式下，令牌与字符比率较高（通常是少数族裔语言）的语言会导致提供商利润率降低，这实际上与按令牌付费模型相比，减轻了这些语言用户的成本负担。

意义与主张

本文认为，当前的按令牌付费定价机制造成了一种系统性漏洞，即使用户无法验证是否被多收费，即使提供商对其采样过程保持透明。作者主张：

1. 透明度不足： 仅仅要求提供商共享下一个令牌的概率并不能防止多收费，因为存在高效的启发式方法来寻找有利可图的合理虚报。
2. 激励相容是必要的： 要真正消除战略性虚报的激励，行业必须转向按字符付费的定价机制。这将成本直接与用户获得的价值（文本字符串）对齐，而不是与内部表示（令牌）对齐。
3. 过渡的可行性： 向按字符付费的过渡对提供商在经济上是可行的，因为他们可以在消除用户被多收费风险的同时，维持其平均利润率。

作者总结道，如果没有这种范式转变，大语言模型即服务的用户仍将面临自利提供商的侵害，这与历史上其他行业因信息不对称导致剥削的市场失灵相类似。他们强调，尽管存在法律和声誉风险，但强烈的经济激励往往驱动此类行为，因此需要结构性的定价解决方案。