技术摘要：提示词的价值：一种基于 LLM 相对柯尔莫哥洛夫复杂度的视角

1. 问题陈述

随着大语言模型（LLM）成为创造有价值人工制品（证明、代码、设计、假设）的核心，一个关键的经济学问题随之而来：我们如何衡量人类输入（即提示词/Prompt）所提供的价值？

传统的指标（如 Token 计数）无法捕捉价值，因为一个简短的提示可能具有决定性作用，而冗长的提示可能毫无意义。一个稳健的度量标准必须满足两个标准：

1. 比较难度： 它必须能够比较在有提示 $p$ 和无提示的情况下生成人工制品 $z$ 的难度。
2. 计算权衡： 它必须考虑到模型在没有提示的情况下可以通过“思考”更长时间来进行补偿。因此，该度量标准不仅要为提示增加了输出的概率进行计分，还要为其减少了寻找输出所需的计算量进行计分。

现有的算法信息论（柯尔莫哥洛夫复杂度）是不可计算的，并且忽略了计算时间。资源受限的版本通常难以计算。此外，经典的互信息无法自然地处理现代 LLM 中固有的“思考过程”（思维链/Chain of Thought）。

2. 方法论

本文提出了一种 LLM 相对的概率 Levin-Kolmogorov 复杂度（记作 $\tilde{pKt}$），用于定义提示词价值。该方法从非思考模型演进到具有显式思考阶段的模型。

2.1 非思考型 LLM（热身阶段）

对于直接生成输出而不经过独立思考阶段的自回归模型：

• LLM 相对复杂度： 通用图灵机被特定的 LLM $M$ 所取代。一个“程序”被定义为一个二进制字符串，代表迫使模型输出特定字符串 $z$ 的采样随机性（二进区间）。
• 先验复杂度： 为了使其高效可计算，作者使用了输出的对数概率：$\tilde{K}_M(z|y) = -\log_2 P_M(z|y)$。
• 提示词价值： 定义为先验复杂度的差值：$\tilde{Val}_M(p; z) = \tilde{K}_M(z) - \tilde{K}_M(z|p)$。这等同于对数似然比（逐点互信息/PMI），表示在有提示 $p$ 的情况下，$z$ 比无提示时出现的概率高出多少倍。

2.2 带有思考能力的 LLM

现代 LLM 通常在发出最终人工制品 $z$ 之前会生成一个“思考路径” $H$（思维链）。这引入了两个挑战：

1. 思考的随机性： 思考路径 $H$ 是随机的。简单地对所有可能的思考进行平均可能会受到极少数成功路径的偏差影响。
2. 计算节省： 一个好的提示不仅可能增加概率，还可能消除长序列思考的需求。

提出的解决方案：

• 实现态思考的 Levin 复杂度： 对于一个固定的实现态思考路径 $H$，人工制品 $z$ 的复杂度通过最小化描述长度（给定 $H$ 时 $z$ 的对数概率）与思考前缀成本的对数之和来定义。
  $$\tilde{Kt}^\kappa_M(z | y; H) := \min_{t} \left( -\log_2 P_M(z | y H_{\le t} \text{EOT}) + \log_2 \kappa(t) \right)$$
  这里，$\kappa(t)$ 是一个针对 $t$ 个思考 Token 的等效成本函数。通过对 $t$ 进行最小化，允许模型在成功概率足够高以抵消成本时提前停止思考。
• 概率复杂度 ($\tilde{pKt}$)： 由于 $H$ 是随机的，作者将复杂度定义为多次采样运行中实现态复杂度的中位数（或 $\delta$-分位数）。这避免了对罕见、“幸运”思考路径的敏感性。
  $$\tilde{pKt}^\kappa_{M,\delta}(z | y) := \text{med}_\delta \left[ \tilde{Kt}^\kappa_M(z | y; H_y) \right]$$
• 提示词价值： 最终价值是这些概率复杂度的差值：
  $$\tilde{Val}^\kappa_{M,\delta}(p; z) = \tilde{pKt}^\kappa_{M,\delta}(z) - \tilde{pKt}^\kappa_{M,\delta}(z | p)$$

3. 核心贡献

1. LLM 相对复杂度框架： 本文将柯尔莫哥洛夫复杂度和 Levin 复杂度适配到 LLM 的特定架构中，将模型本身视为参考机器，并将其采样随机性视为程序带。
2. 处理“思考”： 提出了一种新颖的方法，通过将实现态思考视为随机带，并在思考前缀上最小化 Levin 式目标（描述长度 + $\log$ 时间）来为具有思维链（CoT）的模型评估提示词价值。
3. 高效可估计性： 与经典的资源受限柯尔莫哥洛夫复杂度不同，所提度量是高效可估计的。论文提供了一种协议，通过多项式数量次的运行来估计中位数复杂度，并具有高概率误差界限。
4. 经济学解释（Token 成本）： 作者证明了一个基本定理：$2^{\tilde{pKt}}$ 正好对应于在特定实验中重现人工制品的中位数 Token 成本。
   • 如果一个提示的价值为 $b$ 比特，这意味着在没有提示的情况下重现该人工制品，其在 Token 等效单位上的成本通常是使用提示时的 $2^b$ 倍。
5. 与前人工作的区别： 本文明确指出，虽然“非思考”组件与逐点互信息（PMI）以及近期的“人类贡献”评分（如 Xie 等人）一致，但对计算和思考的显式处理是其创新之处。

4. 实验结果

作者使用 DeepSeek-R1-Distill-Qwen-1.5B 模型，在 GSM8K 数据集（小学数学应用题）的 12 个问题上评估了该度量标准。

• 思考反转结论： 在若干案例中，提供正确的初始步骤（提示词）最初在 $t=0$ 时（不进行思考）使最终答案的概率降低。然而，一旦纳入思考过程，提示词的价值变为正值。这表明，一个仅基于概率的非思考度量可能会得出与所提思考感知度量相反的定性结论。
• 加速 vs. 引导： 结果区分了仅仅“加速”计算的提示（允许模型更快达到良好状态，在“生成态思考”成本下有价值，但在“前缀预填充”成本下价值较低）与“引导”模型进入根本更好状态的提示（在两种成本约定下均有价值）。
• 正确性 $\neq$ 价值： 来自人类参考的正确部分解并不总是具有价值。在某些情况下，它们是冗余的或会导致不利的后续过程，从而导致负值或微不足道的价值。
• 分布依赖性： 提示词的价值在不同的分位数 ($\delta$) 的运行分布中表现出显著差异，这表明提示词可能有助于某些“思考轨迹”，同时阻碍另一些轨迹。

5. 重要性与主张

本文声称提供了一个具有理论基础、高效可估计且具有经济解释性的提示词价值度量标准。

• 理论基础： 它架起了算法信息论与 LLM 经济学之间的桥梁，提供了一个既考虑似然性又考虑计算努力的正式“价值”定义。
• 操作意义： 通过将复杂度度量与重现的中位数 Token 成本联系起来，本文认为提示词价值不是一个抽象指标，而是一个具体的经济节省。
• 谦逊态度： 作者明确指出，该度量衡量的是声明的人工制品的描述。如果人工制品的定义存在缺陷（例如包含随机噪声），则价值度量也会反映这一点。他们还指出，该框架目前衡量的是单一提示在固定上下文中的价值，尚未完全捕捉自适应、多轮对话策略或构建人类输入本身的成本。

总之，本文认为，在 AI 生成能力过剩的时代，人类贡献的价值在于减少模型实现特定结果的计算负担，而这种减少可以通过使用 LLM 相对 Levin 复杂度进行严谨的量化。