🤖 AI

Format Sensitivity Index: Token-Controlled Prompt Wrapper Robustness and Schema Compliance in LLM Benchmarking

本文引入了格式敏感指数（FSI）和可解析性敏感指数（PSI），旨在证明提示词包装器中微小的格式差异会导致显著且依赖于模型的评分波动及合规性失败，从而论证在不考虑这种变异性的情况下进行基准测试准确性在统计学上是脆弱的。

原作者： Deep Pankajbhai Mehta

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Deep Pankajbhai Mehta

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一位才艺表演节目的评委，但你不是在听歌手唱歌，而仅仅是被允许阅读他们的歌词。接着，想象有些歌手被要求将歌词写在普通的纸上，而另一些人则被迫将歌词写在一个华丽且僵硬的 JSON 盒子中，还有一些人甚至必须将他们的文字包裹在一个特定的“BEGIN/END”三明治结构里。

你会预期歌手的才华保持不变，对吧？无论纸张如何变化，歌曲本身都不应该改变。但根据 Adobe 的 Deep Pankajbhai Mehta 的这项研究，情况恰恰相反，这正是 AI 模型发生的情况。这种“纸张”（提示词包装器）的影响如此之大，以至于它可以彻底颠覆排行榜，让天才看起来像个新手，让新手看起来像个天才。

格式的大洗牌
研究人员进行了一项大规模实验，从四个不同的 AI 模型（其“脑细胞”数量从 70 亿到 720 亿不等）中生成了 140,000 个答案，涵盖了七种不同的问答任务。他们测试了五种不同的“包装器”风格：

纯文本（Plain）： 只有答案。
JSON： 严格的计算机代码格式。
结构化（Structured）： 键值对形式。
带分隔符的结构化（Structured with Delimiters）： 带有类似 <BEGIN ANSWER> 等特殊标签的键值对。
刻意引导（Deliberate）： 一个用于思考的草稿纸，随后才是答案。

结果显示，模型对这些格式规则极其敏感。对于某些模型，更换包装器会导致其准确率剧烈波动。其中，Phi-4 模型简直是个“戏精”，仅通过改变包装器，其准确率就产生了高达 0.763 的巨大波动（这是一个极大的范围）。相比之下，庞然大物 Qwen-2.5-72B 则像个冷静的摇滚巨星，几乎纹丝不动，波动仅为 0.024。

“你能读懂这个吗？”的问题
为什么分数变化如此之大？研究表明，这并不是因为 AI 在处理实际问题时突然变聪明或变笨了。这主要是一个合规性问题。

把它想象成一台只接受硬币的自动售货机。如果你试图塞进一张美元钞票（即使它是有效的美元），机器也会拒绝它。在研究中，当 AI 试图遵循严格的 JSON 规则但又不小心添加了一个 Markdown 代码围栏（例如一个小小的 ``` 符号）时，机器（答案提取器）就无法读取它。这个答案会被标记为“无法解析（unparseable）”，从而被计为错误答案。

数据展示了强烈的关联：当 AI 无法实现“可解析性”（即机器可读性）时，其准确率往往会崩塌至接近于零。对于使用严格 JSON 包装器的 Phi-4 模型，它生成的输出在 85.3% 的情况下都以 Markdown 代码围栏开头，导致其可解析性仅为 2.8%，准确率仅为 0.7%。研究人员发现，“可解析性”是一个强大的成功预测指标，在考虑了模型和任务之后，它解释了得分差异中约 82% 的剩余部分。

这对未来意味着什么
论文指出，报告一个 AI 的单一准确率数字，就像是在没有说明是华氏度还是摄氏度的情况下报告一个温度一样——这是具有误导性的。如果一个包装器的选择能让分数改变 0.76，那么这个单一数字就是“统计脆弱”的。

作者建议，当我们测试 AI 时，不应该只选择一个包装器并寄希望于好运。相反，我们应该：

报告不同包装器下的得分范围（类似于一个“敏感度指数”）。
检查答案是否真正具有可解析性。
除非 AI 是由其解码器（即生成文本的部分）而非仅仅通过提示词来强制执行规则，否则在实际应用中要谨慎使用严格的格式。

核心结论
这项研究并不是说 AI 坏掉了，而是说我们的测量尺是晃动的。**格式敏感指数（FSI）和可解析性敏感指数（PSI）**是衡量模型得分对包装器依赖程度的新工具。研究结果表明，对于某些模型来说，包装器的选择比模型本身的“聪明才智”更为重要。在此问题得到解决之前，排行榜上所谓的“最佳”AI，可能仅仅是那个恰好迎合了构建测试的人所偏好的特定格式风格的模型。

技术摘要：格式敏感度指数与令牌控制提示词包装器

问题陈述

大型语言模型（LLM）基准测试日益依赖提示词包装器（prompt wrappers）——即包含分隔符、JSON 指令或逐步格式化内容的模板，用以结构化模型的输出。尽管这些包装器的目的是为了实现语义无关性，但它们在研究论文、工具包或厂商之间极少实现标准化。这种缺乏标准化的现象造成了一种方法论上的失效模式：模型的报告性能可能会仅因包装器的选择而发生显著波动，而非其内在能力的体现。

核心问题在于，许多基准测试流水线针对每个模型每个任务仅报告一个准确率得分，忽略了在现实世界部署中占据主导地位的结构化输出失效模式（例如，模式遵循能力、工具调用能力）。当模型无法根据基准测试的提取器（例如，由于 Markdown 代码围栏或缺失 JSON 键值）解析输出时，该次运行会被判定为错误。这种“合规性问题”可能导致一个模型在严格的 JSON 包装器下表现得近乎随机，而在基于分隔符的包装器下表现良好，从而导致排行榜结论发生逆转。

方法论

作者提出了一种令牌控制协议（token-controlled protocol），旨在隔离由包装格式引起的方差，同时控制提示词长度和令牌数量的差异。

实验设置

模型： 四个通过 OpenRouter 访问的指令微调模型，参数规模从 7B 到 72B 不等：Mistral-7B-Instruct-v0.3、Gemma-2-9B-IT、Phi-4 和 Qwen-2.5-72B-Instruct。
任务： 七个广泛使用的问答类基准测试（BoolQ、PIQA、ARC-Challenge、HellaSwag、WinoGrande、CommonsenseQA、GSM8K），每个任务采样 200 个样本。
包装器家族： 评估了五种不同的包装器类型：
1. Plain（纯文本）： 最简指令。
2. JSON： 带有 answer 字段的严格 JSON。
3. Structured（结构化）： 键值对字段。
4. Structured Delim（结构化分隔符）： 带有显式分隔符标记（<BEGIN ANSWER>）的键值对字段。
5. Deliberate（刻意设计）： 包含推理过程（scratchpad）后接最终答案字段。
令牌控制： 为了减轻不同提示词长度带来的混淆，提示词被填充至每个任务固定的字符预算。记录了实际生成的令牌数，并计算了相对令牌离散度指标 ( $\Delta_{tok}$ )。结果在完整数据集以及经过 $\Delta_{tok} \le 5\%$ 过滤后的匹配子集上进行报告。
生成： 共产生了 140,000 次生成（4 个模型 $\times$ 7 个任务 $\times$ 5 种包装器 $\times$ 200 个样本 $\times$ 5 个种子）。

指标

论文引入了两个主要的敏感度指标：

格式敏感度指数 (Format Sensitivity Index, FSI)： 给定模型和任务下，由包装器选择引起的准确率范围（ $FSI = \max_f A_{m,t,f} - \min_f A_{m,t,f}$ ）。
可解析性敏感度指数 (Parseability Sensitivity Index, PSI)： 对应的答案可解析性范围（ $PSI = \max_f P_{m,t,f} - \min_f P_{m,t,f}$ ）。

为了应对范围统计量的噪声敏感性，作者还报告了归一化 FSI (nFSI) 和自助法（bootstrap）置信区间。

关键结果

1. 模型间的极端方差

格式敏感度在不同模型间表现出剧烈差异。

Qwen-2.5-72B 展示了近乎格式无关的特性，平均 FSI 为 0.024（95% CI [0.014, 0.035]）。
Phi-4 则表现出高敏感度，平均 FSI 为 0.763（95% CI [0.607, 0.872]）。
测试的模型之间，平均 FSI 的差异超过了 30 倍。
归一化敏感度 (nFSI) 进一步强化了这一对比，Phi-4 的 nFSI 为 2.37，表明包装器的选择可以主导平均得分。

2. 可解析性是主要驱动因素

准确率与可解析性高度相关（ $r = 0.825$ ）。固定效应回归分析（ $A_{m,t,f} = \beta P_{m,t,f} + \alpha_m + \gamma_t + \delta_f + \epsilon$ ）显示，可解析性是准确率的强预测因子（ $\hat{\beta} = 0.819$ ），解释了很大一部分残差方差（ $R^2 = 0.82$ ）。

案例研究： 在严格的 JSON 包装器下，Phi-4 在 85.3% 的生成中产生了 Markdown 代码围栏，导致可解析性仅为 2.8%，准确率为 0.7%。
这表明，许多由包装器引起的得分变化是由输出是否可被机器消费（即可解析性）驱动的，而非缺乏推理能力。

3. 包装器性能分布

没有一种单一的包装器是普遍最优的。虽然基于分隔符的结构化包装器获胜次数最多（在 28 个模型-任务组合中占 12 次），但“deliberate”和“structured”包装器的获胜次数也相当可观。这支持了以下观点：应报告在一组包装器上的得分分布，而非仅选择单一的“最佳”格式。

4. 令牌控制稳定性

令牌填充协议成功降低但未能完全消除令牌离散度。中位相对令牌离散度为 4.1%。至关重要的是，当针对低令牌离散度（ $\Delta_{tok} \le 5\%$ ）进行过滤时，结论保持稳定，平均 FSI 仅从 0.391 变为 0.394。

意义与建议

论文认为，如果不考虑包装器方差和合规性，仅报告准确率是统计脆弱的。作者提出了以下建议：

对于基准测试： 论文和排行榜应当报告：
1. 所使用的特定包装器家族。
2. 提示词令牌计数。
3. 可解析率。
4. 具有不确定性意识的敏感度指标（例如带有置信区间的 FSI）或准确率区间 $[\min_f A, \max_f A]$ 。
对于结构化输出部署： 单靠提示词通常不足以实现严格的模式。如果下游消费者较为脆弱，可解析性的崩溃将主导测量的准确率。作者建议使用 FSI 和 PSI 作为诊断工具，以确定何时需要使用解码时约束（例如，语法、模式约束解码或厂商提供的结构化输出模式）。

局限性

作者承认存在以下局限性：

FSI 是一个易受异常值影响的范围统计量，尽管已通过自助法进行了缓解。
令牌控制是通过字符填充实现的，而非严格的令牌等量化。
模型集合较小且混合了不同规模，这意味着鲁棒性可能反映的是模型规模而非仅仅是架构。
本研究侧重于单轮问答；多轮工具使用和代码生成可能会表现出不同的动态。
解析器严格程度各异；研究报告了严格和归一化的提取，但并未直接基准测试解码时强制执行模式。

总之，本文指出，可靠的基准测试和结构化输出系统需要衡量并尽可能减少格式敏感度，将提示词包装器视为一个重要的、被低估的基准测试干扰因素。