FireBench: Evaluating Instruction Following in Enterprise and API-Driven LLM Applications

本文针对现有基准在评估企业级和 API 驱动场景下的指令遵循能力方面的不足，提出了基于真实业务模式的 FireBench 基准，该基准涵盖六大核心维度及 2400 多个样本，用于评估 11 种大语言模型在信息提取、客服及编码代理等场景中的表现，并开源以促进模型诊断与社区协作。

要点

这篇论文介绍了一个名为 FIREBENCH 的新工具，它的目的是给大语言模型（LLM）“体检”，特别是看它们在企业级和API 自动化场景下，到底能不能“听话”。

为了让你更容易理解，我们可以把大语言模型想象成一个超级聪明的实习生，而 FIREBENCH 就是一份极其严格的“入职实操考试”。

1. 为什么需要这个考试？（背景故事）

以前的考试（现有的评测基准），主要考的是实习生的“文采”和“聊天技巧”。

• 旧考试：问实习生“写一首关于春天的诗，要 50 个字，语气要悲伤”。
• 现实问题：在企业里，老板不需要你写诗，老板需要的是：“把这份合同里的金额提取出来，必须是 JSON 格式，必须按时间顺序排列，不能包含任何多余的解释，如果找不到金额就必须说‘不知道’，绝对不能编造。”

如果实习生在旧考试里拿了满分，但在实际工作中因为格式错了一个括号，导致整个公司的自动化系统崩溃，那他的“聪明”就毫无用处。现有的考试没考到这些“死板但致命”的要求。

2. FIREBENCH 考什么？（六大核心能力）

FIREBENCH 设计了 2400 多道题，专门模拟企业里最让人头疼的六种“听话”场景：

1. 格式服从（Output Format Compliance）

   • 比喻：就像厨师做菜，老板说“菜必须装在红色的方形盘子里，不能是圆的，也不能用碗”。
   • 考点：模型能不能严格按照 JSON、XML 等特定格式输出？哪怕格式稍微变一点（比如多加个括号），它会不会就“晕”了？

2. 顺序执行（Ordered Responses）

   • 比喻：就像点餐，老板说“先问客户姓名，再问电话，最后问地址。顺序绝对不能乱，一次只问一个问题”。
   • 考点：模型会不会急着一次性把三个问题都问完？或者把顺序搞反？

3. 项目排序（Item Ranking）

   • 比喻：就像整理货架，老板说“把最贵的 10 个商品挑出来，按价格从高到低排好，一个都不能错”。
   • 考点：模型能不能像数据库一样精准地排序和筛选数据？

4. 拒绝过度自信（Overconfidence）

   • 比喻：就像医生看病，如果资料不全，医生应该老实说“我看不了”，而不是瞎猜一个病名。
   • 考点：当问题太难或资料不足时，模型是敢于说“我不知道”，还是为了面子硬编一个答案？（在企业里，瞎编比不知道更可怕）。

5. 必须包含的内容（Positive Content）

   • 比喻：写报告时，老板说“必须在结尾加上‘特此报告’四个字，并且必须提到‘预算’这个词”。
   • 考点：模型会不会漏掉这些强制要求的“硬性指标”？

6. 禁止包含的内容（Negative Content）

   • 比喻：写代码时，老板说“绝对不能用某个特定的函数，也不能用注释”。
   • 考点：模型能不能管住自己，不输出那些被禁止的东西（比如安全漏洞或违规内容）？

3. 考试结果怎么样？（令人惊讶的真相）

作者找了 11 个目前最顶尖的“超级实习生”（包括 GPT-4.1, DeepSeek, Claude 等）来考试，结果让人大跌眼镜：

• 没有满分选手：最好的模型总分也只有 74% 左右。这意味着，即使是目前最聪明的 AI，在严格的商业环境下，每 4 次任务里就有 1 次会“不听话”或“搞砸”。
• 偏科严重：
  • 有的模型特别擅长“写诗”（格式好），但一遇到“排序”或“拒绝回答”就傻眼。
  • 有的模型在“推理”模式下（比如 DeepSeek V3.1）表现更好，但在“直接指令”模式下就变差了。
  • 比喻：就像有个学生数学考了 100 分，但让他按顺序排队时，他能把队伍排成圆圈。
• 格式是“硬伤”：即使是最好的模型，在面对稍微变通一点的格式要求（比如把 \boxed{} 改成 \boxed[]）时，准确率也会断崖式下跌。这说明它们更多是在“死记硬背”训练时的格式，而不是真正理解了“按指令办事”的逻辑。

4. 这篇论文有什么用？

• 对企业用户：就像给公司采购 AI 提供了一个“试金石”。如果你要买 AI 做客服或处理数据，别光看它聊天多厉害，先拿 FIREBENCH 测一下，看它在“排序”、“格式”和“不乱编”这几项上能不能过关。
• 对开发者：就像给 AI 医生提供了“病历本”。通过 FIREBENCH，开发者能一眼看出自己的模型是“偏科”还是“全面崩盘”，从而针对性地改进。

总结

FIREBENCH 告诉我们：在聊天室里和 AI 聊天很轻松，但在企业里让 AI 干活（尤其是需要精准、守规矩、不出错的工作），现在的 AI 还只是个“半吊子”。

它就像一面镜子，照出了 AI 在**“听话”**这件事上，离真正的“完美员工”还有很长的路要走。作者把这套考题开源了（放在 fire-bench.com），欢迎大家一起来给 AI 们“找茬”和“补课”。

技术摘要

FIREBENCH 论文技术总结

1. 研究背景与问题 (Problem)

大型语言模型（LLM）在企业级和 API 驱动的应用场景中（如信息提取、决策支持、代码生成、智能体工作流）日益普及。在这些场景中，严格遵循指令（Instruction Following） 至关重要。

• 核心痛点：现有的指令遵循基准测试（如 IFEval, FollowBench 等）主要关注自然语言生成中的表面约束（如字数、段落数、语气调整），这些约束更适合通用聊天机器人。
• 企业需求差异：企业用户更关注严格的结构化输出格式、确定性的顺序、受限的内容以及对不确定性的校准。
  • 例如：如果 LLM 无法按指定格式（JSON/XML）输出结构化数据，会导致下游自动化解析管道崩溃；如果客服代理未按预定顺序收集信息，会导致任务失败。
• 现有缺口：缺乏一个能够反映真实企业 API 使用模式、评估模型在严格约束下可靠性的基准测试。

2. 方法论 (Methodology)

为了解决上述缺口，作者提出了 FIREBENCH，这是一个基于真实企业场景和 API 使用模式的指令遵循基准测试。

2.1 核心能力维度

FIREBENCH 定义了六个核心评估维度，涵盖了生产环境中的关键约束：

1. 输出格式合规性 (Output Format Compliance)：模型能否严格遵守指定的格式（如 JSON, XML, Markdown, 特定分隔符等），即使包含对抗性变体。
2. 有序响应 (Ordered Responses)：在多轮对话（如客服场景）中，模型能否严格按照预定义的顺序收集信息，不跳过、不颠倒步骤。
3. 项目排序 (Item Ranking)：模型能否根据指定标准对表格数据进行排序，并原样返回前 N 行（模拟 SQL ORDER BY 操作）。
4. 过度自信 (Overconfidence)：模型在面对无法回答的问题或信息不足时，能否正确拒绝回答（Abstain），而不是编造答案。
5. 正面内容要求 (Positive Content Requirements)：模型能否确保输出中包含所有强制要求的特定元素（如特定的代码模式、必需的信息点）。
6. 负面内容要求 (Negative Content Requirements)：模型能否严格遵守禁令，避免输出任何被禁止的元素（如特定的格式、敏感内容、非核心扩展库等）。

2.2 数据集构建

• 规模：总计 2,470 个样本。
• 来源：
  • QA 与推理：来自 LongBench V2, QUALITY, GPQA Diamond, LogiQA 等数据集，结合 21 种不同的格式约束。
  • 智能体交互：来自 MHPP 数据集的代码生成任务，要求结构化输出。
  • 客服模拟：模拟多轮对话，强制按顺序收集 10-15 个字段。
  • 表格操作：20 个真实表格，随机分配排序属性。
  • 内容约束：基于 Arena Hard 2.0 提示词，通过 GPT-5 生成强制包含或排除的约束条件。
• 验证机制：
  • 格式、顺序、排序类任务采用程序化验证（Programmatically verified）。
  • 内容类任务（正/负面要求）采用LLM 评判（GPT-4.1），并提供了详细的评分细则（Rubrics）以确保一致性。

3. 主要贡献 (Key Contributions)

1. 首个面向企业/API 场景的指令遵循基准：FIREBENCH 填补了现有基准测试与真实企业需求之间的空白，专注于结构化、确定性和安全性约束。
2. 大规模、多维度的评估框架：包含 6 个核心维度，覆盖信息提取、客服、代码智能体等典型企业应用，样本量超过 2400 个。
3. 开源与社区共建：项目已开源（fire-bench.com），旨在帮助企业和开发者评估模型适用性，诊断模型弱点，并邀请社区贡献更多场景。
4. 揭示了当前模型的局限性：通过实证研究，揭示了即使是前沿模型在严格的企业级指令遵循上也存在显著缺陷。

4. 实验结果 (Results)

作者对 11 个 主流闭源和开源模型（包括 DeepSeek, GPT-4/5 系列, Qwen, Claude, Kimi, Llama 等）进行了评估。

4.1 总体表现

• 整体得分低：表现最好的模型 DeepSeek-V3.1 总得分仅为 74.0%，第二名为 GPT-5.1 Medium Thinking (72.7%)。没有任何模型超过 75%。
• 普遍不及格：大多数评估模型的得分低于 67%，表明精确的指令遵循在企业环境中仍是一个巨大的挑战。

4.2 关键发现

1. 类别间方差巨大 (High Variance)：
   • 模型在不同维度上的表现极不稳定。例如，GPT-4.1 在“格式”和“内容要求”上表现优异（>94%），但在“排序”和“过度自信”上表现极差（<40%）。
   • 这意味着没有单一模型能通吃所有企业场景，选型需根据具体任务的关键能力进行。
2. 推理模型优于非推理模型：
   • 在“推理”与“非推理”变体的对比中（如 GPT-5.1 Thinking vs Instant），推理模型在所有三个配对中均胜出。
   • 显著差异：在“项目排序”任务中，推理模型的优势尤为明显（例如 GPT-5.1 Medium Thinking 93.0% vs GPT-5.1 Instant 16.0%），表明思维链（Chain-of-Thought）对于处理结构化排序任务至关重要。
3. 格式遵循的脆弱性：
   • 即使是格式遵循最好的模型（GPT-4.1, 86.9%），在面对对抗性格式变体（如 \boxed[ ] 对比标准的 \boxed{}）时，准确率也会大幅下降。
   • 这表明当前模型更多是记忆了训练中的特定格式模式，而非真正掌握了通用的格式遵循能力。

5. 意义与影响 (Significance)

• 推动企业级 LLM 部署：FIREBENCH 提供了一个实用的工具，帮助企业在采购或微调模型时，评估其在真实生产环境中的可靠性，避免因格式错误或流程偏差导致的自动化管道崩溃。
• 指导模型开发：为模型开发者提供了针对性的诊断框架，揭示了当前模型在结构化输出、排序逻辑和不确定性管理方面的具体短板，指明了改进方向（如增强推理能力、改进格式泛化能力）。
• 重新定义评估标准：呼吁学术界和工业界从关注“自然语言生成质量”转向关注“指令遵循的严格性与可靠性”，特别是在 API 和自动化工作流背景下。

总结：FIREBENCH 揭示了当前最先进的 LLM 在严格的企业级指令遵循任务中仍存在显著缺陷，特别是格式泛化能力和结构化排序能力。该基准测试为构建更可靠、更安全的 AI 驱动企业应用奠定了评估基础。