FIRE: A Comprehensive Benchmark for Financial Intelligence and Reasoning Evaluation

本文提出了名为 FIRE 的综合基准，通过整合金融资格考试题目与 3000 个基于系统化评估矩阵构建的真实业务场景问题，全面评估大语言模型在金融领域的理论知识掌握度及实际任务处理能力，并公开了相关数据与代码以促进后续研究。

要点

这篇论文介绍了一个名为 FIRE 的新项目。你可以把它想象成给大语言模型（AI）在金融领域举办的一场"超级全能大考"。

以前，大家测试 AI 懂不懂金融，就像是在考它“背单词”或者“做简单的选择题”。但这篇论文的作者们（来自度小满科技、清华和人大）觉得这不够，因为真实的金融工作复杂得多，光会背书没用，得会“实战”。

为了让大家更容易理解，我们可以用"培养一名顶级金融分析师"的比喻来拆解这篇论文：

1. 以前的考试 vs. 现在的 FIRE 考试

• 以前的考试（旧基准）
  就像只让考生做“填空题”和“选择题”。比如问："CFA 是什么的缩写？”或者“什么是通货膨胀？”。

  • 缺点：考生可能背下了所有定义，但真让他去处理一个复杂的客户理财方案，或者分析一家公司的财报漏洞，他就懵了。这就像一个人背熟了《游泳手册》，但一下水就沉底了。

• FIRE 考试（新基准）
  这是一场"理论 + 实战"的双重考核，包含两个部分：

  第一部分：理论大考（14,000 道题）

  • 内容：收集了全球最难的金融证书考试题目，比如 CFA（特许金融分析师）、CPA（注册会计师）、FRM（金融风险管理师）等。
  • 比喻：这就像是让 AI 去考“博士入学考试”。它必须证明它真的懂那些深奥的金融概念，而不是只会胡编乱造。这部分有标准答案，做对就是 1 分，做错就是 0 分。

  第二部分：实战演练（3,000 个真实场景）

  • 内容：这是 FIRE 最厉害的地方。作者们设计了一个"金融业务矩阵"，把金融世界分成了 8 个大行业（银行、保险、证券等）和 4 种核心能力（做决策、设计产品、客户服务、风险控制）。
  • 比喻：这不再是做题，而是"模拟职场"。
    • 场景 A：你是一家银行的信贷员，现在有个企业想贷款，但它的财报有点奇怪，你该怎么分析风险？
    • 场景 B：你是保险公司的精算师，面对一场突如其来的自然灾害，怎么设计新的理赔方案？
  • 难点：很多题目没有标准答案（开放式问题）。这时候，FIRE 请了一位"超级 AI 考官"（评分模型），它手里拿着一份详细的"评分细则"（Rubrics）。它不看 AI 说了多少废话，而是看它是否抓住了关键点、逻辑是否严密、是否符合合规要求。

2. 为什么要搞这个？（痛点）

作者发现，现在的 AI 就像是一个"只会死读书的学霸"。

• 在背题（理论考试）上，它们能拿 90 多分，看起来无所不知。
• 一旦到了真实工作（实战演练），比如要处理复杂的客户投诉、设计复杂的金融产品，或者识别隐蔽的欺诈风险，它们的水平就断崖式下跌，甚至不如人类专家。

这就好比一个学生数学考了满分，但让他去修水管，他连扳手都拿不稳。金融机构不敢用这样的 AI，因为一旦出错，损失的是真金白银。

3. 他们做了什么？（XuanYuan 4.0）

为了证明这个考试有用，作者还自己造了一个“优等生”——XuanYuan 4.0（玄元 4.0）。

• 这是一个专门针对金融领域训练的大模型。
• 训练方法：它先读了海量的金融书籍（预训练），然后做了大量的金融习题（微调），最后还在真实的金融业务场景里“实习”过（强化学习）。
• 结果：在 FIRE 考试中，XuanYuan 4.0 的表现非常惊艳。虽然它的参数规模（相当于大脑神经元数量）比那些超级大模型小，但在金融实战中，它甚至能打败很多昂贵的商业闭源模型。这说明：在专业领域，经过针对性训练的“专科医生”，往往比“全科通才”更靠谱。

4. 核心结论

这篇论文告诉我们三件事：

1. 光会背书不行：现在的 AI 在金融理论题上表现很好，但在解决真实、复杂的商业问题上还很稚嫩。
2. 需要新标尺：我们需要像 FIRE 这样，既考理论又考实战，且能覆盖各种细分场景的“新标尺”，才能真实衡量 AI 的能力。
3. 未来可期：只要经过正确的“特训”（如 XuanYuan 4.0 的做法），AI 完全有能力成为金融行业的得力助手，从“聊天机器人”进化为真正的“智能分析师”。

一句话总结：
FIRE 就是给 AI 金融能力做的一次"全真模拟面试"，它不再问“你知道什么是股票吗？”，而是问“如果现在股市崩盘了，你作为风控经理该怎么处理？”，以此来筛选出真正能帮金融机构干活的 AI。

技术摘要

以下是基于论文《FIRE: A COMPREHENSIVE BENCHMARK FOR FINANCIAL INTELLIGENCE AND REASONING EVALUATION》的详细技术总结：

1. 研究背景与问题 (Problem)

尽管大语言模型（LLMs）在金融领域的应用日益广泛，但现有的评估基准存在显著局限性，导致无法准确衡量模型在真实金融场景中的能力：

• 任务表层化：现有基准多侧重于金融术语解释或传统 NLP 任务的金融化改编，缺乏对复杂、真实金融业务场景（如端到端决策、风险控制）的评估。
• 分类粗糙与覆盖不足：现有基准缺乏细粒度的分类体系，导致任务重叠严重，且忽视了关键金融子领域（如信托、特定合规场景）。
• 理论与实际脱节：评估结果往往与商业价值（如信贷审批效率、欺诈检测）关联度低，难以量化 AI 部署的投资回报率（ROI）。
• 缺乏统一标准：缺乏一个既能评估理论金融知识深度，又能评估实际操作推理能力的综合性框架。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 FIRE（Financial Intelligence and Reasoning Evaluation），一个由度小满科技、清华大学 PBC 金融学院和中国人民大学财政金融学院联合开发的综合性基准。FIRE 包含两个核心评估维度：

A. 理论知识评估 (Theoretical Knowledge Assessment)

• 数据来源：精选自全球及中国主流的专业金融资格认证考试，涵盖 14 种 核心考试（如 CFA, FRM, CPA, CCBP, AFP, CAA 等）。
• 规模：包含 14,000+ 道精心筛选的试题。
• 评估方式：采用二元评分（Binary Scoring），即模型输出与标准答案完全匹配得 1 分，否则得 0 分。重点考察模型对核心金融概念的理解深度及合规性知识。

B. 实践技能评估 (Practical Skills Assessment)

• 评估矩阵：提出了一个二维 金融应用场景评估矩阵：
  • 纵向（业务领域）：涵盖银行、保险、证券、基金、期货、信托、金融科技及通用金融 8 大板块，细分为 17 个业务子类。
  • 横向（功能支柱）：涵盖洞察与决策、产品设计与营销、服务与运营、风险与合规 4 大核心职能。
• 数据集规模：基于上述矩阵收集了 3,000 个高保真、基于真实业务场景的问题。
  • 1,000 道闭卷题：配有高质量参考答案，用于自动化精确匹配评估。
  • 2,000 道开放题：无标准答案，采用基于细粒度评分标准（Rubrics）的自动化评估流程。
• 评分模型：针对开放性问题，训练了一个专用的评分模型（Scoring Model）。该模型利用专家推理数据（CoT）和逆向推理技术，结合 RLVR（可验证奖励强化学习）进行训练，能够根据预设的细粒度评分标准对模型输出进行量化打分，解决了传统 LLM-as-a-Judge 评分不稳定的问题。

C. 基线模型：玄渊 4.0 (XuanYuan 4.0)

• 作为强基线，作者发布了 XuanYuan 4.0，一个 36B 参数的金融领域专用模型。
• 训练流程：
  1. 持续预训练 (CPT)：基于高质量金融语料库，结合退火训练策略。
  2. 自正则化：引入基于 KL 散度的自正则化目标，防止模型漂移。
  3. 监督微调 (SFT)：使用数学、STEM 及智能体任务数据增强基础推理能力。
  4. 强化学习 (RLVR)：利用内部真实业务场景数据，通过 DAPO 算法进行对齐优化。

3. 关键贡献 (Key Contributions)

1. 首个综合性金融基准：FIRE 是首个同时涵盖“理论资格认证”与“真实业务场景”的金融大模型评估基准，填补了从学术理论到工业界应用评估的空白。
2. 创新的评估矩阵：提出的二维评估矩阵（行业 x 职能）为金融 AI 的数据构建、模型训练及场景落地提供了系统化的路线图。
3. 细粒度自动化评分体系：针对开放性问题，设计了基于领域特定评分标准（Rubrics）的自动化评分模型，显著提升了评估的稳定性、可解释性和一致性。
4. 开源与基线：公开了基准数据、评估代码以及强基线模型 XuanYuan 4.0，推动了金融大模型研究的透明化和标准化。

4. 实验结果 (Results)

对包括 GPT-5.2、Gemini 3.0 Pro、Claude 4.5 等在内的主流闭源/开源模型及金融专用模型进行了全面评估：

• 理论考试表现：所有模型在专业资格考试中表现普遍较好（平均分多在 80%-90% 以上），表明 LLM 在知识记忆和标准化推理上已具备较强能力。其中，XuanYuan 4.0 在开源模型中表现最佳，与 Gemini 3.0 Pro 相当。
• 真实场景表现：在 3,000 个真实业务场景任务中，模型性能出现明显分化。
  • 差距显著：尽管理论成绩优异，但模型在处理复杂、非结构化的实际业务（如信托、金融科技、风险合规）时表现受限，分数普遍低于理论考试。
  • XuanYuan 4.0 的优势：经过针对性金融指令微调的 XuanYuan 4.0，在真实场景任务中显著优于其基座模型（Seed-OSS-36B）及其他开源基线，整体表现可与 GPT-5.2 等顶级闭源模型媲美，证明了领域对齐（Domain Alignment） 对提升实际推理能力的关键作用。
• 核心发现：当前模型存在“理论掌握”与“实际操作”的严重解耦（Decoupling），即模型擅长回答考试题，但难以将知识转化为可执行的商业智能。

5. 意义与影响 (Significance)

• 揭示能力边界：FIRE 实验结果清晰地揭示了当前 LLM 在金融领域的短板，即缺乏将理论知识转化为可靠、可操作商业决策的能力。
• 推动行业落地：通过提供与商业价值紧密挂钩的评估指标，FIRE 有助于金融机构更准确地量化 AI 部署的 ROI，促进大模型在信贷审批、风控、产品设计等核心场景的规模化应用。
• 指导模型优化：评估矩阵和评分标准为后续金融大模型的数据构建、训练策略（特别是 RLVR 和领域对齐）提供了明确的优化方向。
• 安全与合规：强调了对金融安全、反洗钱及监管合规的评估，对于构建安全可信的金融 AI 生态至关重要。

综上所述，FIRE 基准不仅是一个评估工具，更是连接金融学术研究与工业界实践的桥梁，为下一代金融大模型的发展奠定了坚实的基础。