技术摘要：RealFin——当用户未言明时，大语言模型在金融推理方面的表现如何？

1. 问题陈述

当前的金融大语言模型（LLM）评估存在一个致命缺陷：它们基于封闭世界假设运行，即预设每个问题都是完全明确的，且仅存在一个正确答案。然而，在现实世界的金融实践中，问题往往是未充分明确的。关键前提（例如监管标准、时间跨度、会计准则或宏观经济假设）经常是隐含的或缺失的。

当面对此类“条件缺失”的问题时，当前的 LLM 倾向于：

1. 过度承诺：它们自信地生成答案，通过静默地用学习到的默认值或训练数据偏差来填补缺失的空白。
2. 未能拒绝回答：它们缺乏认识论层面的意识，无法识别一个问题在逻辑上是未确定的，且无法从提供的信息中推导出有效答案。
3. 误读歧义：这种失败在中文中尤为明显，因为上下文相关的术语可能掩盖缺失的条件，导致模型产生看似合理但缺乏依据的幻觉结论。

该论文认为，可靠的金融 AI 不仅必须在信息充足时给出正确答案，还必须在问题无法回答时识别缺失条件并拒绝回答。

2. 方法论

A. REALFIN 基准测试

作者引入了 REALFIN，这是一个双语（英语/中文）基准测试，旨在评估信息不完整情况下的金融推理能力。

• 数据集构建：从 1,178 道专业的、表述完善的考试风格问题（英语为 CFA 风格，中文为 CPA 风格）出发，作者手动创建了配对的“条件缺失”版本。
• 条件移除：他们系统地移除了逻辑上必要的前提，同时确保剩余文本在语言上仍然合理。被移除的条件分为四类：
  1. 初始假设：（例如利率体制、通胀预期）。
  2. 中间链接条件：（例如特定的估值模型如 CAPM/DCF、对冲逻辑）。
  3. 约束定义信息：（例如财务契约、优先权属性）。
  4. 标准选择线索：（例如 IFRS 与 GAAP、监管框架）。
• 任务设定：该基准测试在三种不同的设置下评估模型：
  1. 原始（完整条件）：信息完整的标准问答。
  2. 修订版（条件缺失）：移除了前提的问题；模型必须澄清或认识到无法得出唯一答案。
  3. 以上皆非（NOTA）：将修订版中的正确答案选项替换为“以上皆非”。这迫使模型明确识别缺失信息，而不是猜测“最可能”的选项。

B. 实验设置

• 评估模型：测试了 15 个 LLM，分为以下类别：
  • 通用型：（例如 GPT-5.1-mini, Claude-3.5-Sonnet, DeepSeek-V3）。
  • 金融专用型：（例如 XuanYuan3-70B, Fin-R1-7B, DISC-FinLLM）。
  • 推理增强型：（例如 DeepSeek-R1, GPT-OSS 系列，DianJin-R1）。
• 评估协议：零样本设置，要求严格的 JSON 输出格式，包含 reason（推理）、answer（答案）和 confidence（置信度）。
• 指标：原始集与修订集上的准确率，以及一项新颖的推理准确率指标（检查模型的解释是否正确识别了缺失前提）与答案准确率（选择 NOTA）的对比。

3. 主要贡献

1. RealFin 基准测试：首个系统评估未充分明确问题金融推理能力的数据集，弥合了学术基准与现实世界歧义之间的差距。
2. 双语评估：涵盖英语（CFA）和中文（CPA）金融领域的综合数据集，揭示了模型行为中显著的跨语言差异。
3. 新评估范式：超越单纯的答案准确率，评估认识论上的谨慎性——即检测缺失信息并在有正当理由时拒绝回答的能力。
4. 综合模型分析：对通用型、专用型和推理增强型模型进行了严格比较，突显了领域特定的微调并不能自动解决过度承诺的问题。

4. 主要结果

A. 性能下降与过度承诺

• 通用模型：令人惊讶的是，通用模型（例如 GPT-5.1-mini, Claude-3.5）在修订版任务中往往优于金融专用模型。然而，这种“成功”很大程度上归因于隐含假设对齐——它们通过偶然猜测或依赖训练数据默认值猜对了缺失条件，而非识别出缺失信息。
• 金融专用模型：早期的金融模型（例如 DISC-FinLLM, FinGPT）表现不佳，往往无法识别缺失条件，并激进地检索领域知识以强行给出答案，导致在 NOTA 设置下的准确率接近零。
• 推理增强模型：像 Fin-R1-7B 这样的模型表现更优。它们更擅长识别缺失前提，并在适当时拒绝回答（选择 NOTA）。然而，它们有时会出现“过度推理”，即使在识别出缺失条件后，仍生成长篇的假设场景。

B. 中文 CPA 中的“死亡地带”

• 一个关键发现是中文特有的失败模式。在中文 CPA 任务中，模型（即使是大型模型）表现出一个“死亡地带”，即它们无法回答条件缺失的问题，在复杂计算中得分往往接近 0%。
• 原因：中文金融术语高度依赖上下文。当移除一个条件后，剩余文本往往仍能构成连贯的句子，误导模型做出激进且缺乏依据的推断。

C. 答案与推理之间的差距

• 答案准确率与推理准确率：在 NOTA 设置下，许多模型选择了正确的“以上皆非”选项，但未能解释原因（推理准确率低）。
  • 示例：GPT-OSS-120B 在英文 NOTA 测试中达到了约 89% 的答案准确率，但推理准确率仅为约 20%。它选择 NOTA 是作为一种“安全”选项，而并未理解其中的逻辑缺口。
• 置信度不匹配：即使推理存在缺陷或在进行猜测时，模型也常常表现出高置信度（例如 >90%）。

D. 规模扩展无法解决问题

• 增加模型规模（例如从 200 亿参数增加到 1200 亿参数）提高了答案准确率，但加剧了推理差距。更大的模型对其缺乏依据的假设变得更加自信，导致更高的过度承诺率。

5. 意义与启示

• 重新定义可靠性：该论文认为，可靠的金融 LLM 必须满足三个标准：(1) 信息充足时回答正确；(2) 条件缺失时识别缺失条件；(3) 不存在有效答案时拒绝回答。
• 自动化风险：当前仅测量表述完善问题的答案准确率的基准测试，危险地高估了 LLM 在高风险金融决策中的可靠性。
• 未来方向：作者提出了一种结合专用监督微调（SFT）（用于专业知识）和逻辑驱动强化学习（RL）（用于惩罚猜测并奖励明确识别缺失信息）的训练流程。他们还建议从被动拒绝转向主动澄清，即模型向用户询问缺失的数据。

结论：RealFin 表明，当前的 LLM 无论规模大小或领域专业化程度如何，都难以区分“可解决”与“不可解决”的金融问题。金融领域的真正可靠性需要模型具备在必要信息缺失时说“我不知道”的谦逊，而不是自信地幻觉出一个解决方案。