💰 quantitative finance

FinTradeBench: A Financial Reasoning Benchmark for LLMs

本文提出了 FinTradeBench 基准，旨在通过整合公司基本面与市场交易信号来评估大语言模型在金融推理方面的能力，并揭示了当前模型在处理数值和时间序列推理时存在的显著挑战。

原作者： Yogesh Agrawal, Aniruddha Dutta, Md Mahadi Hasan, Santu Karmaker, Aritra Dutta

发布于 2026-03-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Yogesh Agrawal, Aniruddha Dutta, Md Mahadi Hasan, Santu Karmaker, Aritra Dutta

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 FinTradeBench 的新工具，你可以把它想象成给大语言模型（LLM）（比如现在的各种 AI 助手）进行的一场**“金融分析师终极资格考试”**。

为了让你更容易理解，我们可以用几个生活中的比喻来拆解这篇论文的核心内容：

1. 为什么要搞这个考试？（背景与痛点）

想象一下，你要判断一家公司（比如特斯拉或英伟达）的股票值不值得买。

传统方法（基本面）： 就像看一个人的体检报告。看他的收入、负债、存款（财报数据）。这很稳，但只能看到过去。
市场方法（交易信号）： 就像看这个人的情绪和人气。看他在人群中是被人追捧还是被冷落，是跑得飞快还是突然摔倒（股价波动、交易量）。这很灵敏，但容易受情绪影响。

现在的 AI 有什么问题？
以前的考试（现有的基准测试）只考“体检报告”（财报数据）。AI 们背熟了财报，答得头头是道。
但现实中的投资，需要同时看体检报告 AND 观察市场情绪。

例子： 2025 年 7 月，英伟达股价突然下跌。
- 体检报告（基本面）： 公司很健康，赚钱能力强。
- 市场情绪（交易信号）： 大家都在恐慌抛售。
- AI 的表现： 大多数 AI 要么只看体检报告说“别卖，公司很好”，要么完全看不懂股价下跌背后的技术信号。它们无法把这两者结合起来，就像一个只会背医学书却不懂看脸色行事的医生。

2. FinTradeBench 是什么？（新工具）

FinTradeBench 就是为了解决这个问题而设计的新考场。

考什么？ 它包含了 1400 道题目，基于纳斯达克 100 强公司过去 10 年的真实数据。
怎么考？ 题目分三类：
1. 只看体检（基本面题）： 只问财报数据。
2. 只看情绪（交易信号题）： 只问股价走势、波动率。
3. 综合诊断（混合题）： 既要看财报，又要看股价，还要判断“虽然财报好，但股价跌了，是不是该抄底？”

出题过程很严谨：
作者没有随便出题，而是先让人类专家出 150 道“金题”，然后让 AI 自己生成大量变体，再用“人类专家 + AI 裁判”双重审核，确保题目既难又准，不会出错。

3. 考试结果如何？（核心发现）

作者找了 14 个不同的 AI 模型来参加考试，结果非常有趣，甚至有点“打脸”：

发现一：AI 很擅长“查书”，但不擅长“算数”

查书（RAG 技术）： 当 AI 被允许去查阅公司的财报文档（就像开卷考试查书）时，它在回答“体检报告”类问题时，成绩突飞猛进（准确率提升了 37%）。
算数（交易信号）： 但是，当题目需要它分析股价走势图、计算技术指标时，给它“查书”的机会反而帮了倒忙，成绩下降了。
- 比喻： 这就像给一个数学不好的学生一本厚厚的《微积分公式大全》。在解文字题时，他能查到公式，答对了；但在做复杂的现场计算题时，看着满屏的数字和图表，他反而晕了，不知道从哪下手，甚至被数据带偏了。

发现二：有些 AI 模型是“天才”，有些是“书呆子”

推理型 AI（如 DeepSeek-R1）： 这类模型像老练的基金经理。它们不仅会查资料，还会在脑子里进行“多步推理”（Chain-of-Thought）。在混合题（既要查财报又要看股价）中，它们表现最好，能完美融合两种信息。
普通指令型 AI： 这类模型像只会背书的实习生。一旦信息太多（比如同时给了财报和股价数据），它们就顾此失彼，甚至因为信息过载而开始胡编乱造（幻觉）。

发现三：信息太多反而坏事（“分心效应”）

论文发现，当给 AI 塞入大量真实的金融数据（RAG）时，虽然它引用的数据更准了，但它的逻辑推理能力反而下降了。

比喻： 就像你让一个侦探破案，你不仅给他看现场照片，还给他看了一堆无关的监控录像、邻居的闲聊记录。侦探虽然能说出“邻居说昨晚有狗叫”，但他却忘了去分析真正的作案线索，被海量信息淹没了。

4. 这个研究有什么用？（结论与未来）

给 AI 提了个醒： 现在的 AI 在处理纯文本（如读新闻、读财报）方面很强，但在处理数字时间序列（如股价波动、技术指标）方面还很弱。它们需要学会像人类分析师那样，把“死数据”和“活市场”结合起来思考。
给未来的方向： 未来的金融 AI 不能只靠“检索”信息，必须学会“计算”和“推理”。就像给 AI 配上一个计算器和一个逻辑大脑，而不仅仅是给它一本字典。

总结

这篇论文就像给 AI 界发了一张**“体检单”**，告诉我们要想造出真正能帮人理财的 AI，不能只让它背财报，还得让它学会看懂 K 线图，并且能在面对海量数据时保持清醒的头脑，不被信息淹没。目前的 AI 离这个目标还有很长的路要走。

FinTradeBench：大语言模型金融推理基准测试技术总结

1. 研究背景与问题定义 (Problem)

现实世界的金融决策是一个高度复杂的任务，需要综合处理两类互补但异质的信息源：

公司基本面 (Company Fundamentals)：源自监管文件（如 SEC 10-K/10-Q）的会计指标，包括盈利能力、杠杆率、估值比率等，反映公司的内在财务健康。
交易信号 (Trading Signals)：源自历史价格和成交量数据的市场动态指标，包括动量、波动率、趋势反转等，反映投资者情绪和市场行为。

现有挑战：

现有基准的局限性：当前的金融问答基准（如 FinQA, TAT-QA）主要关注基于财务报表和表格的数值推理，极少评估模型对交易信号的推理能力，更缺乏对“基本面”与“市场动态”进行联合推理 (Joint Reasoning) 的评估。
现实场景的复杂性：在实际投资中，基本面与市场行为经常发生背离（例如：特斯拉在 2025 年 Q1 财报不及预期但股价大涨，或英伟达在特定月份出现回调但基本面强劲）。仅依赖单一信息源往往导致错误的投资决策。
LLM 的不足：现有大语言模型（LLM）在处理纯文本金融信息时表现尚可，但在处理数值时间序列数据、计算技术指标以及整合异质信号方面存在显著缺陷。

2. 方法论 (Methodology)

作者提出了 FinTradeBench，一个专门用于评估 LLM 在金融推理能力的基准测试，并采用了一套严谨的构建与评估框架。

2.1 数据集构建：校准 - 扩展框架 (Calibration-Then-Scaling)

为了在大规模下保证数据的可靠性、无偏性和可复现性，作者采用了三步走策略：

数据源与范围：覆盖纳斯达克 100 指数（NASDAQ-100）成分股，时间跨度为 2015-2025 年（10 年）。数据包括 SEC 监管文件（提取基本面）和每日 OHLCV 交易数据（计算交易信号）。
问题分类 (Taxonomy)：将问题分为三类以进行细粒度评估：
- F 类 (Fundamentals-focused)：仅基于会计指标（如 ROA, ROE）的推理。
- T 类 (Trading-signal-focused)：仅基于市场交易信号（如动量、波动率）的推理。
- FT 类 (Hybrid)：需要跨信号推理，结合基本面与市场动态（最具挑战性）。
生成与校准流程：
- 种子构建：由金融专家编写 150 个种子问题（每类 50 个），并标注“黄金指标”（Golden Indicators）。
- 多模型候选生成：利用多个 LLM 生成候选回答，采用 TELeR 提示词分类法（从简单指令到复杂推理）。
- 自过滤 (Self-Filtering)：每个模型独立筛选其最佳回答，避免跨模型偏好泄露。
- 数值审计：独立 LLM 审计器对回答中的数值主张进行核查（支持/矛盾/未找到）。
- 人机对齐校准：金融专家与 LLM 裁判（Claude Sonnet 4.5）对筛选后的回答进行评分对齐，确保裁判的准确性（MAE < 10%）。
- 扩展：利用校准后的裁判将基准扩展至 1,400 个 历史真实问题。

2.2 评估设置

模型：评估了 14 种 LLM（包括大型专有模型、中型和小型开源模型）。
模式：
- Zero-shot (No-RAG)：无检索增强。
- RAG (Retrieval-Augmented Generation)：采用双轨检索引擎 (Dual-Track Retrieval Engine)。
  - 轨道 A：针对非结构化文本（SEC 文件），采用父子分块（Parent-Child Chunking）和混合检索（Dense + BM25 + Cross-encoder）。
  - 轨道 B：针对结构化时间序列数据（价格/成交量），采用辅助时间查询机制，避免语义模型对数值表格的权重低估。
指标：绝对准确率、检索增量（ $\Delta$ ）、黄金指标 F1 分数、上下文整合度、推理深度等。

3. 关键贡献 (Key Contributions)

FinTradeBench 基准发布：首个同时涵盖公司基本面和交易信号，并专门设计用于评估混合推理 (Hybrid Reasoning) 能力的金融基准。包含 1,400 个问题，覆盖 10 年历史数据。
创新的构建框架：提出了“校准 - 扩展”框架，结合专家种子、多模型生成、自过滤、数值审计和人机裁判对齐，解决了金融领域高质量数据标注难、数值精度要求高的问题。
双轨检索架构设计：针对金融数据中“文本表格”与“数值时间序列”的异构性，设计了专门的双轨检索引擎，以优化 RAG 在金融场景下的表现。

4. 实验结果与发现 (Results & Findings)

对 14 个 LLM 的评估揭示了以下关键发现：

4.1 RAG 对不同任务类型的差异化影响

基本面推理 (F 类)：RAG 显著提升了性能。
- 原因：SEC 文件是公开且广泛存在于预训练数据中的，RAG 起到了“锚定”作用，激活了模型的先验知识并减少了幻觉。
- 数据：R1-Distill-Qwen (32B) 在 F 类问题上准确率提升了 37%。
交易信号推理 (T 类)：RAG 导致性能下降或提升有限。
- 原因：LLM 难以直接从检索到的原始数值表格中计算技术指标（如动量、RSI）。检索引入了大量未处理的数值噪声，导致模型分心（Distraction），而非辅助。
- 数据：Gemini 2.5 Flash-Lite 在 T 类问题上性能下降了 19.7%。
混合推理 (FT 类)：RAG 带来显著收益，但高度依赖模型架构。
- 具备隐式推理能力（Chain-of-Thought）的模型（如 DeepSeek-R1 及其蒸馏版）在混合问题上表现最佳，RAG 带来的提升可达 55.1%。
- 纯指令微调模型在混合任务中表现不佳，甚至出现负增长。

4.2 模型架构与规模的影响

推理能力优于规模：具备隐式推理能力的模型（如 DeepSeek-R1）在混合任务中显著优于参数量更大的纯指令微调模型（如 LLaMA 3.3 70B）。
架构敏感性：
- Qwen 系列：在 RAG 设置下普遍表现良好，能有效利用检索内容。
- LLaMA 系列：在 RAG 设置下出现系统性性能下降（整体下降约 9.5%）。这表明 LLaMA 架构在面对密集的金融文本和未结构化的数值表格时，更容易受到干扰，导致其放弃内部推理而转向表面总结。

4.3 RAG 的“分心效应” (Distraction Effect)

尽管 RAG 提高了事实 grounding（基于文本的准确性），但黄金指标提取能力 (Golden Indicator F1) 下降了 56.5%，推理深度 (Reasoning Depth) 下降了 10.8%。
结论：检索到的丰富上下文虽然提供了事实依据，但往往淹没了模型进行抽象分析的能力，导致模型生成流畅但缺乏关键洞察的总结，而非专家级的深度分析。

5. 意义与未来方向 (Significance & Future Work)

理论意义：揭示了当前 LLM 在数值推理和时间序列分析方面的根本性短板。证明了单纯增加检索（RAG）并不能解决所有金融推理问题，特别是涉及实时计算和跨模态整合的任务。
实践意义：
- 为金融 AI 研究提供了一个标准化的评估工具，帮助识别模型在真实投资场景中的能力边界。
- 指出未来的金融 RAG 系统不能仅依赖检索，需要引入代码执行 (Code Execution) 或计算代理来处理数值时间序列数据，并优化上下文结构以减少分心。
未来工作：计划扩展信号类型（加入宏观数据、另类数据），探索智能体 RAG (Agentic RAG)，并进一步研究如何在不牺牲推理深度的前提下有效利用检索信息。

总结：FinTradeBench 不仅是一个数据集，更是一个诊断工具，它清晰地表明：虽然 LLM 在处理文本金融信息上已取得进展，但在整合市场动态与基本面、进行复杂数值推理方面，仍面临巨大挑战。未来的突破点在于增强模型的数值计算能力和抗干扰的推理架构。