📊 statistics

FinBench: Time-Gated Calibration and Uncertainty Benchmarking for Agentic Financial Forecasting

本文介绍了 FinBench，这是一个旨在通过强制执行严格的时间门控并利用适当评分规则来惩罚过度自信和幻觉确定性，从而评估智能体金融预测模型的概率校准与不确定性质量的新型基准测试。

原作者： Rishab Ghosh, Vinay Devarakonda

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Rishab Ghosh, Vinay Devarakonda

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在参加一场高风险的“天气预测”游戏，奖品不仅仅是一颗金星，而是你的全部积蓄。在这场游戏中，你有一个超级聪明的机器人朋友，它能阅读数百万篇新闻文章并观察复杂的图表，来预测明天是阳光明媚还是阴雨连绵。但这里有个陷阱：机器人不仅要说“会下雨”，它还必须说明它有多大的“把握”。如果机器人说：“我有99%的把握会下雨”，而你因此押上了你的房子，一旦最后天晴了，你就会陷入大麻烦。这就是“校准”（calibration）的核心问题：确保你的信心程度与你的实际能力相匹配。在金融领域，当计算机（被称为“智能体”）开始为我们做出真实的资金决策时，一个过度自信且错误的机器人比一个不确定且犹豫不决的机器人要危险得多。如果一个机器人觉得自己是天才，但实际上只是在瞎猜，它就会下重注并输掉一切。

这正是名为 FinBench 的新项目背后的故事。研究人员 Rishab Ghosh 和 Vinay Devarakonda 担心，我们今天使用的这些超级智能 AI 模型虽然听起来很有自信，但在知道自己何时是在瞎猜方面却表现得很差。他们建立了一个特殊的测试赛道，旨在观察这些 AI 智能体是否能够诚实地承认自己在某些时候并不知情，而不是仅仅通过虚张声势来蒙混过关。

问题所在：过度自信的赌徒

过去，我们测试 AI 的方式是问一些简单的问题，比如“法国的首都是哪里？”或者“这只股票会上涨还是下跌？”，然后检查答案是对还是错。但在真实的金融世界中，如果你每次都表现得百分之百确定，那么即便你只有 55% 的正确率也是不够的。如果你只是比抛硬币好那么一点点，却表现得像个神一样无所不知，你最终会在一次错误的猜测上押上所有筹码并输掉一切。

作者认为，目前的多数测试都无法捕捉到这一点。它们没有检查 AI 的“信心计”是否失灵。它们也没有阻止 AI “偷看未来”。想象一下，你在参加考试，但你在动笔写答案之前就被允许看了答案解析。这被称为“前瞻偏差”（look-ahead bias），这是金融领域的一个巨大问题。如果一个 AI 利用一天结束时的信息来预测早上的情况，那它就是在作弊。

解决方案：FinBench

为了解决这个问题，团队创建了 FinBench，这是一个专门设计用来捕捉“自信但脆弱”的 AI 行为的新型测试赛道。你可以把它想象成自动驾驶汽车的驾驶测试，只不过不是检查汽车能否在红灯前停下，而是检查汽车是否知道什么时候雾气太大而不适合安全驾驶。

测试是如何运作的：

严格的时间旅行规则： AI 会被给定一个特定的时间（例如上午 9:30），并且必须基于此做出预测。它被严禁查看该时间点之后出现的任何数据。这就像被锁在一个房间里，手里只有早上的报纸；你不能通过阅读晚报来帮助你猜测天气。
两部分回答： AI 必须给出两样东西：
- 股票上涨的百分比概率（例如，“我认为有 60% 的机会”）。
- 一个“安全网”范围（一个 80% 的预测区间），即价格变动的实际落点很可能处于该范围内。
评分系统： 测试使用两条特殊的数学规则来给 AI 打分：
- 布里尔分数（Brier Score）： 如果 AI 说“99% 确定”却错了，该分数会惩罚它。它奖励那些诚实的 AI。如果 AI 在实际情况是五五开时说“50/50”，它会得到一个好分数。
- 温克勒分数（Winkler Score）： 这用于检查“安全网”。如果 AI 把网织得太宽（为了以防万一覆盖了所有范围），它会因为“胆小”而受到惩罚。如果它把网收得太紧，导致错过了实际价格，它会因为“鲁莽”而受到惩罚。

他们的发现（试点运行）

作者进行了一次小规模的“试点”测试，看看他们的系统是否有效。这就像是大戏开演前的彩排。他们选择了三只热门股票（苹果、微软和英伟达），并要求六个不同的 AI 模型对仅一个交易日进行预测。

这次小测试揭示了以下内容：

准确率并非一切： 有些模型在这次微型测试中，对方向（涨或跌）的预测准确率达到了 100%。但当你观察它们的信心得分时，你会发现这些得分乱七八糟。
“自信但错误”的陷阱： 有两个模型（Llama 3.1 和 DeepSeek-V3）在某个特定预测上失误了。它们当时的信心程度仅略高于一半（约 55-56%），但由于预测错误，它们的“布里尔分数”表现极差，其表现甚至比单纯抛硬币还要糟糕。这证明了该测试成功捕捉到了那些在错误时表现出过度自信的模型。
诚实带来回报： 那些能够更好地将信心与实际表现相匹配的模型（如 GPT-4o）获得了更高的分数，尽管它们并不一定能做到每一次预测都正确。

研究人员发现，校准（对不确定性的诚实度）和区间质量（安全网的好坏）是两种不同的技能。一个模型可以拥有在 80% 的时间内捕捉到正确价格的安全网，但在信心数值上仍然表现糟糕。这意味着你不能只看一个数字来判断一个 AI 是否安全；你必须同时观察两者。

核心结论

这篇论文并不声称已经找到了“完美的金融 AI”。事实上，作者非常谨慎地指出，这只是一个仅包含 33 个预测的小型测试。他们并不是在说某个 AI 是最终的赢家。相反，他们是在说：“嘿，我们制造了一个新的尺子，它能测量出其他尺子所忽略的重要维度。”

他们证明了，建立一种能够防止 AI 通过“偷看未来”来作弊，并强迫它们诚实面对不确定性的测试是完全可行的。这是一个至关重要的步骤，因为在未来，如果我们让 AI 智能体管理我们的资金，我们需要它们知道何时说“我不知道”，而不是把身家性命押在一个直觉上。论文指出，如果没有这种“校准检查”，我们可能会把钱包交给那些注定会崩盘的过度自信的机器人。

技术摘要：FinBench

问题陈述

大型语言模型（LLM）正越来越多地被部署为具备观察、规划和行动能力的智能体系统（Agentic Systems）。在金融背景下，当这些系统的输出会影响交易规模或风险分配时，它们就具有了决策相关性。识别出的主要失效模式并非仅仅是方向性的不准确，而是置信度与能力的差距（Confidence–Competence Gap）：一个仅比随机猜测略好但表现出持续过度自信的模型，在遵循标准头寸管理规则（如凯利公式）时，会因将资本过度分配给错误的观点而产生负的长期增长。

现有的基准测试主要关注语义理解或点准确率。它们未能解决金融领域特有的两种结构性风险：

非平稳性（Non-stationarity）： 市场机制会发生变化，导致记忆中的模式发生衰减。
前瞻偏差（Look-ahead Bias）： 预处理过程可能会无意中泄露未来信息（例如，使用收盘变量来预测日内结果），这在随着时间推移误差会不断累积的智能体设置中尤为严重。

至关重要的是，目前的评估并未测试模型的陈述概率是否在严格的时间约束下反映了真实的确定性。

方法论：FinBench 规范

作者引入了 FinBench，这是一个旨在评估金融预测中的校准度和不确定性质量的基准测试。其核心设计原则包括：

1. 严格的时间门控协议（Strict Time-Gating Protocol）

为了防止前瞻偏差，该基准测试强制执行一项协议：对于产生时间 $T$ 预测的模型，必须严格无法获取任何时间戳晚于 $T$ 的数据（价格、新闻、衍生信号）。

预测时界（Forecast Horizons）： 定义为早盘（MORNING, 09:30 ET）、午间（MIDDAY, 12:30 ET）和收盘（CLOSE, 15:30 ET）。
目标时间（Target Time）： 一个位于当日接近结束时的固定评估时间（15:55 ET），与预测时界相区分。
输入： 数值型（OHLCV 柱状图）和文本型（标题、情绪）数据经过过滤，以确保仅使用 $T$ 时刻可用的信息。

2. 输出模式（Output Schema）

对于每个代码（Ticker）和时界，模型必须输出一个包含以下内容的结构化对象：

$\hat{p} \in [0, 1]$ ：实现对数收益率为正（ $Y=1$ ）的概率。
$[L, U]$ ：实现对数收益率 $r$ 的 80% 预测区间。
（可选）自然语言逻辑说明，该说明不用于评分。

3. 评估指标

FinBench 利用**严格适定的评分规则（Strictly Proper Scoring Rules）**来激励真实的确定性报告：

布里尔分数（Brier Score, BS）： 用于概率方向预测。它衡量预测概率与实际二元结果之间的均方差。
- $BS = \frac{1}{N} \sum (\hat{p}_i - Y_i)^2$
- 布里尔技能分数（Brier Skill Score, BSS）： 报告相对于基准线（抛硬币、滚动基础率、动量启发式算法）的表现。正值的 BSS 表示性能提升；负值表示表现差于基准。
温克勒分数（Winkler Score）： 用于区间估计。它同时惩罚“胆怯”（区间过宽）和“鲁莽”（区间过窄且未覆盖实际收益）。
- $S_W = (U - L) + \frac{2}{\alpha}(L - r)I(r < L) + \frac{2}{\alpha}(r - U)I(r > U)$ ，其中 $\alpha = 0.2$ 。

核心贡献

基准设计： FinBench 是第一个专门设计用于在智能体金融预测中强制执行严格时间门控，并以严格适定的概率评分为核心的基准测试。
校准关注点： 它将评估指标从简单的准确率转向校准度，直接惩罚幻觉式的过度自信，这对于风险管理至关重要。
试点实施： 论文提供了一个规范和一个小规模试点运行，以验证流水线机制。

试点结果

作者在 2025 年 1 月 15 日进行了一次试点运行，涵盖三个高流动性代码（AAPL, MSFT, NVDA）以及三个时界，共计 33 个预测。测试的模型包括 GPT-4o, GPT-4o Mini, Llama 3.1/3.3, Qwen2.5 和 DeepSeek-V3。

方向准确度 vs. 校准度： 在这一特定日期，大多数模型实现了较高的方向准确度（在 MORNING 时界通常达到 100%）。然而，对校准敏感的指标（Brier 分数和 BSS）显示出显著差异。
过度自信检测： 在涉及 MSFT MORNING 的两个特定案例中，Llama 3.1 70B 和 DeepSeek-V3 表现出了负向技能分数。这些模型针对错误结果（ $Y=0$ ）输出了中等程度自信的概率（0.55 和 0.56），导致 Brier 分数 > 0.30 且 BSS 为负。
区间质量： 虽然区间覆盖率维持在标称的 0.8–0.9 范围内，但温克勒分数各异，说明了区间宽度与失误之间的权衡。
综合表现： GPT-4o 获得了最高的综合得分，其次是 GPT-4o Mini 和 Llama 3.3，而其他模型尽管准确率相似，但在校准指标方面表现落后。

注：作者明确指出，由于样本量较小，这些结果仅具描述性，不具备统计学上的定论性。

重要性与主张

论文声称，其意义在于解决了**智能体金融（Agentic Finance）**的特定需求，即在这些场景下，不确定性是安全决策（头寸规模、风险限制、人工介入）所需的主要输出。

不同的维度： 作者证明了校准度和区间质量是两个不同的维度；一个系统可以实现目标覆盖率，同时仍报告出校准度极差的概率。单一的准确率指标会掩盖这些关键的风险行为。
逻辑与概率的不匹配： 该基准测试隔离了一种定性模式，即模型生成看似合理的文本解释，但输出的概率却无法反映这些解释。FinBench 仅对概率部分进行评分，以检测这种不匹配。
安全性与鲁棒性： 通过使用严格适定的评分规则，FinBench 使模型的激励机制与诚实的确定性报告保持一致，这是在高风险金融部署中实现安全的前提。

论文结论较为审慎，指出目前的试点规模尚不足以宣称模型具有优越性或对机制转变的鲁棒性。未来的工作旨在扩大代码范围、标准化基准构建，并引入压力切片（例如宏观公告）以研究分布偏移。