FinAbstain: Uncertainty-Calibrated Multimodal RAG for Selective Financial Forecasting

技术摘要：FinAbstain

问题陈述
由于证据的异步到达以及信号的频繁分歧（例如：收益报告 vs. 新闻情绪 vs. 技术指标），金融预测本质上具有极高的难度。虽然大语言模型（LLMs）可以合成金融叙事，但即使在证据稀缺、陈旧或相互矛盾时，它们也往往表现出过高的置信度。在决策语境下，这种过度自信会将认识论上的局限性转化为可避免的交易风险。现有的检索增强生成（RAG）和金融语言模型存在三个关键缺陷：

1. 时间泄漏（Temporal Leakage）： 标准 RAG 无法保证检索到的文档在特定的预测时间戳之前已公开，从而导致回测污染。
2. 隐藏的分歧（Hidden Disagreement）： 单一的合成叙事往往将来自基本面、新闻和市场来源的冲突信号压缩为单一输出。
3. 缺乏选择性拒绝（Lack of Selective Refusal）： 置信度评分很少经过校准，以支持在不确定性较高时进行“拒绝预测”（即弃权）的操作选项。

方法论：FinAbstain 框架
FinAbstain 是一个用于不确定性校准的多模态 RAG 及选择性预测研究框架。其架构由四个核心组件组成：

1. 定点多模态检索器（Point-in-Time Multimodal Retriever）：
   系统摄取申报文件（10-K, 10-Q, 8-K）、业绩电话会议、新闻、价格、成交量和技术指标。至关重要的是，它强制执行严格的时间约束：仅允许发布时间 ($\tau_{pub}$) 和摄取时间 ($\tau_{ing}$) 均早于预测时间 $t$ 的文档进入。这防止了未来信息的泄漏。检索器使用文本的混合稠密/BM25 评分，以及时间序列的机制/近期性匹配，并在不同模态间分配 top-$k$ 预算，以防止新闻量挤占申报文件的权重。

2. 角色分离的智能体协议（Role-Separated Agent Protocol）：
   证据在聚合前由独立的智能体进行处理：

• 基本面智能体： 分析营收、利润率、现金流和指引。
• 新闻智能体： 评估事件极性、新颖性和来源多样性。
• 技术智能体： 仅使用数值特征分析趋势、动量和波动性。
• 风险智能体： 构建反向论点并识别缺失的证据。
• 验证器： 检查声明是否与检索到的文本段落一致，并检测跨源矛盾。
  智能体独立运行以减少锚定效应，第二次聚合过程使用可靠性权重且不引入未经引用的事实。

3. 混合不确定性公式化（Hybrid Uncertainty Formulation）：
   系统聚合来自各智能体的概率评估，并计算综合不确定性得分 ($U_{i,t}$)。该得分整合了以下因素：

• 分歧（Disagreement）： 智能体之间的平均 Jensen–Shannon 散度。
• 矛盾（Contradiction）： 矛盾声明的关联权重概率。
• 一致性（Consistency）： 重复推理样本间的方差。
• 检索缺陷（Retrieval Deficiency）： 支持性证据的缺乏。
• 熵与校准差距（Entropy and Calibration Gap）： 预测熵和历史校准误差。
  这些因素通过带有验证拟合权重的逻辑函数进行组合。

4. 选择性控制器（Selective Controller）：
   仅当不确定性得分 $U_{i,t}$ 低于经过验证的阈值 $\theta$ 时，控制器才会预测方向（看涨、看跌、中性）。否则，系统选择弃权。弃权被视为一种决策，可触发诸如请求更多证据、减小仓位或路由至人工审核等行动。该阈值在验证数据上进行优化，旨在满足最小覆盖约束的同时最小化选择性风险。

核心贡献
本文提出了四项具体贡献：

• 一种定点 RAG 规范，确保申报文件、新闻和市场数据在预测时间戳时均已可用。
• 一个多智能体证据协议，明确暴露分歧、矛盾和引用支持，而非将其压缩为单一叙事。
• 一个混合不确定性得分及正式控制器，将校准、覆盖率、选择性风险和仓位控制联系起来。
• 一个可复现的编年评估蓝图，明确区分了模拟规划值与经验发现。

结果与评估
本文呈现的是模拟演示结果，而非来自已完成回测的经验结果。这些模拟旨在测试报告流水线和所提指标的一致性。

• 性能： 在模拟中，FinAbstain 实现了最佳校准（ECE: 0.026）和最高的选择性准确率（68.8%），同时覆盖了 72% 的案例。
• 风险-覆盖率权衡： 模拟的风险-覆盖率曲线显示，在同等覆盖水平下，FinAbstain 的选择性误差低于基准模型（包括标准 RAG 和未校准的多智能体模型）。
• 消融实验： 移除时间过滤会导致模拟中的准确率出现虚高（70.4%），作者明确将其标记为因未来信息污染而导致的无效结果。移除校准或弃权能力会导致性能下降，凸显了选择性机制的必要性。
• 指标： 评估框架包括准确率、F1 分数、Brier 分数、预期校准误差 (ECE)、夏普比率 (Sharpe ratio)、最大回撤 (MDD) 以及经交易成本调整后的收益。

意义与主张
本文将 FinAbstain 定位为一种时间安全架构以及用于基于证据的选择性金融预测的可复现评估蓝图，而非一种已证实的交易策略。

• 核心假设： 作者提出，校准后的弃权可以以牺牲覆盖率为代价，换取更低的选择性误差和更小的回撤。
• 主张的审慎性： 作者明确指出，报告的数字是用于测试方法论和布局的“模拟人工制品”。他们并不声称具备经济效益或经验验证。
• 未来工作： 本文呼吁进行一项预注册的编年研究，使用冻结的数据清单、可执行的特征流水线和独立审计，以用经验结果取代模拟值。文章承认，该框架无法消除不可还原的市场不确定性或策略性误导信息。

综上所述，FinAbstain 提供了一种结构化的金融预测方法，该方法优先考虑认识论上的谦逊（知晓何时不应预测）和时间完整性（确保没有未来信息泄漏），为评估 LLM 何时应当放弃进行金融决策提供了一个严谨的框架。