Detecting Lookahead Bias in LLM Forecasts

技术摘要：检测大语言模型（LLM）预测中的前瞻偏差（Lookahead Bias）

问题陈述
大语言模型（LLM）正越来越多地被用于实证经济学和金融领域，以从非结构化文本（如新闻标题和收益电话会议记录）中生成公司层面的预测。这些模型的预测能力（例如预测股票回报、资本支出等已实现结果）往往能与传统的计量经济学基准相媲美，甚至实现超越。然而，一个关键的担忧是，这种预测能力可能并非源于对输入文本的真实经济推理，而是源于模型在预训练阶段吸收了已实现结果的“记忆”。当模型在与其训练语料库日期重合的时间段进行评估时，特定“公司-日期”对的实现结果可能已随回顾性叙述一同被吸收，从而产生“前瞻偏差”——即模型实际上是在“回忆”答案，而非通过提示词进行推理。现有的缓解策略（如实体掩码或将评估限制在截断日期之后的数据上）要么是不完全的（留下了细微的记忆渠道），要么是统计受限的（由于样本外窗口过短）。目前缺乏一种可移植的诊断工具，用以判断特定任务中 LLM 的预测是依赖于记忆还是推理。

方法论
作者提出了一种以名为**前瞻倾向（Lookahead Propensity, LAP）**的指标为核心的统计程序，记作 $LAP^{(known)}_{i,t+1}$。

1. 构建 LAP：

   • 该方法使用仅包含公司名称、股票代码和目标日期（或季度）的“仅日期召回查询”，不包含任何同期信息（无新闻标题、记录或基本面数据）。
   • 模型被要求预测结果的方向（例如“上升”或“下降”）或选择“未知”（abstain）。
   • $LAP^{(known)}$ 计算为分配给方向性标签的首个 Token 概率之和：$P_{up} + P_{down}$。
   • 数值接近 1 表示模型“知道”结果（高记忆度），接近 0 则表示拒绝回答（无召回）。

2. 计量经济框架：

   • 作者将 LLM 预测（$\hat{\mu}_t$）建模为真实条件期望与污染项之和：$\hat{\mu}_t = \mu(X_t) + \gamma L_t \epsilon_{t+1}$。
   • 此处，$L_t$ 代表公司-时期的记忆强度（由 $LAP^{(known)}$ 作为代理变量），$\gamma$ 代表模型将记忆内容泄露到文本调节预测中的倾向。
   • 检测测试涉及对实现结果（$Y_{t+1}$）对 LLM 预测（$\hat{\mu}_t$）、LAP 指标及其交互项的回归分析：
     $$Y_{t+1} = \beta_1 \hat{\mu}_t + \beta_2 LAP_t + \beta_3 (\hat{\mu}_t \times LAP_t) + \epsilon_{t+1}$$
   • 命题 1： 在温和条件下，正向且显著的交互项系数（$\beta_3 > 0$）可作为 $\gamma > 0$ 的单侧诊断，表明模型的预测能力被记忆内容所放大。

3. 验证与安慰剂检验：

   • 验证： 方向性成分的召回查询（$(U-D) = P_{up} - P_{down}$）针对实现结果进行测试。此处的预测能力证实了记忆的存在（$L_t > 0$）。
   • 安慰剂： 该测试应用于训练截断日期之后的样本（严格晚于模型知识截止日期的日期）。在此窗口内，$LAP^{(known)}$ 应塌缩至接近零，且交互项应变得不显著，从而证实样本内的放大效应是由训练期间的暴露驱动的。

主要实证结果
作者将该框架应用于两个预测任务，使用的是 Llama-3.3-70B（训练截止日期：2023年12月）：

1. 新闻预测股票回报：

   • 利用彭博社新闻标题预测次日股票回报（样本内：2012–2023年）。
   • 基准 LLM 信号预测回报（$t=12.18$）。
   • 交互项（$LLM \times LAP$）为正且高度显著（$t=3.64$）。$LAP^{(known)}$ 每增加一个标准差，会使 LLM 信号的边际效应增加约 32%。
   • 仅靠召回查询（不含新闻标题）预测回报的 $t$ 统计量为 3.53，但仅限于 $LAP^{(known)}$ 较高的公司-日期。
   • 样本外（2024年）： $LAP^{(known)}$ 的均值塌缩至接近零，且交互项变得统计上不显著（$t=1.06$），验证了前瞻偏差假设。

2. 电话会议预测资本支出：

   • 利用会议记录预测两个季度后的资本支出（样本内：2006–2020年）。
   • 基准 LLM 信号预测未来资本支出（$t=16.69$）。
   • 交互项为正且显著（$t=2.01$）。$LAP^{(known)}$ 每增加一个标准差，边际效应增加约 12%。
   • 样本外（2023Q3–2024Q1）： 由于召回日期严格晚于训练截止日期，交互项失去显著性（$t=1.35$），放大效应消失。

3. 与内在置信度（Inner Confidence）的比较：

   • 作者将 $LAP$ 指标与“内在置信度”（模型在主提示词中为其选择答案所分配的概率）进行对比。
   • 当两者同时纳入时，两个交互项（$LLM \times LAP$ 和 $LLM \times Inner Confidence$）均保持显著，表明它们捕捉到了不同的预测性能组成部分：$LAP$ 捕捉的是记忆，而内在置信度捕捉的是模型对其推理的确定性。

意义与主张
本文声称提供了一种可移植、高成本效益且模型层面的诊断工具，用于评估 LLM 生成预测的有效性。

• 诊断效用： 它允许研究人员量化 LLM 表象下的预测能力中有多少是由记忆而非推理驱动的，且无需重新训练、无需访问专有训练数据，也不需要构建无泄露的模型。
• 任务特异性： 作者强调，前瞻偏差并非 LLM 的普遍失败，而是具有任务特异性的，取决于输入领域、目标变量、模型以及提示词。
• 实际应用： 该测试仅需具备查询模型并读取其首个 Token 标签概率的能力。它使研究人员能够“扣除”记忆效应，以确定预测的真实经济含义。
• 局限性： 该测试识别的是污染载荷（$\gamma > 0$）的符号而非其精确大小。它并不建议丢弃 LLM 预测，而是提供了一个工具来解释特定情境下的可靠性。

文章结论认为，LLM 在金融预测中的非平凡预测内容中，有相当一部分反映了训练期间的记忆，而提出的 $LAP^{(known)}$ 测试为检测和处理这种偏差提供了一种严谨的方法。