论文技术总结：搜索引擎日期过滤在回溯性预测检索中的时间泄露问题

1. 研究背景与问题定义

核心问题：在评估“搜索增强型预测系统”（Search-Augmented Forecasters）时，研究者通常使用回溯性预测（Retrospective Forecasting, RF）方法，即利用已知结果的过去问题来测试模型。为了保证评估的公平性，必须确保模型在预测时只能获取到截止日（Cutoff Date）之前的信息。

现有缺陷：目前主流的 RF 管道依赖搜索引擎的日期过滤功能（如 Google 的 before: 过滤器或 DuckDuckGo 的日期范围过滤器）来限制检索结果。然而，本文指出这种方法是不可靠的。搜索引擎返回的网页可能包含在截止日之后更新的内容、侧边栏信息或错误的元数据，导致时间泄露（Temporal Leakage）。这种泄露会人为地提高预测准确率，从而破坏评估的有效性。

2. 方法论 (Methodology)

2.1 数据收集与实验设置

• 数据集：从 Metaculus 平台收集了 393 个已解决的预测问题（Google 审计）和 389 个（DuckDuckGo 审计），时间跨度为 2021 年至 2025 年。
• 检索过程：
  • 针对每个问题，利用 LLM 生成 10-20 个搜索查询。
  • 分别使用 Google 的 before: 过滤器和 DuckDuckGo 的日期范围过滤器（起始日期设为 2000-01-01，截止日设为问题开启日）检索约 100 个唯一 URL。
  • 共获取了 38,879 (Google) 和 34,454 (DuckDuckGo) 个网页内容进行审计。
• 处理长文本：对于超过 7,680 个 token 的页面，使用最大边际相关性（MMR）算法提取最相关段落。

2.2 泄露严重性评分体系

作者开发了一个 0-4 分的泄露严重性评分标准，由 LLM 作为裁判（LLM-as-a-Judge）进行大规模评分：

• 0 分：无泄露或泄露信息与问题无关。
• 1 分：主题相关但无信息量。
• 2 分：微弱的方向性信号。
• 3 分：重大信号，支持强推断或对部分组件起决定性作用。
• 4 分：直接揭示答案。
• 注：基于缺失信息的信号（Absence-based signals）最高计为 3 分，以避免过度解读。

2.3 下游影响评估

为了量化泄露对预测性能的影响，研究者在 2025 年开启的 93 个二分类问题上进行了实验：

• 使用 gpt-oss-120b 作为预测模型。
• 对比了在不同泄露程度文档（无泄露 vs. 强泄露）辅助下的预测准确率（使用 Brier Score 衡量，分数越低越好）。

3. 关键发现与结果 (Key Results)

3.1 泄露的普遍性

日期过滤在两大搜索引擎上均失效，泄露现象普遍存在而非偶发：

• Google：71% 的问题至少有一个检索页面包含重大泄露（≥3 分），41% 的问题直接泄露了答案（4 分）。
• DuckDuckGo：81.2% 的问题存在重大泄露，54.8% 的问题直接泄露答案。
• 总体：约 33% (Google) 和 34.5% (DuckDuckGo) 的检索 URL 包含截止日后的信息。

3.2 对预测性能的误导性提升

泄露显著虚高了模型的预测表现：

• 无泄露文档：Brier Score 为 0.24（接近无检索基线 0.244）。
• 包含强泄露文档（≥3 分）：Brier Score 降至 0.108（表现大幅提升）。
• 仅包含直接泄露文档（4 分）：Brier Score 为 0.129。
• 结论：依赖日期过滤的评估会严重高估模型的真实预测能力，因为模型实际上是在进行“信息检索”而非“不确定性推理”。

3.3 泄露的四种主要机制

论文详细分类了导致泄露的四种机制：

1. **直接页面更新 **(Direct Page Updates)：网页内容随时间更新，虽然发布日期早于截止日，但内容包含了后续事件（例如：2017 年发布的导弹追踪数据库，但内容更新到了 2023 年）。
2. **相关内容泄露 **(Related Content Leakage)：侧边栏或“相关文章”模块注入了当前信息，尽管主文章内容是历史的。
3. **基于缺失的信号 **(Absence-Based Signals)：综合性的时间线文章未提及某事件，模型据此推断该事件未发生（例如：2025 年的冲突时间线未提及 2024 年的战争，暗示战争未发生）。
4. **不可靠的元数据 **(Unreliable Metadata)：网页自我报告的更新时间（Last Updated）是过时或错误的，导致基于元数据的过滤失效。

3.4 时间变化趋势

• 较早的截止日（2021-2022 年）泄露率最高（>46%），因为旧页面有更长的时间积累更新。
• 较新的截止日（2023 年及 2025 年）泄露率有所下降，但依然显著。

4. 主要贡献 (Contributions)

1. 系统性审计：首次对 Google 和 DuckDuckGo 的日期过滤功能进行了大规模、定量的审计，证实了泄露的普遍性。
2. 量化下游影响：通过对比实验，证明了泄露会导致 Brier Score 从 0.24 虚高至 0.10，揭示了当前评估方法的严重缺陷。
3. 机制分类：系统性地识别并分类了导致时间泄露的四种具体技术路径，为后续修复提供了方向。

5. 意义与建议 (Significance & Recommendations)

5.1 学术与实践意义

• 挑战现有评估范式：指出单纯依赖搜索引擎日期过滤进行回溯性评估是不可信的。
• 警示时间敏感任务：该问题不仅影响预测，还波及事实核查（Fact-checking）、动态验证和时间线总结等所有依赖时间敏感检索的 NLP 任务。
• 推动基准建设：强调了构建更严格评估基准的必要性。

5.2 改进建议

作者建议放弃单纯依赖搜索引擎的实时日期过滤，转而采用以下更严格的措施：

• 使用冻结的、带时间戳的网页快照（Frozen, Time-stamped Web Snapshots）：例如使用 Wayback Machine 或专门收集的历史快照数据库，确保内容在截止日之后无法被修改。
• 更强的检索安全机制：在检索管道中增加额外的验证步骤，而不仅仅依赖搜索引擎的元数据。

5.3 局限性

• 研究主要聚焦于 Google 和 DuckDuckGo，其他搜索引擎的表现可能不同。
• 泄露检测和预测均使用了同一模型（gpt-oss-120b），可能存在解释偏差（尽管有人类标注验证）。
• 未实验性地评估具体的缓解策略（如 Wayback Machine 检索）的效果，这是未来的工作方向。

---

总结：该论文揭示了当前利用搜索引擎日期过滤进行回溯性预测评估的系统性漏洞。由于网页更新、侧边栏内容和元数据错误，大量“未来信息”会泄露给模型，导致评估结果虚高。作者呼吁社区转向使用冻结的历史快照来进行可信的评估。