💬 NLP

Before the Action: Benchmarking LLMs on Prospective Hypothesis Discovery

本文引入了前瞻性假设发现（Prospective Hypothesis Discovery, PHD）作为一种新的大语言模型评估范式，其特点是包含 HypoArena 基准测试以及一种全新的数据构建流水线，旨在评估并排名模型从不确定证据中自主生成具有依据且可验证假设的能力。

原作者： Tianyun Zhong, Wangyi Jiang, Wei Wang, Xuanang Chen, Yaojie Lu, Shiwei Ye, Yuzhen Shi, Boyu Yang, Jinghang Wang, Han Li, Weiqi Zhai, Bing Zhao, Hu Wei, Haiyang Yu, Yongbin Li, Hongyu Lin, Le Sun, Xian

发布于 2026-07-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tianyun Zhong, Wangyi Jiang, Wei Wang, Xuanang Chen, Yaojie Lu, Shiwei Ye, Yuzhen Shi, Boyu Yang, Jinghang Wang, Han Li, Weiqi Zhai, Bing Zhao, Hu Wei, Haiyang Yu, Yongbin Li, Hongyu Lin, Le Sun, Xianpei Han

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

技术摘要：HypoArena —— 基准测试大语言模型中的前瞻性假设发现能力

1. 问题定义：调查性推理的缺失

当前的大语言模型（LLM）基准测试主要评估的是反应式问答（Reactive QA），即模型检索已知问题的答案或完成预定义任务。然而，在科学研究、事故调查和金融分析等现实世界的探索中，起点往往不是一个清晰的问题，而是“现实世界的混沌”：一团由异常观测、碎片化事实和不完整记录交织而成的乱麻。

目前评估中缺失的关键能力是前瞻性假设发现（Prospectice Hypothesis Discovery, PHD）。PHD 要求模型在得出结论之前，能够从不确定的证据中自主构建出一个有据可查、具有辨别力且可测试的假设空间。现有的基准测试无法衡量这一能力，原因在于：

数据局限性： 专家文档（论文、报告）是在结论得出后编写的，包含了明确的因果联系和最终主张，这使得 PHD 退化成了简单的陈述。
指标局限性： 高质量的 PHD 输出是开放式的假设空间，而非单一的参考答案。传统的指标（如精确匹配或绝对量表评分）会低估那些落在“金标准集”之外的有效假设，或者难以区分表面质量相似的开放式输出。

2. 方法论：HypoArena 框架

作者引入了 HypoArena，这是一个旨在隔离并衡量 PHD 能力的基准测试与评估框架。该框架由两个核心组件组成：HypoData（数据集）和 HypoEval（评估协议）。

2.1 HypoData：回顾性上下文回归

为了在不泄露答案的情况下创建有效的测试用例，作者提出了一个利用**回顾性上下文回归（Retrospective Context Regression）**的可扩展 Forge–Audit（锻造-审计） 流水线。

素材来源： 从六个领域的专家文档中精选了 988 个案例：生物医学科学、机器学习、社会科学、金融分析、IT 运维和安全调查。
上下文构建（“锻造”阶段）： 该流水线从源文档中重建“结论前”的上下文（ $C$ $C$ ）。它保留了事实基质（时间戳、观测结果、碎片化记录），同时严格过滤掉显性的结论、目标假设和回顾性的因果归因。
- 科学领域： 通过合并预发现时期的文献来合成事实基质。
- 分析领域： 采用“结构化去结论化”（Structural De-conclusion）技术，在保留细粒度事实的同时剥离专家定论。
参考构建： 在生成过程中对模型隐藏，参考侧包含源自原始文档的假设-证据对（ $H, E$ ），用于验证和校准。
审计循环： 一个自动化的审计智能体（Audit Agent）根据三个约束条件验证候选案例：泄露性（上下文中无答案侧信息）、忠实度（假设受原文支持）以及可支持性（证据支撑假设）。人工质量审计确认，抽样案例的通过率达 92%。

2.2 HypoEval：基于竞技场的评估

考虑到针对同一上下文可能存在多个有效的假设，HypoEval 放弃了单参考匹配模式。

主要指标（竞技场协议）： 模型进行两两对决（pairwise matchups）。一个 LLM 作为评判者，比较从同一上下文生成的两个假设集。
- 评判维度： 从六个维度进行评估：上下文溯源性、推理性洞察、证据证明力、假设空间广度、方向差异性以及分析效用。
- 聚合方式： 判定结果（从 $A \gg B$ 到 $B \gg A$ 不等）通过 Bradley–Terry–Davidson (BTD) 模型进行聚合，从而生成稳健的全局排行榜，并显式地处理平局问题。
次要指标（量表评分）： 保留了一个 1–5 分的评分轨道用于诊断分析，允许对特定优劣势进行剖析（例如：溯源性强但洞察力弱）。

3. 实验设置与结果

作者在基准模式（直接生成）和智能体模式（使用包括“竞争假设分析”和“时序分析”在内的 12 个结构化分析技能库）下，对 15 种前沿 LLM（包括 claude-sonnet-4.6、gpt-5.4、kimi-k2.6 等）进行了评估。

3.1 关键发现

能力分层： 竞技场评估揭示了清晰的能力分层，不同模型之间的 BTD 分差超过 360 分。顶尖模型（claude-sonnet-4.6、claude-opus-4.6、gpt-5.4）显著优于其他模型。
竞技场 vs. 量表评分的差异：
- 分数压缩： 量表评分表现出极端的“天花板效应”，95%–98% 的评估落在 4.0/5.0 或以上，导致模型间的差异被压缩在一个极窄的范围内。
- 辨别力： 竞技场协议提供了高分辨率的分离度（每个领域有 345–490 点的分差），解决了量表评分无法捕捉的细微差异。
- 排名不稳定性： 观察到了依赖于协议的排名重排现象；在量表评分中排名靠前的模型，在竞技场排名中可能会下降，反之亦然。
分析技能对模型的依赖效应： 使用结构化分析技能（智能体模式）并未带来统一的收益。改进效果是异质且依赖于模型的；例如，kimi-k2.5 提升了约 88 分，而 claude-opus-4.6 则下降了约 60 分。
失效模式： 定性分析识别出了**候选压缩（candidate compression）**这一关键失效模式，即模型内部生成了多样化的推理路径，但最终将其压缩为过于狭窄的提交内容。
一致性： 竞技场排名与人类专家判断表现出强一致性（Kendall's $\tau = 0.90$ ），并与外部信号（ML 子集的 ICLR 2026 接收结果）相关联，验证了该协议的保真度。

4. 贡献与意义

本文声称了以下贡献：

任务定义与基准测试： 形式化了前瞻性假设发现（PHD），并引入了 HypoArena，这是一个包含六个不同领域、共 988 个案例的基准测试。
HypoData 构建： 提出了一种可扩展的 Forge–Audit 方法，利用回顾性上下文回归从已完成的专家文档中重建“结论前”的上下文，解决了使用原始科学文献时存在的资料泄露问题。
HypoEval 框架： 建立了一个双轨评估系统，将两两竞技场排名（通过 Bradley–Terry–Davidson 聚合）与用于诊断的量表评分相结合。这解决了开放式发现任务中参考匹配和绝对评分的局限性。
实证见解： 通过对 15 种 LLM 的系统分析表明，竞技场评估比传统量表能提供更细粒度的模型区分度，并且结构化分析技能是一种模型依赖型的干预手段，而非通用的性能提升器。

意义： 作者认为，PHD 代表了 LLM 一种独特且在很大程度上尚未被衡量的能力，这对于现实世界的调查性推理至关重要。通过将 PHD 作为一个特定的评估目标，HypoArena 提供了一种更真实、更严苛的评估方式，使其能够应对“现实世界的混沌”，并提出具有行动导向且有据可查的未来调查方向，从而超越了当前的反应式问答范式。