⚛️ high-energy experiments

\textbf{\textsc{HepUKE}}: Uncertainty-aware Knowledge Evolution for High Energy Physics Analysis Agents

本文介绍了 HepUKE，一种面向高能物理分析智能体的具有不确定性感知能力的知识演化系统，该系统通过信息熵量化证据置信度，以实现自演化的领域特定语言（DSL）知识库，并在保持回答质量的同时显著减少了检索轮数。

原作者： Zijie Shang, Ke Li, Junkun Jiao, Shengchun Wang, Changzheng Yuan, Xiongfei Wang, Beijiang Liu, Weimin Song, Xiaoshen Kang

发布于 2026-10-12

📖 1 分钟阅读🧠 深度阅读

CC BY 4.0

原作者： Zijie Shang, Ke Li, Junkun Jiao, Shengchun Wang, Changzheng Yuan, Xiongfei Wang, Beijiang Liu, Weimin Song, Xiaoshen Kang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

高能物理学是一门通过以极高的速度将粒子撞击在一起，从而观察它们是由什么组成的以及它们如何表现的科学。为了理清每秒发生的数十亿次碰撞，科学家们依赖大型计算机和复杂的软件来对数据进行分类、过滤噪声，并寻找那些揭示新自然法则的罕见事件。这一过程需要对设备、数学以及特定游戏规则有深刻的理解。近年来，研究人员开始探讨人工智能是否能提供帮助。他们构建了能够阅读科学论文并编写分析数据所需代码的数字助手。然而，这些助手经常遇到困难，因为它们将发现的每一条信息都视为同样真实。如果计算机读到了一篇听起来与所需文档相似、但实际上描述的是不同实验或使用了不同方法的文档，助手可能会复制错误的指令。这会导致最终结果出现严重错误，因为在这个领域，代码中的一个小错误就可能改变整个物理结论。

一个研究小组开发了一个名为 HEPUKE 的新系统来解决这个问题。该系统不再仅仅寻找听起来与问题相似的文档，而是像一位谨慎的专家一样，会对收到的每一条建议进行可靠性检查。研究人员意识到，在高能物理学中存在两种不确定性。第一种是统计不确定性，源于计算机生成答案时的自然随机性。第二种是系统不确定性，源于方法本身所做的选择，例如使用了哪些具体的工具或设置。目前大多数人工智能系统都忽略了第二种类型。HEPUKE 将这两种不确定性结合成一个单一的置信度度量。当系统找到一个潜在的可以模仿的范例时，它会自问：“如果我使用这个范例，我的答案是变得更加确定，还是变得更加混乱？”如果该范例引入了混乱，或者依赖于一个不符合当前任务的方法，系统就会拒绝它。

该系统通过建立一个活性的专家知识库来运作。它始于一个由人类科学家编写的经过验证的分析程序集合。当一个新的任务到来时，系统会在该库中搜索最佳匹配项。但与以往只会直接抓取排名第一结果的旧系统不同，HEPUKE 会测试匹配程度。它根据该匹配项生成多个可能的解决方案，并检查它们的连贯性。如果解决方案差异巨大，则意味着匹配效果较差或方法不稳定，因此系统会将其丢弃。如果解决方案具有连贯性且不确定性较低，系统则接受该建议。至关重要的是，如果系统成功解决了库中之前不存在的新问题，它会将这个新方案添加到库中以备将来使用。这使得系统能够随着时间的推移变得更加聪明，但仅通过添加经过严格检查的解决方案来实现。

为了使这一过程高效，该系统包含了一个智能停止按钮。在许多科学数据库中，相同的信息会在许多不同的文档中重复出现。标准的计算机可能会在搜索过程中不断翻阅一页又一页，即使已经找到了答案也会浪费时间和金钱。HEPUKE 在搜索时会观察信息的流动。它知道何时收集到了足够的可靠证据，以及何时进一步搜索只是在重复寻找相同的内容。它会在那个点停止搜索，从而节省了大量的时间和计算能力。在利用北京谱仪 III（Beijing Spectrometer III）实验数据的测试中，该系统在保持答案质量几乎不变的情况下，将搜索步骤减少了 43%。它在与物理学无关的一般知识测试中也表现良好，证明了该方法具有鲁棒性。

研究人员发现，这种方法特别擅长处理粒子物理学中特定的、严苛的规则。他们发现，代码中最需要检查的部分是科学家决定保留哪些事件以及丢弃哪些事件的部分。这也是不确定性通常产生的地方。通过专注于这部分，系统可以分辨出是有益的范例还是误导性的范例。研究表明，通过将不确定性视为一种工具而非漏洞，人工智能助手可以成为科学家更可靠的伙伴。它们可以从错误中学习，避免复制错误的方法，并在不牺牲准确性的情况下帮助研究人员更快地获得答案。这项工作表明，未来的科学发现不仅在于拥有更多的数据，还在于拥有更聪明的方式来信任我们发现的信息。

技术摘要：HEPUKE —— 用于高能物理分析智能体的确定性感知知识演化

问题陈述

高能物理（HEP）分析要求智能体能够基于少样本先例来合成复杂的软件工作流（领域特定语言或 DSL）。现有的用于 HEP 的检索增强生成（RAG）系统面临三个关键局限性：

误导性相关性： 标准的语义相似度将所有检索到的文档视为同样可信。在 HEP 中，文档可能共享术割，但在物理相关性、测量类型或可信度方面存在差异，从而导致系统性偏差。
静态知识： 当前系统无法迭代地保留经过验证的先例，也无法估计存储证据的置信度，从而阻碍了知识库基于成功分析进行演化。
未校准的确定性： 现有的不确定性量化方法主要捕捉统计波动（固定证据下的输出方差），但未能考虑到检索到的证据中由方法论选择引起的系统不确定性。此外，检索循环缺乏自适应停止机制，导致在高度重复的 HEP 语料库中出现冗余调用。

方法论：HEPUKE 框架

作者提出了 HEPUKE（不确定性感知知识演化），该系统将来自大语言模型（LLM）生成的统计不确定性与来自 HEP 方法论选择的系统不确定性相融合。该框架运行在一个共享知识库 $K = K_{QA} \cup K_{DSL}$ 上，其中 $K_{DSL}$ 是一个演化的 DSL 程序库（专门针对 BESIII 实验的 HepScript）。

1. 不确定性感知置信度估计器

HEPUKE 通过衡量检索到的先例在降低生成的 DSL 不确定性方面的能力，来量化其可靠性。

统计不确定性 ( $H_{stat}$ )： 通过 LLM 的标记级预测熵（token-level predictive entropy）计算。
系统不确定性 ( $H_{syst}$ )： 通过语义等价的 DSL 生成路径之间的结构性分歧（Jensen-Shannon 散度）计算。这捕捉了对方法论选择（例如，选择切口、拟合配置）的敏感性。
评分： 系统通过计算使用候选先例相对于基准线时熵的减少量 ( $\Delta H$ ) 来进行评分。候选得分通过加权全代码熵和选择模块熵的减少量来形成：
$score(q, k) = \Delta H_{stat}(q, k) + \alpha \Delta H_{full}(q, k) + (1 - \alpha) \Delta H_{sel}(q, k)$
置信度 $c(q)$ 使用此得分通过 Sigmoid 函数导出。

2. 自演化 DSL 知识库

系统采用置信度门控、仅追加式机制进行知识演化。

双重门控： 合成的程序只有通过以下两项检查才能被纳入知识库：
1. 验证门： 成功的静态解析和试运行执行。
2. 置信度门： 程序必须表现出特定的“甜点区”（sweet spot）不确定性降低。作者观察到一种倒 U 型关系：极高的不确定性降低表示不恰当地复制了先例特定的数值（转录尾部/transcription tail），而低降低则表示冲突。只有具有适度、正向不确定性降低的程序才会被准入。
溯源： 每个条目都保留来源数据块和合成历史，从而允许追溯回人类编写的种子。

3. 早停控制器

为了解决 HEP 语料库中的冗余问题，HEPUKE 引入了一个自适应停止控制器，用于确定何时终止检索轮次。

机制： 它融合了基于答案后验的后向平稳性测试（基于贝叶斯在线变点检测，BOCPD）和前向边际信息增益估计。
决策： 当后验足够稳定且来自另一轮的预期信息增益较低时，检索停止，从而防止在无需反射标记（reflection tokens）或重新训练的情况下进行过度检索。

核心贡献

统一的不确定性信号： 本文提出了一种融合统计不确定性（LLM 生成方差）和系统不确定性（证据中的方法论选择）以形成单一置信度信号的方法，用于重排序和知识准入。
自演化知识库： 引入了一种通过置信度门控实现知识持续扩展的机制，超越了静态检索索引。
信息论早停： 开发了一个结合平稳性检测与信息增益估计的控制器，通过减少在高度重复的科学语料库中的冗余检索。
BESIII 基准测试： 作者发布了一个大规模、专家标注的基准测试（BESIII-PhysicsQA），包含 1,000 个问答对和 700 个专家编写的 HepScript 程序库。

实验结果

实验在 BESIII-PhysicsQA（域内）和 HotpotQA（域外）基准测试上进行。

置信度 vs. 相关性： 基于不确定性的置信度选择优于标准的基于相关性的检索。在 BESIII-DSL 任务上，最佳置信度配置（ $\alpha=0.0$ ）实现了 76.08% 的严格匹配和 65.02% 的物理准确度，相比之下，基于相关性的 Top-1 选择为 74.94% 和 62.46%。
知识演化： “区间门”（仅准入适度不确定性降低的程序）将准入程序的质量从 0.93 提升至 0.95，有效地拒绝了模型盲目复制先例特定值的“转录尾部”现象。
效率： 在 BESIII-PhysicsQA 基准测试上，早停控制器减少了 43.0% 的检索轮次（从 5.23 降至 2.98）和 44.9% 的总 Token 数，同时保留了 95.5% 的原生答案准确度（仅下降了 2.27 个百分点）。在 HotpotQA 上，控制器减少了 18.2% 的检索时间，且准确度下降微乎其微（F1 值仅下降 0.76 点）。
鲁棒性： 置信度门控在检索深度（ $k=10$ ）和提示词改写扰动下依然有效，在物理敏感的评估指标上表现出特别的鲁棒性。

重要意义

本文声称 HEPUKE 解决了科学智能体对于“战略指导”而非“现成答案”的特定需求。通过将不确定性不仅视为一种生成伪影，而且视为一种方法论可靠性的信号，该系统实现了一个自我修正、不断演化的知识库。结果表明，对于像 HEP 这样高风险、高冗余的领域，控制系统不确定性并采用自适应停止，比标准的 RAG 流水线能获得更优的成本-准确度权衡。该框架旨在与生成器无关，并适用于任何使用结构化 DSL 的 HEP 实验。