📊 statistics

Zero-Shot Active Feature Acquisition via LLM-Elicitation

本文提出了一种零样本主动特征获取框架，该框架利用大语言模型来诱导马尔可夫随机场的判别统计量，并采用最大熵闭合来克服模型无法提供绝对类别概率的问题，从而在炎症性肠病诊断等具有挑战性的临床场景中优于现有方法。

原作者： Binyamin Perets, Natalie Mendelson, Shiran Vainberg, Yehuda Chowers, Shai Shen-Orr, Shie Mannor

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Binyamin Perets, Natalie Mendelson, Shiran Vainberg, Yehuda Chowers, Shai Shen-Orr, Shie Mannor

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名试图破解谜题的侦探，但你的预算非常有限：在必须做出最终判决之前，你只能提出有限数量的问题。这就是**主动特征获取（Active Feature Acquisition, AFA）**的核心问题。通常，为了解决这个问题，你需要一个庞大的过往案例数据库（带标签的数据）来教计算机哪些问题是最重要的。但如果你正在处理一种没有任何过往案例的罕见疾病，你就会陷入困境。

这篇论文介绍了一种无需任何过往数据就能解决这个谜题的新方法，它使用**大语言模型（LLM）**作为你的专家顾问。

问题所在：“万事通” vs. “策略家”

作者意识到，虽然现代人工智能（LLM）在掌握事实方面（比如像一本医学百科全书）非常出色，但在规划行动序列方面（比如像一位国际象棋大师）却表现糟糕。

LLM 知道某种疾病看起来是什么样的。
LLM 却不擅长计算下一步该运行哪个测试，以节省时间和金钱。

如果你要求 LLM 去“规划调查过程”，它往往会选择那些听起来很重要、但实际上效率并不高的提问方式。这就像是要求一位博学的历史学家去策划一场劫案；他们了解博物馆的历史，但可能不知道通往金库的最佳路线。

解决方案：严格的分工

作者构建了一个框架，将这项工作拆分为两个截然不同的角色：

LLM（知识来源）： 它仅被要求提供原始事实：“如果患者患有这种疾病，某个特定基因是上升还是下降？”以及“这两个基因是否倾向于同步变化？”它不被要求进行决策。
算法（策略家）： 一个传统的、基于数学的计算机程序接收这些原始事实，并计算出提问的最佳顺序。

这可以类比为一次军事行动：LLM 是向你移交敌方地形地图的情报官。算法则是利用那张地图来规划精确胜利路线的将军。将军不需要了解地形的历史；他只需要那张地图。

“刻度”谜题：填补空白

这里有一个棘手的数学问题。LLM 可以分辨出“病人”和“健康人”之间的差异（例如：“基因 A 在病人身上水平较高”），但它无法仅凭自身判断出一个健康人的绝对状态。这就像是你知道两个人之间身高的差值，却不知道他们中任何一个人的实际身高是多少。

为了解决这个问题，作者使用了一种被称为**最大熵（Maximum Entropy）**的数学技巧。想象你在猜测天气。如果你知道“今天比昨天暖和”，但不知道确切的温度，最逻辑的做法是假设温度尽可能处于“平均”状态，直到你获得更多数据。这个技巧让计算机能够逻辑严密地填补缺失的碎片，将 LLM 的相对比较转化为一个可用的模型。

两大任务

团队使用来自**炎症性肠病（IBD）**患者的真实数据，在两类任务上测试了该系统：

二元分类（“患病或健康”测试）：
- 目标： 使用最少的测试来决定特定患者是患病还是健康。
- 结果： 这个新系统比单纯让 LLM 进行猜测要好得多。它能以更少的测试达到很高的准确率。然而，系统遇到了一个“天花板”，即它无法变得更好，因为 LLM 对该疾病的知识并非 100% 完美。数学部分做得非常完美，只是知识源本身存在一些缺口。
Top-K 识别（“谁最严重？”排名）：
- 目标： 你有 167 名患者。你需要找出病情最严重的 5 个人，但你无法对所有人进行全面测试。
- “混乱”的患者： 一些患者是“混乱”的——他们的症状令人困惑，不遵循常规模式。标准方法在这些患者面前会失效。
- “对决”策略： 系统将每一对患者视为一场“对决”。它会问：“患者 A 是否比患者 B 更严重？”
- 优先级规则： 作者创建了一条特殊的规则来决定下一步调查哪场“对决”。它不是随机挑选配对，而是专注于排名最不确定的“战场”。
- 结果： 在处理“混乱”患者时，这种新方法取得了巨大的成功。它比包括 LLM 尝试自我规划在内的任何现有方法，都能更快、更准确地识别出病情最重的患者。

核心结论

这篇论文证明了，你可以构建一个强大的诊断工具，而无需任何带标签的训练数据。通过将知识（LLM）与规划（数学算法）严格分离，他们创造了一个比单纯依靠 LLM 更聪明的系统。

然而，论文也承认了一个残酷的事实：系统的表现取决于 LLM 的知识水平。 数学部分是完美的，但如果 LLM 对生物学的理解稍有偏差，最终的诊断也会出现偏差。“瓶颈”已经从“我们缺乏数据”转移到了“我们的 AI 顾问尚未达到 100% 正确”。

简而言之：他们构建了一位卓越的领航员（算法），这位领航员可以使用一张略有瑕疵的地图（LLM），比任何人都更快地找到目的地。

技术摘要：通过 LLM 启发实现零样本主动特征获取

1. 问题定义

本文研究了主动特征获取 (Active Feature Acquisition, AFA)，这是一个序列决策任务，智能体必须在有限的预算下选择观测哪些特征，以达到分类或排序决策。现有 AFA 方法的核心瓶颈在于它们依赖大规模有标签数据集来训练概率模型，从而指导获取过程。这种需求在 AFA 最具价值的场景中（如罕见病、新发现的疾病或非典型病例）无法满足，因为这些场景下的有标签数据稀缺甚至不存在。

作者提出了 Zero-Shot AFA（零样本 AFA） 框架，该框架无需特定任务的有标签数据即可运行。他们利用大语言模型 (LLM) 作为无监督领域知识的来源，来构建必要的概率模型。然而，论文指出直接将 LLM 用于 AFA 存在两个根本性障碍：

规划能力缺陷 (Planning Deficiency)： LLM 是较差的序列规划器。它们倾向于进行启发式模式匹配，而非针对最优排序所需的级联式、非局部特征相关性进行推理。
校准问题 (Calibration Issues)： LLM 作为形式化概率对象校准性较差，使其无法可靠地用于 AFA 所需的白盒建模（条件化、边缘化、优化）。

目标是通过严格分离角色来弥补这一差距：LLM 提供知识（启发），而经典算法负责序列规划。

2. 方法论

2.1 判别式 MRF 启发

框架并非要求 LLM 生成完整的类条件分布 $p(x|H)$ 和 $p(x|\neg H)$ （这容易导致错误和歧义），而是仅启发足以构建马尔可夫随机场 (MRF) 的判别式统计量。具体而言，向 LLM 查询：

一元偏差 (Unary deviations)： 在假设 $H=1$ 相对于 $H=0$ 时，特征 $j$ 如何偏离 ( $\Delta \alpha_j = \alpha_{j,1} - \alpha_{j,0}$ )。
二元协变 (Pairwise co-variations)： 特征 $j$ 和 $l$ 在两种假设下如何发生差异性协同变化 ( $\Delta \psi_{jl} = \psi_{jl,1} - \psi_{jl,0}$ )。

这些参数定义了一个判别式 MRF，其中实体 $v$ 的得分是对数比：
$S_v(x) = \sum \Delta \alpha_j x_j + \sum \Delta \psi_{jl} x_j x_l$
这种方法避免了对绝对类分布建模的需求，符合医学文献的判别性质。

2.2 解决规范歧义 (二分类情况)

在二分类设置中，出现了一个关键的方法论挑战：被启发的对数比 $S_v$ 固定了比例 $p_1/p_0$ ，但留下了“规范 (gauge)”（即 $p_0$ 和 $p_1$ 的绝对尺度）的不确定性。经典的 AFA 标准（如条件互信息）需要逐类的预测分布，而这无法仅从比例中计算得出。

作者通过 最大熵 (MaxEnt) 闭合 解决了这一问题。在所有与启发对数比一致的 $(p_0, p_1)$ 对中，框架选择使熵之和 $H(p_0) + H(p_1)$ 最大化的那一对。这产生了一个原则性的、唯一的类条件重建：
$p_e(x) \propto \exp\left( (-1)^{e-1} S_v(x) / 2 \right), \quad e \in \{0, 1\}$
这种闭合允许在零样本设置下应用标准的信息论获取标准。

2.3 获取策略

该框架运行在两种设置下：二分类和 Top-k 识别（从 $N$ 个候选者中选出受支持程度最高的 $k$ 个假设）。

偏好得分 (Preference Scores)： 为了在假设（或实体）之间做出决策，框架使用“对决”得分。
- Wald 累加器 (Wald Accumulator)： 一个无规范的、确定性的观测特征能量之和。它忽略未观测特征，但在全观测时是精确的。
- 平均场得分 (Mean-Field Scores, Chernoff-Wald / Sign-Vote)： 这些得分通过重建的类条件分布（通过二分类的 MaxEnt 或 Top-k 的直接启发）对未观测特征进行积分。它们利用期望 KL 散度或 Sign-Vote (stack-A) 来对特征进行评分，提供了一个考虑了未观测子图的“软”预测。
特征选择： 框架根据条件互信息 (CMI) 或一种新型的 F-target gain（期望的偏好得分提升）来评估特征。
Top-k 分配： 对于排名 $N$ $N$ 个实体，作者引入了优先级权重分配 (Priority-Weighted Allocation) 规则。与其评估所有的 $\binom{N}{2}$ $(2 N)$ 对，不如将实体在 MRF 参数空间中进行聚类。预算被分配给以下类型的“对决”（两两比较）：
1. 靠近 Top- $k$ 前沿（对最终排名有高影响力的对）。
2. 尚未解决（胜负尚不明确的对）。
  这使组合空间从 $O(N^2)$ 降低到 $O(K)$ ，其中 $K$ 是聚类的数量。

3. 核心贡献

首个零样本 AFA 框架： 本文提出了第一个不需要特定任务有标签数据、强化学习回合或元训练的 AFA 方法，完全依赖于 LLM 启发的知识。
判别式启发与 MaxEnt 闭合： 一种从 LLM 中提取充分统计量并利用原则性 MaxEnt 闭合来解决由此产生的规范歧义的新协议，从而能够使用经典的 AFA 标准。
针对混沌情况的双轨规划： 框架同时采用确定性（Wald）和概率性（Mean-Field）评分轨道。作者证明，对于“混沌”患者（即早期观测结果与潜在标签局部不一致的情况），由启发式 MRF 结构锚定的 Mean-Field 轨道显著优于 Wald 累加器。
优先级权重 Top-k 策略： 一种用于 Top-k 识别的创新分配策略，通过对实体进行聚类并优先将预算分配给边界对，显著提高了排名准确度，优于贪婪或随机基准。
量化知识-规划差距： 通过将使用 LLM 衍生模型的正式规划器与给定相同模型的上下文内 (In-context) LLM 规划器进行对比，研究隔离了 LLM 的“规划”缺陷。正式算法达到了相同的准确度，但使用了更少的观测次数，证明了瓶颈在于规划而非知识。

4. 实验结果

该框架在一个包含 167 名炎症性肠病 (IBD) 患者（具有 216 个基因表达特征和 25 个临床表型）的真实临床队列上进行了评估。MRF 参数是由一个对该特定队列一无所知的 LLM 启发的。

二分类：
- 相对于全观测似然（模型自身的真值），正式规划器（使用 MaxEnt 闭合）在全观测时达到了 100% 的准确率，并且在早期阶段显著优于随机排序（例如，在 $t=10$ 时领先 +30.6 个百分点）。
- 相对于临床标签，规划器在约 65% 的准确率处达到饱和，这反映了 LLM 启发模型与临床现实之间不可消除的差异（生物学误差）。
- LLM 基准： 给定相同启发参数的直接 LLM 基准（MRF-LLM 和 RAG-LLM）表现明显逊于正式规划器（准确率分别为 0.24–0.46），证实了将知识与规划分离的必要性。
Top-k 识别：
- 符号准确率 (Sign Accuracy)： 对于“混沌”患者（决策轨迹不稳定的患者），线性 (Mean-field) 得分在 $t=2$ 时优于 Wald 累加器 34.1 个百分点，并随着观测数据的增加而缩小差距。
- 排名准确率： 优先级权重分配规则显著优于随机、贪婪和聚类基准。在 $t=150$ 时，它实现了 0.864 的符号准确率，比表现最好的非优先级基准高出 4.7 个百分点。
- Top-5 排名： 框架接近了由 MRF-临床不匹配设定的不可逾越的上限，显著优于未能有效利用启发式结构的 LLM 基准。

5. 重要性与主张

本文声称通过严格分离 LLM 的角色（知识启发）与算法的角色（序列规划），为零样本 AFA 建立了数学严谨的基础。

瓶颈转移： 作者认为，零样本 AFA 的基本瓶颈已从数据稀缺转向了知识保真度。正式规划器能够饱和现有的生物信号；剩余的差距在于 LLM 启发知识的局限性（幻觉或机制简化），而非规划算法本身。
处理异质性： 框架展示了对患者异质性的鲁棒适应能力，特别是通过利用启发式 MRF 的结构先验，有效地管理了标准生物学预期失效的“混沌”病例。
实际效用： 该工作为在缺乏有标签数据的罕见病领域提供了自动诊断支持的可行路径，为人类专家问询或数据密集型机器学习模型提供了一种原则性的替代方案。

作者保持了谦逊的态度，承认该框架依赖于 LLM 启发的保真度，且目前的 LLM 还无法提供校准后的连续量级，因此需要将观测值离散化为三值。