💬 NLP

Whom to Query for What: Adaptive Group Elicitation via Multi-Turn LLM Interactions

本文提出了一种具有理论依据的自适应框架，该框架将基于大语言模型的题目评分与异构图神经网络传播相结合，通过动态选择题目和受访者，从而在预算受限和数据缺失的情况下提高群体层面的响应预测能力。

原作者： Ruomeng Ding, Tianwei Gao, Thomas P. Zollo, Eitan Bachmat, Richard Zemel, Zhun Deng

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Ruomeng Ding, Tianwei Gao, Thomas P. Zollo, Eitan Bachmat, Richard Zemel, Zhun Deng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名试图弄清楚一座大城市“氛围”的侦探。你想知道普通大众对新法律的看法，但你无法询问每一个人。同时，你的时间与金钱预算也非常有限。

在过去，侦探们（或调查研究人员）会随机挑选一些人并询问一些随机问题。如果他们漏掉了一些重要人物，他们必须根据他们确实交谈过的少数几个人来猜测那个人的想法。这往往会导致错误的判断。

这篇论文介绍了一种使用两种强大工具进行更聪明侦查工作的方法：一个超级大脑 AI（大语言模型）和一个社交地图（图神经网络）。

以下是他们这种新方法的工作原理，分为几个简单的步骤：

1. 问题所在：“猜谜游戏”成本高昂

通常，当你想要了解一个群体的想法时，你必须向许多人询问许多问题。但询问人们需要花费金钱和时间。如果你只询问少数几个人，你最终会面临大量缺失的信息。

旧方法： 随机选一个人，问一个随机问题，然后猜测剩余的部分。
新方法： 采取策略。向正确的人询问正确的问题，这样你就能在不询问其他人的情况下，弄清楚其他所有人的想法。

2. 两大“超级工具”

作者构建了一个使用两个协同工作的特定“大脑”的系统：

超级大脑 (LLM)： 这就像一位非常聪明的面试官。它观察对话历史并说：“如果我向这个特定的人提出这个特定问题，我将能获得最多的新信息。”它负责决定问什么。
社交地图 (异质图神经网络/Heterogeneous GNN)： 这就像一个连接着每个人的巨大网络。它知道具有相似背景（如年龄、职业或地点）的人通常想法也相似。如果你询问了其中一个人，这张地图能帮助你“填补空白”，推测出他们在地图上的邻居的想法。它负责决定问谁以及如何猜测那些你没有询问过的人的想法。

3. 工作原理：“聪明侦探”循环

该系统通过一轮又一轮的循环运行：

挑选最佳目标： 系统查看“社交地图”。它寻找那些最有可能提供新颖、令人惊讶信息的（即那些“难以琢磨”的人）目标。
挑选最佳问题： “超级大脑”选择那个能让它尽可能多地了解群体整体观点的单一问题。
提问并学习： 它向那个特定的人提出该问题。
传播消息： 一旦得到答案，它不仅仅是把它记录下来。它利用“社交地图”来更新它对其他所有人的理解。如果 A 个人（你询问的对象）认为“是”，且 B 个人与 A 非常相似，那么系统现在会强烈猜测 B 也会认为“是”，尽管它从未与 B 交谈过。
重复： 它一次又一次地进行这个过程，随着每一次提问变得越来越聪明。

4. 结果：事半功倍

作者在关于政治和公众舆论（例如询问人们是否支持提高税收或改善学校）的真实世界数据上测试了他们的方法。

核心主张： 即使在只能采访极小比例人群（低至 10%）的情况下，他们的方法在预测整个群体的观点方面也比旧方法要好得多。
证据： 在一次测试中，当他们仅采访每 10 个人中的 1 人时，其准确率比次优方法高出了 12% 以上。
秘诀： 论文发现，最大的收益来自于询问那些“难缠”的人（即那些难以猜测其观点的人）。通过将有限的预算集中在这些特定的人身上，“社交地图”可以准确地拼凑出剩余的拼图。

5. 他们没有提及的内容

需要注意的是，这篇论文不是关于什么的：

它不是关于预测未来或改变人们的想法。
它不是一种用于诊断患者的医疗工具。
它并不声称能在所有情况下永远完美运作；它是一种让调查在当下变得更高效的方法。

简而言之： 这个方法不是对着人群大喊问题并祈祷有人回答，而是悄悄地挑选出那个知道得最多的关键人物，提出那个最重要的单一问题，然后利用人与人之间的联系来推断出剩下的人在想什么。这就像是通过先放置最关键的拼图碎片来解决一个谜题。

技术摘要：向谁提问以及问什么：通过多轮 LLM 交互进行自适应群体启发

问题陈述

调查和集体评估旨在通过询问一部分个体来推断潜在的群体属性（例如，政治倾向、技能概况）。然而，现实世界的约束条件——如受访者负担、访谈员时间以及参与激励机制——限制了问题的数量和完成的响应数量，这往往导致数据稀疏且仅部分观测。

虽然大语言模型（LLM）能够实现自适应的多轮交互以优化“问什么”，但现有的启发式方法通常假设受访者池是固定的。它们无法自适应地选择“向谁问”，也无法在信息不完整时利用群体结构（例如，人口统计特征、相似性）。这造成了一个瓶颈：由于从少数受访者处收集的信息无法有效地推广到更广泛的群体中，因此在预算受限的情况下，效率无法实现最大化。

方法论

作者提出了一个**自适应群体启发（Adaptive Group Elicitation）**框架，这是一个多轮交互场景，智能体在明确的查询预算和参与预算下，共同选择下一个问题和一组受访者进行查询。该框架通过结合两个核心组件在一个闭环中运行：

1. 元训练阶段（Meta-Training Phase）

用于预测推理的 LLM： 一个语言模型（如 Llama-3.1-8B）在交互历史记录上进行元训练，以预测个体响应。该模型作为个体行为的鲁棒预测器，能够量化关于潜在实体 $U$ （例如，受访者的真实偏好）的不确定性（基于观测到的历史）。其训练目标是最大化自回归预测的似然度，从而避免了对复杂潜在空间使用参数化先验的需求。
用于群体模拟的异构图神经网络（Heterogeneous GNN）： 为了解决数据稀疏问题，采用了异构图神经网络（GNN）。该图包含三种节点类型：
- 群体成员： 代表个体。
- 特征： 代表人口统计属性（如年龄段、性别）。
- 选项： 代表（问题，选项）对。
  GNN 通过链路预测进行训练以传播信息。它学习捕捉关系结构的嵌入，从而能够基于未查询个体与已观测受访者的相似性来填补缺失的响应。

2. 测试时自适应推理（Test-Time Adaptive Inference）

在每个交互轮次 $t$ ，系统执行两阶段选择过程：

自适应查询选择： 系统选择一个问题 $X_t$ ，该问题能最大化关于群体潜在实体的预期信息增益（EIG）。利用元训练的 LLM，系统计算如果提出特定问题，会对留出评估集产生的预测熵（不确定性）的减少量。
群体关系型受访者选择： 系统并非随机查询，而是选择一组受访者 $R_t$ ，以最大化多样性和代表性。它对来自 GNN 的成员嵌入进行聚类并选择聚类中心。这确保了选定的子集覆盖了嵌入空间，从而在有限的预算下实现效用最大化。
填补与信念更新： 在收集到来自 $R_t$ 的实际响应后，GNN 更新其图结构并添加新的边。它执行消息传递以精炼节点嵌入并填补未查询成员的响应。这些填补后的响应被添加到交互历史中，为下一轮选择提供依据。

核心贡献

形式化： 本文将自适应群体启发形式化为一个关于问题和受访者的联合决策问题，并在查询预算和参与预算的约束下进行，解决了现有仅优化问题选择的方法所存在的空白。
框架提议： 提出了一个结合了基于 LLM 的预期信息增益目标与异构 GNN 传播的实用实例化方案。这使得填补缺失响应以及基于结构化相似性选择代表性受访者成为可能。
理论证明：
- 该方法基于 de Finetti 的预测视角，将预测熵的减少视为关于潜在实体不确定性的减少。
- 作者证明了其贪婪选择算法（包括联合选择和两阶段选择）在标准次模性和单调性假设下实现了近优性（near-optimality），相对于最优序列提供了常数因子保证。
实证验证： 该方法在三个真实世界的观点数据集（CES, OpinionQA, Twin-2k）上进行了评估，展示了在受限预算下对群体层面响应预测能力的持续提升。

实验结果

该框架在三个具有不同受访者预算（10%, 30%, 50%）的数据集上进行了测试。

性能增益： 提出的方法在不同受访者预算下始终优于基准模型（Meta-Random, Meta-Greedy, 和 Meta-Greedy-Imp）。值得注意的是，在具有 10% 受访者预算的合作选举研究（CES）数据集上，该方法相比最强的基准模型实现了 >12% 的相对增益 在预测准确度方面。
组件分析：
- 查询选择： 贪婪查询选择显著优于随机选择。
- 填补： 基于 GNN 的填补比仅基于 LLM 的填补提供了实质性的增益，凸显了利用群体层面结构的必要性。
- 受访者选择： 该方法在“困难”（高敏感度）受访者——即那些其真实响应能带来最大性能提升的受访者——身上表现出最高的相对恢复率。这表明该策略有效地针对了最具信息量的个体。
规划 vs. 贪婪： 多步规划相比贪婪选择仅带来了边际收益，却产生了巨大的计算成本，表明贪婪选择足以应对此类场景。
鲁棒性： 该方法在不同模型规模（Llama-3.1-8B vs. Llama-3.2-1B）下保持有效，并在不同地理区域间展示了泛化能力（例如，在南部地区学到的政策可以迁移到西部和中西部）。

意义与主张

本文声称，有效的启发不仅取决于“问什么”问题，更关键在于“观察谁”以及如何将部分信息在人群中传播。通过利用结构化图传播来联合优化查询选择和受访者选择，该框架能够从一小部分具有信息量的个体中推断出潜在的群体偏好。

作者将这项工作定位为对群体环境下自适应启发的一种原则性扩展，从个体层面的推理转向处理集体潜在实体。他们强调，该方法在启发早期轮次中取得了实质性进展，这使得它在面临严格预算约束、传统调查往往会出现数据缺失和中断的场景中特别具有价值。这项工作弥合了基于 LLM 的自然语言交互与结构化统计推理之间的鸿is，为成本效益高的群体评估提供了一种可扩展的解决方案。