📊 statistics

Generator-Mediated Bandits: Thompson Sampling for GenAI-Powered Adaptive Interventions

本文介绍了生成器介导的汤普森采样算法（GAMBITTS），这是一种通过显式建模动作选择与随机治疗生成之间的分离，从而加速策略学习并实现更强遗憾界限的新型算法，旨在改进用于生成式人工智能驱动的自适应干预的标准多臂老虎机方法。

原作者： Marc Brooks, Gabriel Durham, Kihyuk Hong, Ambuj Tewari

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Marc Brooks, Gabriel Durham, Kihyuk Hong, Ambuj Tewari

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一位试图让团队员工保持快乐且高效工作的经理。你拥有一个强大的 AI 助手（就像一个非常有创意但又变幻莫测的机器人），它可以为每位员工编写定制的激励信息。

在过去的老办法中，你会从一个固定的预设选项列表中挑选一条信息（比如“做得好！”或“继续加油！”）。你发送一条，观察员工的反应，然后挑选下一条。这就像计算机科学中的标准“多臂老虎机”（Bandit）问题：你尝试不同的选项，以观察哪一个能获得最好的结果。

但在如今的生成式 AI 世界里，情况发生了变化。你不再是挑选一条特定的信息，而是给 AI 一个提示词（Prompt，即问题或指令），然后由 AI 即时生成一条独特的文本信息。问题在于，AI 是具有随机性的。即使你两次给出完全相同的提示词，它也可能写出两条略有不同的信息。

论文作者将这种现象称为**“生成器介导的多臂老虎机问题”（Generator-Mediated Bandit）**。以下是他们利用简单的类比对这一概念进行的拆解：

核心问题：“翻译官”的鸿沟

把这个过程想象成这样：

你（智能体/Agent）： 你选择一个提示词（例如：“写一段关于跑步的鼓励话语”）。
AI（生成器/Generator）： 它接收你的提示词，并吐出一段具体的文本信息。这就是干预措施（Treatment）。因为 AI 是随机性的，同一个提示词可能会导致多种不同的信息。
员工（环境/Environment）： 他们阅读信息并做出反应（例如，他们去跑步了，或者没有去）。这种反应就是奖励（Reward）。

难点在于： 你并不控制员工实际读到的那条确切信息，你只控制提示词。标准的计算机算法在这种情况下表现很差，因为它们假设如果你选择了“选项 A”，你得到的永远是“选项 A”。但在这里，选择“选项 A”可能意味着你 50% 的时间得到的是一条精彩的信息，另外 50% 的时间得到的是一条乏味的信息。如果你忽略了 AI 实际生成的这条信息，你就是在浪费宝贵的线索。

解决方案：GAMBITTS

作者创建了一种名为 GAMBITTS（基于汤普森采样的生成器介导多臂老虎机算法）的新方法。你可以把它看作是一个两步走的侦探游戏：

第一步：“信息翻译官”模型。 系统学习如何预测 AI 会针对给定的提示词生成什么样的信息。它会意识到：“噢，当我要求‘鼓励’时，AI 通常会写一些短促、有力的句子，但有时也会写一些冗长、华丽的句子。”
第二步：“奖励”模型。 系统学习哪些类型的信息能真正让员工去跑步。

其中的奥秘： GAMBITTS 不仅仅是猜测哪个提示词最好，它还会模拟整个过程。它会问自己：“如果我发送这个提示词，AI 可能会生成什么样的信息？而根据我们学到的知识，其中的哪些信息通常能带来快乐的员工？”

通过观察 AI 实际生成的文本（即“干预措施”），系统学习的速度会比以往快得多。这就像一位厨师在烹饪过程中通过品尝酱汁来调整调料，而不是等到顾客吃完饭后才去观察反馈。

两种玩法

论文描述了该方法的两个版本：

“全在线”厨师 (foGAMBITTS)： 这个版本在与真实员工交流的过程中学习一切。它观察 AI 生成信息以及员工的反应，并实时更新自己的大脑。它非常灵活，但学习速度较慢，因为它必须同时搞清楚 AI 如何写作以及人类如何反应。
“部分在线”厨师 (poGAMBITTS)： 如果你有一个备用的厨房，这个版本会更聪明。在与真实员工交流之前，厨师可以在模拟器中进行练习。他们可以要求 AI 针对某个特定提示词生成 1,000 条信息，以此来观察 AI 通常会写出什么样的内容。一旦他们了解了 AI 的行为模式，就只需要学习如何应对员工的反应。这种方式更加快速且高效。

为什么这很重要（根据论文所述）

作者通过计算机模拟（使用了一个关于医学生实习生和心理健康的虚构场景）来测试他们的想法。他们发现：

速度： GAMBITTS 学习最佳策略的速度比标准方法快得多。
效率： 它不会因为试图尝试错误的提示词而浪费时间，因为它理解了中间环节（即 AI 的信息生成过程）。
鲁棒性（稳健性）： 即使系统不能完美地总结 AI 的文本，它仍然表现出色，尤其是在“奖励”（员工反应）具有噪声或难以预测的情况下。

核心结论

论文认为，当你使用生成式 AI 来辅助决策时，你不能把 AI 当作一个简单的按钮。你必须考虑到 AI 是一个处于过程中间的、具有创造性和随机性的生成器。通过构建一个既理解AI 如何写作又理解人类如何反应的模型，你可以做出更好的、更快速的决策。

本文并未声称的内容：

它并不声称目前正在医院或学校中使用。
它并不声称这能在现实世界中治愈抑郁症或改善健康状况。
这严格是一项理论性和基于模拟的研究，旨在展示这种特定的数学方法在受控的计算机生成环境中比现有方法更有效。

技术摘要：生成器介导的多臂老虎机 (GAMBITTS)

问题形式化

本文研究了一类特定的序列决策问题，其中智能体的动作并不直接决定环境的奖励。相反，智能体选择一个动作（例如，查询或提示词），该动作触发一个随机生成器（如大语言模型）来产生一种处理（例如，文本响应）。随后，环境对该生成的处理做出反应，并产生奖励。

作者将其形式化为生成器介导的多臂老虎机 (Generator-Mediated Bandit, GAMBIT) 问题。在该框架下：

动作/处理的分离： 智能体选择一个动作 $A_t$ （查询），但环境接收到一个随机的处理 $G_t$ （生成的输出）。
高维性： 处理空间 $G$ （例如，自然语言文本）是高维的，这使得直接建模变得难以实现。
潜在嵌入： 处理对奖励 $Y_t$ 的影响被假设是通过一个低维的充分嵌入 $Z^*$ 发生的。由于 $Z^*$ 是不可观测的，智能体必须依赖一个工作嵌入 $Z = h(G)$ 。
随机中介： 与标准的上下文多臂老虎机（其动作直接映射到奖励）不同，这里的动作仅通过随机处理分布间接地影响奖励。标准的算法无法利用处理分布的结构，从而导致学习效率低下。

方法论：GAMBITTS

作者提出了生成器介导的多臂老虎机—汤普森采样 (Generator-Mediated Bandit–Thompson Sampling, GAMBITTS) 框架，该框架显式地对处理生成过程和奖励生成过程进行建模。该方法利用两阶段采样程序来捕捉干预过程中的不确定性。

核心组件

该框架对两个条件分布进行建模：

处理模型： $Z_t \sim f_1(z; A_t, X_t, \theta_1)$ ，表示给定动作和上下文时处理嵌入的分布。
奖励模型： $E[Y_t | Z_t, X_t] = m_2(Z_t, X_t; \theta_2)$ ，表示给定处理嵌入和上下文时的期望奖励。

算法变体

论文引入了两种主要的 GAMBITTS 实现方式：

全在线 GAMBITTS (foGAMBITTS)：
- 使用观测到的数据顺序更新处理模型 ( $\theta_1$ ) 和奖励模型 ( $\theta_2$ )。
- 适用于智能体无法获取生成器模拟器或离线数据的情况。
- 通过对两个参数的后验分布进行积分来选择动作： $E[Y | a, x] = \int m_2(z, x; \theta_2) f_1(z; a, x, \theta_1) dz$ 。
部分在线 GAMBITTS (poGAMBITTS)：
- 利用获取生成器模拟器或离线数据的能力，独立于用户交互来学习处理分布 ( $f_1$ )。
- 处理模型是预训练（或通过经验估计）并固定的，而仅在线更新奖励模型 ( $\theta_2$ )。
- 这种分解允许通过将复杂处理分布的学习任务外包，从而实现更高效的在线适应。

基于集成的方法扩展

为了处理非线性奖励关系并避免限制性的参数假设，作者使用集成采样（遵循 Lu 和 Van Roy, 2017）扩展了两种变体。这些变体（ens-foGAMBITTS 和 ens-poGAMBITTS）维护一个奖励模型集成来近似后验分布，从而能够使用灵活的模型（如多层感知器 MLP）。

核心贡献

框架定义： 形式化了 GAMBIT 问题，通过关注动作产生随机、高维处理的特定中介结构，将其与标准多臂老虎机和因果老虎机区分开来。
算法实现： 开发了显式建模处理-奖励分离结构的 GAMBITTS 算法（全在线、部分在线及基于集成的方法）。
理论保证：
- 推导了 foGAMBITTS 和 poGAMBITTS 的贝叶斯遗憾界（Bayesian regret bounds）。
- 将遗憾来源分解为处理不确定性和奖励不确定性。
- 证明了当处理嵌入维度 $d$ 显著小于上下文与动作空间乘积（即 $d \ll \sqrt{CK}$ ）时，GAMBITTS 比标准汤普森采样获得更紧凑的遗憾界。
- 证明了在处理模型足够准确的情况下，具有线性奖励的 poGAMBITTS 其遗憾缩放为 $\tilde{O}(\sigma_2 d \sqrt{T})$ ，且与线性设置中的臂数 $K$ 无关。
实证验证： 通过模拟研究验证了 GAMBITTS，该研究基于 2023 年 Intern Health Study (IHS)，其中智能体选择提示词以让 LLM 生成心理健康支持信息。
- 性能： GAMBITTS 的累积遗憾始终低于标准汤普森采样（包括上下文和非上下文版本）。
- 可扩展性： 在改变动作臂数量 ( $K$ ) 的实验中，线性 poGAMBITTS 算法的遗憾保持稳定，而标准方法随着 $K$ 的增加而恶化。
- 误设敏感性： 研究强调了 GAMBITTS 的性能对工作处理嵌入 ( $Z$ ) 的质量非常敏感。当嵌入与真实的奖励相关维度相关性较差时，性能会下降，甚至可能低于标准方法。然而，灵活的奖励模型（基于集成的模型）有助于缓解这些问题。
- 噪声影响： 研究表明，随着奖励噪声 ( $\sigma_2$ ) 的增加，GAMBITTS 相对于标准方法的优势也随之增加，因为通过处理模型进行跨臂泛化的能力变得更加关键。

意义与主张

本文声称 GAMBITTS 为经典多臂老虎机学习与现代生成式 AI 应用之间提供了必要的理论和算法桥梁。通过显式建模生成器介导干预的随机性质，该框架允许智能体：

利用处理信息： 利用观测到的处理（例如生成的文本）来加速策略学习，而不是将其视为噪声丢弃。
跨动作泛化： 利用处理空间中的共享结构，即使在可能的提示词（动作）数量很大时也能实现高效学习。
支持自适应移动健康 (mHealth)： 为使用 LLM 进行实时内容生成的即时自适应干预 (pJTAIs) 提供了一个可行的框架，在这种场景下，固定的干预库是不够的。

作者认为，虽然该框架假设生成器是固定的且具有特定的嵌入结构，但它为营销、教育和医疗等领域（这些领域的处理是动态生成的，而非来自静态库）的个性化开辟了新的途径。他们指出，未来的工作可以解决在线嵌入学习、生成器微调和安全约束等问题，但目前的工作建立了所提方法的理论遗憾界和经验有效性基础。