技术摘要：愉悦门控探索（DE）

问题陈述

本文解决了在未解析状态（unresolved regimes）下探索所面临的挑战，即动作空间或时间视界过大，导致智能体无法在给定的预算内消除所有不确定性。在此类设定中，标准的探索算法（例如乐观主义、Thompson 采样、信息导向采样）因试图广泛搜索直至不确定性被消除而变得不可行。因此，从业者通常默认采用$\epsilon$-greedy策略。

尽管$\epsilon$-greedy 简单且通过大部分时间遵循宿主策略来限制干扰，但其主要缺陷在于探索性覆盖是盲目的。它均匀地消耗覆盖预算，经常选择那些后验上行潜力（预期改进）已经微乎其微的动作。本文认为，在未解析状态中，仅凭不确定性不足以成为探索的理由；探索应被定价为上行潜力与惊喜度的乘积。

方法论：愉悦门控探索（DE）

DE 引入了一种宿主–覆盖（host–override）架构，保留了$\epsilon$-greedy 的加法结构，但用针对性的、有定价的覆盖取代了盲目覆盖。

核心机制

1. 宿主策略（$\pi_{host}$）： 一个基线策略（通常为贪婪或近贪婪策略），选择具有最高后验平均奖励的动作，$v_t = \max_a m_a(t)$。
2. 探索性覆盖： 以概率$\epsilon_t$（随时间退火），智能体考虑进行覆盖。
3. 预期愉悦（$\tilde{\chi}_t(a)$）： 智能体为候选动作计算一个分数，定义为以下两者的乘积：
   • 预期改进（上行潜力）： $EIt(a) = E[(f(a) - v_t)^+ | H_t]$。
   • 惊喜度（新颖性）： $\ell_t(a) = \min\{[-\log \pi_{host}(a) - \ell_{min}]^+, L\}$，上限为$L$。这衡量了相对于宿主偏好，一个动作的意外程度。
4. 门控： 仅当动作$a$的预期愉悦超过固定的门控价格$\lambda$时，该动作才有资格进行覆盖：
   $$\tilde{\chi}_t(a) = EIt(a) \cdot \ell_t(a) \ge \lambda$$
5. 选择： 如果门控集合$G_t$非空，覆盖将从$G_t$中的动作中按其愉悦分数成比例地采样。如果$G_t$为空，智能体则默认采用宿主策略。

理论联系：潘多拉规则

本文确立了 DE 门控在数学上等价于 Weitzman 针对有成本搜索提出的潘多拉预留值规则（Pandora's reservation-value rule）。

• 在潘多拉问题中，检查一个摇臂的成本为$c$。最优策略仅在当前最佳值低于预留阈值时才进行检查。
• 在 DE 中，动作的有效检查成本为$c_a = \lambda / \ell_a$。
• 门控条件$\ell_a E[(X_a - v)^+] \ge \lambda$等价于$E[(X_a - v)^+] \ge c_a$。
• 这意味着 DE 实现了满意搜索（satisficing search）：它仅在消除不确定性的价值超过偏离的“价格”时才进行探索，而不是探索直到消除所有不确定性。

主要贡献

1. 算法提出： 提出了 DE，这是一种实用的启发式方法，利用预期愉悦来过滤探索候选者，并在此过程中恢复了潘多拉预留值规则。
2. 实证扩展性： 证明了 DE 在伯努利多臂老虎机、线性老虎机和**表格型 MDP（DeepSea）**中均能优雅扩展。关键在于，相同的超参数（$M=100, \lambda=0.1, L=10$）可在这些不同领域间迁移而无需重新调整。
3. 结构分析：
   • 已解析摇臂退出： 一旦次优摇臂被充分解析（与最优摇臂分离），其预期改进衰减，导致其低于门控价格并从探索集中退出。
   • 新摇臂关闭： 在大型动作空间中，如果宿主基线$v_t$超过关闭阈值$v_{off}$，则任何未尝试（新鲜）的摇臂都无法满足门控条件，从而有效地剪枝了搜索空间。
   • 有限信息预算： 在线性老虎机中，所选覆盖的数量受信息增益（椭圆势）限制，与摇臂数量$K$无关。
4. 遗憾行为： 在未解析状态（$K \gg T$）下，DE 表现出比 Thompson 采样和$\epsilon$-greedy 显著更弱的遗憾增长，同时在小型可解析环境中与其性能相当。

实验结果

• 伯努利老虎机： 随着摇臂数量$K$增加，Thompson 采样和$\epsilon$-greedy 的遗憾呈线性或更差地退化。DE 的遗憾保持近乎平坦，因为一旦宿主基线超过关闭阈值，它就会停止探索摇臂。
• 线性老虎机： DE 在不同维度$D$和噪声水平$\sigma$下均优于基线，且无需超参数调整，表明该机制捕捉到了探索的结构属性，而非过拟合特定的后验分布。
• DeepSea（表格型 MDP）： 在需要特定$H$个动作序列的深度探索任务中，DE 匹配或优于后验采样强化学习（PSRL），并显著优于$\epsilon$-greedy，后者随着$H$增加而迅速退化。

意义与主张

本文主张，DE 为大规模系统中的“盲目”探索提供了一种原则性的替代方案。其意义在于：

• 稀缺性定价： 它通过上行潜力与惊喜度的乘积来为稀缺的探索资源定价，而非仅依赖不确定性。
• 满意 vs. 优化： 它将目标从消除所有不确定性（在未解析状态中是不可能的）转变为在预算内寻找“足够好”的策略。
• 可迁移性： 超参数能够在独立老虎机、线性结构和序列 MDP 之间迁移，表明“愉悦”指标是一种稳健的、领域无关的探索信号。

作者明确指出了局限性：

• 贪婪宿主变体的完整最坏情况遗憾界仍然是一个未解决的问题。
• 与潘多拉规则的等价性仅在揭示值搜索中是精确的；在噪声老虎机中，预期改进作为信息价值的代理。
• 固定价格 DE 是一种有限预算启发式方法；虽然它在特定理论模型中实现了最优先验尾部速率，但实验调度在相同意义上并非渐近最优。

总之，本文提出，在未解析状态中，带有定价上行潜力的不确定性是探索的正确驱动力，取代了传统的“仅凭不确定性”范式。