CIG: Exploration via Conditional Information Gain

技术摘要：CIG：通过条件信息增益进行探索

问题陈述
在具有稀疏或延迟外在奖励的强化学习（RL）中，智能体必须依赖内在动机进行探索。有效的探索需要识别那些对环境动力学具有信息量的状态转移。然而，现有的内在奖励方法在如何利用上下文方面面临一个根本性的权衡：

• 终身奖励（例如，集成不一致性、预测误差）基于累积的 replay buffer 进行条件化。它们为每一个探测模型差距的转移分配信用，无论当前轨迹是否已经探索了该差距。这导致单次 rollout 内的冗余（例如，在迷宫中反复访问同一条不确定的走廊）。
• 回合奖励（例如，基于计数的奖励、可达性奖励）基于当前 rollout 的前缀进行条件化。它们惩罚轨迹内的重复，但忽略了终身进展。在基于模型的 RL 中，策略优化的是较短的“想象”rollout（$T \approx 15$），前缀往往太短，无法提供丰富的信号来纠正冗余。
• 混合方法试图通过启发式权重结合这些信号，或依赖高斯过程（GP）动力学，但这无法扩展到高分辨率状态空间。
• **轨迹级信息增益（IG）**提供了一个原则性的目标，同时基于 buffer 和前缀进行条件化。然而，计算精确的 IG 需要对模型参数的后验分布进行边缘化，这对于深度神经网络来说是难以处理的。

方法论：条件信息增益（CIG）
作者推导出了条件信息增益（CIG），这是轨迹级信息增益的一个可处理的代理目标，它既能扩展到高分辨率潜在空间，又能同时基于 replay buffer 和 rollout 前缀进行条件化。

1. 公式化：目标是最大化模型参数 $w$ 与轨迹 $s_{1:T}$ 在给定 replay buffer $D$ 下的互信息：$I(w; s_{1:T} | D)$。利用链式法则，这分解为每步项 $I(w; s_t | s_{<t}, D)$。
2. 近似：
   • 集成后验（A1）：后验 $p(w|D)$ 被近似为 $M$ 个独立训练的集成成员上的均匀分布。
   • 马尔可夫 - 高斯动力学（A2）：每个集成成员将下一个潜在状态预测为具有高斯分布，具有共享的各向同性偶然协方差 $\sigma^2 I_d$。
   • 矩匹配高斯（A3）：集成预测的混合熵被具有匹配均值和协方差的高斯分布的熵所上界。
3. 秩饱和瓶颈：最大化完整认知协方差矩阵 $\Sigma$（大小为 $Td \times Td$）的对数行列式在高分辨率下会失效，因为协方差的秩受限于集成大小（$M-1$）。对于典型值（$M=5, d=200$），单个观测值即可使奖励信号饱和，导致后续步骤没有信用可分配。
4. 迹缩减（设计选择 D1）：为了解决容量瓶颈，作者将认知协方差的每个 $d \times d$ 块坍缩为其迹。这产生了一个核 $K \in \mathbb{R}^{T \times T}$，其中 $K_{jt} = \frac{1}{M} \sum_k (\delta^{(j)}_k)^\top \delta^{(t)}_k$，$\delta$ 代表集成成员与均值的偏差。这将有效容量从 $M-1$ 提升至 $\min(T, (M-1)d)$。
5. 每步分解：轨迹目标 $\tilde{J} = \log \det(K + \sigma^2 d I_T)$ 利用 Cholesky 分解（$L L^\top = \tilde{K}$）分解为因果每步奖励。步骤 $t$ 的奖励为：
   $$r_t = \log \left( K_{tt} + \sigma^2 d - k_{<t}^\top \tilde{K}_{<t}^{-1} k_{<t} \right)$$
   • 终身项（$K_{tt}$）：标准的集成不一致性（buffer 条件化）。
   • 前缀冗余项（$k_{<t}^\top \tilde{K}_{<t}^{-1} k_{<t}$）：一个二次型，减去步骤 $t$ 处已被 rollout 中前序步骤解释的不一致部分。
   • 偶然脊（$\sigma^2 d$）：一个基于训练残差事后估计的底线，防止奖励因不可约噪声而消失。

主要贡献

• CIG 奖励：一种源自轨迹级信息增益的对数行列式代理的可处理、每步内在奖励。它同时基于 replay buffer（通过训练好的集成）和 rollout 前缀（通过 Cholesky 分解）进行条件化。
• 秩饱和分析：识别了有限集成代理中的容量瓶颈，并推导了迹缩减技术，以在不进行完整协方差估计的情况下恢复有效容量。
• 对随机干扰的鲁棒性：该方法通过集成的偶然尺度自然过滤动作依赖的随机噪声（Noisy-TV），这与基于计数或原始预测误差的方法不同。

实验结果
作者在离散（MiniGrid）和连续控制（OGBench）领域的 12 个任务上评估了 CIG，包括干净版本和随机干扰（Noisy-TV）变体。评估采用了无奖励协议以隔离探索质量。

• 性能：CIG 在大多数任务上优于或匹配了所有基线（包括 Plan2Explore、RND、ICM、APT、E3B 和 E3B $\times$ P2E）。在汇总统计（四分位数均值）中，CIG 取得了最高分数，且与其他所有方法的置信区间不重叠。
• Noisy-TV 鲁棒性：在具有动作依赖随机干扰的环境中，依赖原始预测误差的方法（ICM、RND、APT）崩溃至接近零的成功率。CIG 和 Plan2Explore（P2E）由于集成过滤而保持鲁棒，但 CIG 始终优于 P2E，表明前缀冗余校正提供了超越简单不一致性的额外价值。
• 消融实验：移除迹缩减会导致奖励立即饱和，从而停止探索。移除前缀冗余项降低了样本效率，证实了该校正防止了在同一 rollout 内对相关性步骤的重复计数。
• 熵与成功：虽然 APT 和 E3B 等方法实现了更高的状态访问熵，但这与任务成功并不相关。CIG 以较低的熵实现了高成功率，表明有针对性的不确定性减少（探索信息丰富的前沿）比均匀覆盖更有效。

意义与主张
该论文声称，CIG 证明了终身和回合探索信号不需要通过启发式方式结合。相反，它们源自单一的信息论目标而共同涌现。对数行列式代理的 Cholesky 分解自然地产生了因果的、每步的奖励，同时保留了两个条件集。

作者强调，CIG 在各种问题结构中具有鲁棒性：它在随机环境中过滤不可约噪声，并在确定性环境中提供结构化奖励。虽然 CIG 并未在所有单个任务中占据主导地位（例如，APT 在干净的 ObstructedMaze 上表现更好），但它是唯一一种在所有测试条件下避免退化的方法。该工作局限于具有短想象 rollout 的基于模型的 RL；作者指出，$O(T^3)$ 的 Cholesky 成本和 $T \times T$ 的核存储对于长视野的无模型回合可能变得不可行，建议将滑动窗口或低秩近似作为未来的工作方向。