技术摘要：零样本离策学习 (Zero-Shot Off-Policy Learning, ZOL)

1. 问题陈述

本文探讨了行为基础模型 (Behavioral Foundation Models, BFMs) 范式下的零样本离策学习 (Zero-Shot Off-Policy Learning) 挑战。BFMs 是在大型无标签、无奖励数据集上预训练的智能体，旨在学习可复用的行为先验，从而使其在测试时无需额外训练（例如通过文本提示、目标或动作捕捉）即可适应新任务。

然而，这种基于推理的适应过程继承了离策 (Off-policy) 和离线强化学习 (Offline RL) 中的一个关键失效模式：分布偏移 (Distributional Shift)。

• 不匹配性： 由新任务规范诱导出的策略，往往会查询在预训练数据集中表示不足或完全缺失的状态-动作区域（即分布外，Out-of-Distribution 或 OOD）。
• 后果： 标准的零样本推理（例如根据奖励投影选择潜变量 $z$）会导致价值估计系统性误差和价值函数高估。智能体可能会选择在推测值下看似最优、但会导致诱发不受数据支持的访问分布的潜变量，从而导致次优或不安全的行为。
• 差距： 现有的解决方案如 DICE (DualDICE, OptiDICE) 需要针对特定任务进行优化，这与“零样本”的要求相悖。其他快速适应方法（如 ReLA, LoLA）则依赖于在线环境交互和在策 (On-policy) 展开，这成本高昂且违反了 BFM 完全离线的设定。

核心问题在于：我们能否在无需针对每个任务进行在线优化的前提下，为整个 BFM 诱导的策略族估计最优平稳占用率，从而实现快速的测试时适应并避免离策病态问题？

2. 方法论：零样本离策学习 (ZOL)

作者提出了 ZOL，一种无需训练、无需交互的测试时程序，它架起了后继测度 (Successor Measures, SM) 与平稳密度比 (Stationary Density Ratios) 之间的桥梁。

理论洞察

该方法依赖于源自 前向-后向 (Forward-Backward, FB) 框架（Touati & Ollivier, 2021）的理论联系，该框架用于估计后继测度。

1. 后继测度 (SM)： SM，$M^\pi$，刻画了一个策略 $\pi$ 的折扣未来访问情况。在 FB 框架中，后继密度 $m_\pi$ 通过低秩分解进行近似：$m_\pi(s_0, a_0, s, a) \approx F(s_0, a_0, z)^\top B(s, a)$，其中 $F$ 是前向嵌入，$B$ 是后向嵌入。
2. 密度比恒等式： 作者推导出一个精确的恒等式（公式 9），表明平稳密度比 $w_{\pi/\beta} = d_\pi / d_\beta$（即使策略的访问分布与数据集对齐所需的修正因子）与初始分布 $\rho_0$ 下的期望后继密度成正比：
   $$w_{\pi/\beta}(s, a) = (1-\gamma) \mathbb{E}_{(s_0, a_0) \sim \rho_0} [m_\pi(s_0, a_0, s, a)]$$
3. 低秩估计器： 通过将 FB 近似代入该恒等式，密度比变为关于后向嵌入的简单线性函数：
   $$w_{\pi_z/\beta}(s, a) \approx (1-\gamma) W_{\pi_z}^\top B(s, a)$$
   这里，$W_{\pi_z}$ 是初始分布下的期望前向嵌入。至关重要的是，该估计器是仅依赖数据的；它仅在数据集 $D$ 中存在的样本 $(s, a)$ 上进行评估，确保策略永远不会向不受支持的区域分配概率。

算法

ZOL 在不修改 BFM 预训练过程的情况下执行三个步骤：

1. 预训练： 使用标准的时序差分目标在离线数据集上训练 FB 嵌入（$F$ 和 $B$）。
2. 潜变量初始化： 对于具有奖励 $r_T$ 的新任务，通过将奖励投影到后向特征上，推断初始任务嵌入 $c_T$：$c_T = \mathbb{E}_{(s,a) \sim D}[B(s, a) r_T(s, a)]$。
3. 潜变量优化： 优化潜变量 $z$ 以最大化正则化加权回报：
   $$J_{total}(z) = \mathbb{E}_{(s,a,r) \sim d_\beta} [w_{\pi_z/\beta}(s, a) (r(s, a) - \bar{r})] - \lambda_1 \chi^2(z) - \lambda_2 L_{trust}(z)$$
   • 重加权： 项 $w_{\pi_z/\beta}$ 对监督信号进行重加权，使其向数据集支持的区域倾斜，从而修正分布偏移。
   • 正则化：
     • $\chi^2$ 惩罚项：防止重要性权重出现极端方差。
     • 置信区域 ($L_{trust}$)：使优化的潜变量保持在初始任务嵌入附近，以防止灾难性漂移。
     • 奖励中心化：防止由常数奖励偏移导致的平凡解（例如“无作为”策略）。

优化通过对 $z$ 进行梯度上升（Adam）完成，利用起始状态的蒙特卡洛采样来估计 $W_{\pi_z}$，除了初始状态采样外，不需要任何环境交互。

3. 核心贡献

1. 理论桥梁： 本文建立了一种新颖的理论联系，表明前向-后向后继表示隐含地包含了离策修正所需的平稳密度比。这使得可以直接从预训练组件中计算出最优修正权重。
2. ZOL 算法： 一种简单、无需训练且无需交互的测试时适应方法，通过显式实施支持约束（通过密度比重加权）来减轻离策高估和外推误差。
3. 实证验证： ZOL 在 ExORL、OGBench 和 SMPL Humanoid 等多种基准测试中进行了评估，并在鲁棒性和回报方面一致优于最先进的零样本基线（FB, HILP, TD-JEPA）以及在线适应方法（LoLA, ReLA），尤其是在长时程和高维任务中。
4. 消融与分析： 论文提供了一个极简的二维玩具示例，证明了标准零样本推理由于支持偏差 (support bias) 而失败，而 ZOL 通过将推理与诱导占用对齐，成功恢复了任务结构。

4. 实验结果

作者在三个基准测试上评估了 ZOL：

• ExORL (DeepMind Control Suite)： ZOL 在 Walker、Cheetah、Quadruped 和 PointMass 领域均取得了相对于基线的持续提升。值得注意的是，它在长时程任务和高维领域（如 Quadruped）表现出显著改进，在无需环境展开的情况下超越了 LoLA 和 ReLA 等在线方法。
• OGBench (长时程目标条件 RL)： 在需要时间拼接的任务（如 AntMaze、Cube manipulation）中，ZOL 实现了比 FB 及其他基线更高的成功率。它在完全离线的情况下，达到了甚至超过了在线方法（LoLA/ReLA）的性能。
• SMPL Humanoid (动作追踪)： 使用预训练的 FB-CPR 模型，ZOL 提升了 AMASS 数据集上的动作追踪性能，找到了比基线 FB-CPR 推理显著更好的策略。

在所有基准测试中，ZOL 都展示了对超参数选择的鲁棒性，仅需极少的调优。

5. 重要性与主张

本文声称架起了离策学习与零样本适应之间的桥梁。其主要意义在于证明了鲁棒的零样本适应并不一定需要昂贵的在线交互或针对特定任务的优化。

• 缓解推理差距： 作者认为，BFM 的性能差距往往不是源于模型的表示能力，而是源于推理过程本身的次优性。ZOL 通过确保适应过程保持在预训练分布内，解决了这一问题。
• 无需训练的适应： 不同于需要微调或在线展开的方法，ZOL 提供了一种“即插即用”的解决方案，利用现有的 FB 结构在测试时修正分布偏移。
• 理论依据： 该工作为为什么 FB 表示适用于离策修正提供了原则性的辩护，超越了启发式的适配方法。

局限性： 作者承认 ZOL 继承了所学习的 FB 分解的表示偏差。如果密度比估计不准确，或者下游任务严格要求持续的“支持外”行为，那么该方法的保守性质（强制实施支持约束）可能会以牺牲性能来换取安全性。未来的研究方向包括不确定性感知修正以及向部分可观测领域的扩展。