技术摘要：论世界模型策略学习与模仿世界-动作模型之间的能力分离

问题陈述

本文探讨了具身智能决策中的一个根本性歧义：在仅基于相同的观测演示进行训练时，世界-动作模型（预测未来结果 $Y$ 然后推断动作 $A$）是否在控制能力上比直接行为克隆策略（将历史 $H$ 直接映射到动作 $A$）具有内在的优势。

虽然世界-动作模型通常因视频预训练、时间监督和未来条件化表示而备受赞誉，但目前尚不清楚这些优势是否转化为更强的控制能力（诱导特定闭环轨迹分布的能力），或者仅仅是为学习相同的行为策略提供了一种不同的因子分解方式。本文旨在将架构表达能力、群体学习目标以及信息需求，从有限样本估计误差和优化困难中解耦出来。

研究方法

分析是在控制器类和群体学习目标层面进行的，抽象掉了有限样本估计误差、优化误差和模型误设问题。

1. 定义与框架：

   • 控制能力类（Control-Capability Class）： 定义为一个策略类所能诱导的闭环轨迹分布集合。
   • 群体目标（Population Objective）： 在真实的演示分布 $p_\mu$ 下的期望，而非有限数据集上的经验平均。
   • 三种范式：
     • 直接行为克隆 ($\pi_A$)： $H \to A$。最小化 $-\log \pi(A|H)$。
     • 模仿世界-动作 ($\pi_{WA}$： $H \to Y \to A$。建模 $p(Y|H)$ 和 $p(A|H, Y)$。
     • 世界模型策略学习 ($\pi_{WM}$)： 使用动作条件化模型 $P(Y | H, \text{do}(A=a))$ 通过效用函数比较候选动作。

2. 假设：

   • 可实现性（Realizability）： 策略类和条件分布类包含真实的群体目标。
   • 精确群体优化： 目标函数在全局范围内最小化。
   • 分布保持部署（Distribution-Preserving Deployment）： 世界-动作控制器对学习到的未来分布进行边缘化处理，而不是使用会改变边际分布的点估计（例如 MAP 解码）。
   • 行为充分性（Behavior Sufficiency）： 演示者的动作选择仅取决于观察到的历史 $H$。

3. 分析方法：

   • 本文比较了外部表达能力（架构是否能表示相同的策略）和群体目标（训练目标是否收敛到相同的策略）。
   • 利用因果识别理论（一致性、条件可交换性和正值性）来区分观测条件 $p(Y|H, A)$ 与干预分布 $P(Y|H, \text{do}(A))$。
   • 构建特定的环境族，以展示观测学习者与干预学习者之间的遗憾（regret）差距。

核心贡献与结果

1. 架构层面的等价性

本文证明了每一个分布式的世界-动作控制器都可以被“压平”为一个具有完全相同闭环轨迹分布的直接随机策略。

• 结果： 在不受限的随机核类下，直接策略 ($\pi_A$) 与世界-动作控制器 ($\pi_{WA}$) 的外部控制能力类是恒等的。
• 启示： 内部未来变量 $Y$ 并没有扩展可表示的行为集；它只是提供了一种不同的内部因子分解。

2. 观测模仿下的群体等价性

在具有精确群体优化且使用相同观测数据进行训练时：

• 结果： 最优策略是恒等的：$\pi^*_{WA}(a|h) = \pi^*_{A}(a|h) = \pi_\mu(a|h)$，其中 $\pi_\mu$ 是观测行为-动作条件。
• 轨迹等价性： 在行为充分性条件下，这些策略诱导出的完整闭环轨迹分布与演示者一致。
• 近似等效性： 本文提供了连续性界限，表明轨迹层面的差异受限于未来预测、逆动作预测和直接动作预测的误差之和。

3. 特定动作的预测差距

本文指出，对于不以候选动作为条件的未来预测器，存在不可消除的差距。

• 结果： 忽略候选动作 $a$ 的预测器 $g(y|h)$ 必须对动作分支进行平均。当替代动作导致不同的结果分布时，不可消除的干预预测误差由 $I^{int}_{\nu, \rho}(A; Y | H)$ 量化，且该值大于零。
• 启示： 标准的世界-动作模型（旨在预测行为分布下的 $Y$）在没有额外的因果假设或干预的情况下，无法本质上回答关于特定候选动作的“如果……会怎样”的问题。

4. 表示、识别与部署的分离

• 观测 vs. 干预： 精确的世界-动作联合分布决定了观测条件 $p_\mu(Y|H, A)$。仅当满足因果识别条件（一致性、可交换性和正值性）时，它才等于干预分布 $P(Y|H, \text{do}(A))$。
• 部署规则： 同一个学习到的联合分布可以支持两种不同的部署规则：
  1. 行为复现： 通过对 $Y$ 进行边缘化来恢复 $\pi_\mu(a|h)$。
  2. 动作比较： 使用联合分布来评估特定 $a$ 的 $P(Y|H, \text{do}(A=a))$ 以优化效用。
• 关键区别： 标准的“未来-后接逆动作”部署恢复的是行为策略。世界模型控制则需要显式地钳制（clamp）动作并比较其后果。

5. 观测学习者与干预学习者的严格分离

本文构建了一个包含两个动作的环境族，其中：

• 观测学习者： 每个观测群体学习者（包括 $\pi_A$ 和 $\pi_{WA}$）都具有正的最坏情况遗憾（至少为 $1/4$），因为观测分布无法识别该系列环境中的最优动作。
• 干预学习者： 单次信息丰富的动作干预允许干预学习者识别环境并实现零遗憾。
• 结论： 分离点不在于策略类的表达能力，而在于学习者所能获得的信息量。仅靠观测数据无法识别未被支持的动作效应，也无法识别在存在隐藏混杂因素时的效应。

意义与主张

本文主张，区分这些范式的关键不在于控制器是否预测未来，而在于如何使用该预测：

1. 模仿 vs. 控制： 直接行为克隆和标准世界-动作模仿在内部因子分解上有所不同，但在不受限的外部策略类和群体动作目标上是等价的。它们是行为解码的方法。
2. 干预推理： 世界模型策略学习在其决策规则和策略选择所需的信息方面有着本质的不同。它是一种干预动作比较的方法。
3. 实践意义： 世界模型建模的实际益处（如更好的时间表示、视频预训练）与群体层面的等价性是兼容的。然而，这些优势并不会自动赋予干预推理能力。要实现超越演示者的控制，系统必须满足以下条件之一：
   • 能够获取干预数据。
   • 满足有效的因果识别假设。
   • 使用动作条件化模型显式地比较候选动作，而非仅仅预测与观察行为相关的未来。

本文得出结论，对于“世界模型”的实证主张必须区分模仿质量（复现观察到的行为）与动作效应预测（预测未观察动作的后果）。若要证明具备干预控制能力，必须在多种指定的动作下测试预测性能，并证明显式的动作比较能够提升超越标准“未来-后接逆动作”部署的价值。