💻 computer science

Causal Physics Steering in Video World Models via Concept Activation Vectors

本文介绍了“物理引导”，这是一种无需训练的方法，它利用 VideoMAE 物理涌现区内的概念激活向量，在不修改模型权重的情况下，直接在推理过程中可控地调整模型的物理推理能力。

原作者： Nahid Alam

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Nahid Alam

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个非常聪明的机器人，它会观看视频并尝试预测接下来会发生什么。这个机器人预测运动的能力如此出色，以至于它就像一个“世界模型”——它理解物体如何下落、弹跳和碰撞。但问题在于：有时机器人会对物理定律感到困惑。它可能会认为一个球可以穿过墙壁，或者一个物体可以凭空消失。

到目前为止，如果你想修正机器人对物理学的理解，你必须从头重新训练它，或者添加新的训练数据。这篇论文介绍了一种巧妙且“无需训练”的方法，可以在不修改其任何一行代码的情况下，实时修正机器人的“大脑”。

以下是作者是如何做到的，通过简单的类比来解释：

1. 寻找“物理控制室”

机器人的大脑由许多处理层组成，就像一座多层建筑。研究人员在这座建筑的中间发现了一组特定的楼层（称为物理涌现区，PEZ），机器人对“什么是物理上可能的”理解就存储在这里。

可以将这个区域想象成工厂里的一个控制室。当机器人观看视频时，它会处理图像，但在这个特定的控制室里，它会做出判断：“根据物理定律，这个场景合理吗？还是这是魔法？”

2. “方向盘”（概念激活向量）

研究人员发现，在这个控制室内部，机器人的“思维空间”中存在一个特定的方向，指向不可能的物理现象（如鬼魂穿过墙壁），而相反的方向则指向符合现实的物理现象。

他们称之为概念激活向量（CAV）。你可以把它想象成物理学的方向盘或音量旋钮。

如果你向一个方向转动旋钮，机器人就会确信它看到的一切都是不可能的。
如果你向另一个方向转动，机器人就会确信一切在物理上都是可能的。

3. 他们如何“操控”机器人

神奇之处在于，他们不需要重新训练机器人。相反，在机器人观看视频的精确时刻（即在推理过程中），他们利用这个“方向盘”轻轻推动控制室中机器人的思维。

操作：他们取出“方向盘”向量，并将其少量添加到机器人当前的思维中。
结果：如果将其推向“不可能”的方向，机器人会突然认为一个正常的球下落视频实际上是一个魔术。如果将其推向“可能”的方向，它就会极其确信该场景是真实的。

4. 关键发现

这篇论文揭示了关于这个机器人思维方式的几个有趣事实：

它是局部化的：只有当你在该特定的“控制室”（PEZ）中推动机器人的思维时，操控才有效。如果你试图推动该房间上方或下方楼层的思维，什么也不会发生。这证明了物理知识存储在一个特定的、孤立的区域。
物理与运动：机器人将“物理”的理解与“方向”的理解分开。想象一辆汽车：方向盘（物理）和油门（运动方向）位于仪表板的不同部分。机器人可以被操控去思考重力，而不会破坏其判断物体是向左还是向右移动的能力。
不同的规则，不同的旋钮：机器人针对不同物理规则拥有独立的“旋钮”。一个旋钮控制“物体恒存性”（如果我藏起物体，它还存在吗？），另一个控制“固态性”（两个物体能占据同一空间吗？）。这些旋钮彼此几乎是完全独立的。

5. 这为何重要

作者在名为IntPhys的基准测试上测试了这种方法，该测试使用 3D 场景视频来检验机器是否理解基本物理原理。

测试：他们向机器人展示了物体做出不可能行为的视频（如瞬间移动）。
修正：通过应用他们的“操控”，他们可以迫使机器人改变想法。他们可以让机器人认为不可能的场景是可能的，反之亦然，且可靠性近乎完美。

核心结论

这篇论文表明，视频 AI 内部关于物理的“常识”并非一个神秘且不可改变的黑箱。它是系统中一个可读的、局部化的且可操控的部分。你只需在正确时刻轻轻推动其内部思维，就可以 literally（字面意义上）“调高”或“调低”机器人对物理定律的信念，而无需触碰机器人原始的训练代码。

关于局限性的说明：该论文完全专注于分析和操控机器人的内部判断。虽然他们在结论中提到这最终可能用于生成新视频，但当前的工作仅证明了你可以改变机器人如何思考视频，而尚未证明他们成功生成了新的视频素材。

技术摘要：通过概念激活向量在视频世界模型中实现因果物理引导

问题陈述

视频世界模型学习物理动态的表征，用于基于模型的强化学习和自动驾驶等任务，但目前缺乏在推理阶段控制其物理预期的机制。尽管最近的可解释性研究在 VideoMAE 的中间 Transformer 层中识别出了一个物理涌现区（PEZ）——在此区域内物理合理性与其他视觉特征被分开表征——但尚不清楚这种结构是否可以直接被操纵以改变模型的推理。现有的可控生成方法（例如 ControlNet）依赖于训练时的条件控制或需要基于梯度的优化及配对监督的后期适配器，未能解决物理知识在内部何处以及如何被表征，以及是否可以在不重新训练的情况下直接对其进行干预的根本问题。

方法论

作者提出了一种物理引导方法，这是一种无需训练、在推理阶段进行的干预方法，利用**概念激活向量（CAV）**来操纵物理推理。

物理涌现区（PEZ）识别：
遵循先前的工作，作者在预训练的 VideoMAE 的每一层训练线性逻辑回归探针，以预测物理合理性（可能 vs. 不可能）。他们将探针准确率接近峰值的层簇（具体为第 0–5 层，在第 5 层达到峰值）识别为 PEZ。
CAV 提取：
对于 PEZ 内的每一层，提取训练好的线性探针的权重向量（ $w_l$ ）并进行归一化，形成物理 CAV（ $v_l$ ）。该向量定义了表征空间中与“物理上不可能”场景相关的方向。为了处理训练样本数量少于特征维度的情况，作者应用了主成分分析（PCA）和方向翻转检查，以确保向量与概念正确对齐。
推理阶段干预：
在推理过程中，该方法通过向目标层 $l^*$ 的补丁 token 的隐藏状态添加缩放后的 CAV 来修改这些状态：
$\tilde{H}_{l^*}(x)_i = H_{l^*}(x)_i + \alpha \cdot v_{l^*}$
其中 $\alpha$ 是引导强度参数。
- $\alpha > 0$ ：将表征向“物理上不可能”方向偏移。
- $\alpha < 0$ ：将表征向“物理上可能”方向偏移。
- $\alpha = 0$ ：基线（无变化）。
该干预应用于编码器的隐藏状态；由于 VideoMAE 是一个编码器，该方法改变的是下游对物理敏感的预测，而不是直接生成像素空间的视频帧。
评估指标：
引导的有效性通过以下指标衡量：
- 翻转率（FR）： 相对于基线，分类发生变化的测试视频的比例。
- 分数差值（ $\Delta P$ ）： “不可能”概率的平均变化量。
- 方向纯度（DP）： 观测到的表征偏移与预期的 CAV 方向之间的余弦相似度。
- 表征漂移（RD）： 表征空间中偏移的幅度。

主要贡献

基于 CAV 的物理引导： 作者证明，PEZ 层的线性探针权重提供了可解释的引导方向。注入这些向量可以在不更新模型权重的情况下，实现对模型物理判断的双向控制（将 $P(\text{impossible})$ 驱动至 1.0 或 0.0）。
特定层干预分析： 通过在特定层注入相同的向量，作者表明引导效应严格局限于 PEZ 及其之前的层。在第 6–11 层进行干预会导致翻转率为 0.00，证实了相关的物理表征在 PEZ 内建立并可被访问。
子空间正交性： 该研究测量了物理 CAV 与运动方向子空间之间的夹角，发现其正交性为 90.0°。这支持了物理和运动被编码在相互独立、互不干扰的子空间中的假设。
内在维度估计： 通过迭代正交探针训练，作者发现 PEZ 处的物理子空间主要由大约 2–3 个方向主导。这种低维度解释了为何单向量引导方法非常有效。
特定原则引导： 针对不同的直观物理原则（物体恒存性、连续性和固态性）训练出的独立 CAV 被发现几乎是正交的（例如，连续性与固态性之间为 86.1°），这表明可以独立地引导特定的物理原则。

结果

实验在 IntPhys 基准上使用冻结的 VideoMAE-base 模型进行。

引导有效性： 在主要 PEZ 层（第 5 层），使用 $|\alpha| \ge 5$ 进行引导可可靠地使模型的判断达到饱和。正向引导将 $P(\text{impossible})$ 驱动至 1.0，而负向引导将其驱动至 0.0。在注入层，方向纯度达到 1.00，表明干预具有高度结构化。
局部性： 效应严格依赖于层。将 PEZ 训练出的 CAV 注入第 6–11 层，不会改变在第 5 层测量的物理判断，证实物理表征局限于 PEZ 及其之前的层。
几何特性： 物理 CAV 与运动方向正交（90.0°），其分离程度高于先前报告的数值（69–83°）。这表明引导物理并不会固有地破坏运动表征。
解耦： 不同的物理原则（O1, O2, O3）占据 PEZ 空间中的不同方向，其中 O2 和 O3 几乎是正交的，从而实现了对特定原则的潜在控制。

意义与主张

该论文声称，VideoMAE 中的物理推理不仅可读（通过线性探针），而且在推理阶段是可直接引导的。通过识别局部的物理涌现区并利用 CAV，作者提供了一种无需重新训练、微调或架构更改即可控制模型物理预期的方法。

其意义在于：

因果控制： 超越相关性，证明干预特定的表征层会因果性地改变模型的物理合理性判断。
从可解释性到行动： 弥合了机制性可解释性（发现知识所在位置）与表征工程（利用该知识控制行为）之间的差距。
安全与评估： 该方法提供了一种系统性地压力测试世界模型的方法，通过生成物理上不可能的情景而无需收集新数据集，这对 AI 安全评估非常有价值。

作者保持了适度的范围，指出虽然该方法控制了编码器的内部表征，但要生成被引导的像素空间视频帧，需要将此方法与解码器结合，这留待未来工作完成。他们还强调，其他架构（如 DINOv2、Stable Video Diffusion）中是否存在 PEZ 仍然是一个开放的实证问题。