💻 computer science

Causal Physics Steering in Video World Models via Concept Activation Vectors

本論文は、VideoMAE の物理的出現領域における概念活性化ベクトルを活用し、重みを修正することなく推論中にモデルの物理的推論を直接的かつ制御的にシフトさせるトレーニング不要な手法「物理ステアリング」を提案する。

原著者： Nahid Alam

公開日 2026-05-26

📖 1 分で読めます☕ さくっと読める

原著者： Nahid Alam

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが非常に賢いロボットを想像してみてください。このロボットはビデオを観て、次に何が起こるかを推測しようとします。このロボットは運動の予測が非常に得意で、「世界モデル」のように振る舞います。つまり、物がどのように落下し、跳ね、衝突するかを理解しているのです。しかし、問題があります。時折、このロボットは物理法則について混乱してしまうのです。ボールが壁を通過できるとか、物体が虚空に消え去るといったことを考えてしまうかもしれません。

これまで、ロボットの物理的理解を修正しようとするなら、ゼロから再学習させるか、新しい学習データを追加する必要がありました。しかし、この論文は、コードを一行も変更することなく、リアルタイムでロボットの脳を修正する巧妙な「学習不要」の方法を紹介しています。

以下に、著者がどのように行ったかを、簡単な比喩を用いて説明します。

1. 「物理制御室」の発見

ロボットの脳は、多階建てのビルのような、多くの処理層で構成されています。研究者たちは、このビルの中間部分にある特定の階層（「物理出現領域」、PEZ と呼ばれる）を発見しました。そこには、ロボットが「物理的に何が可能か」を理解する情報が格納されています。

この領域を、工場の「制御室」のように考えてみてください。ロボットがビデオを観ている間、画像を処理しますが、この特定の制御室では、次のような判断を下します。「このシーンは物理法則に従って意味があるのか、それとも魔法なのか？」

2. 「ハンドル」（概念活性化ベクトル）

研究者たちは、この制御室内に、ロボットの「思考空間」において「不可能な物理」（幽霊が壁を歩くようなもの）を指し示す特定の方向と、その逆方向に「現実的な物理」を指し示す方向があることを発見しました。

彼らはこれを「概念活性化ベクトル（CAV）」と呼んでいます。これは、物理に関する「ハンドル」や「音量ノブ」と考えてください。

ノブを一方に回すと、ロボットは目にするすべてが「不可能」だと確信するようになります。
反対側に回すと、ロボットはすべてが「物理的に可能」だと確信するようになります。

3. ロボットを「操る」方法

このマジックのような技は、ロボットを再学習させる必要がないという点にあります。代わりに、ロボットがビデオを観ている瞬間（推論中）、この「ハンドル」を使って制御室内のロボットの思考を優しく揺さぶります。

行動: 「ハンドル」のベクトルを取り出し、それをロボットの現在の思考に少し加えます。
結果: 「不可能」の方へ揺さぶると、ロボットは突然、ボールが落下する普通のビデオをマジックトリックだと考えるようになります。逆に「可能」の方へ揺さぶると、そのシーンが現実であると極めて確信するようになります。

4. 重要な発見

この論文は、このロボットがどのように思考しているかについて、いくつかの興味深い事実を明らかにしています。

局所性: 操縦が機能するのは、その特定の「制御室」（PEZ）でロボットの思考を押し進めた場合に限られます。その階層の上や下の階層で思考を押し進めようとしても、何も起こりません。これは、物理知識が特定の孤立した場所に格納されていることを証明しています。
物理と運動の分離: ロボットは「物理」の理解と「方向」の理解を分けて保持しています。車を想像してください。ハンドル（物理）とアクセル（運動方向）は、ダッシュボードの異なる部分にあります。ロボットは重力について考えるように操縦されても、物が左か右に動いているかを判断する能力を損なうことなく済みます。
異なるルール、異なるノブ: ロボットには、異なる物理法則のための別々の「ノブ」があります。一つのノブは「物体の永続性」（隠しても物体は存在し続けるか？）を制御し、もう一つのノブは「固体性」（二つの物体が同じ空間を占有できるか？）を制御します。これらのノブは、互いにほぼ完全に独立しています。

5. なぜこれが重要なのか

著者たちは、3D シーンのビデオを用いて機械が基本的な物理を理解しているかをテストするベンチマーク「IntPhys」でこれをテストしました。

テスト: 彼らはロボットに、物体が不可能なことをする（テレポートするなど）ビデオを見せました。
修正: 「操縦」を適用することで、ロボットの考えを変えさせることができました。不可能なシーンを可能だと考えさせたり、その逆を行ったりすることが、ほぼ完璧な信頼性で可能でした。

結論

この論文は、ビデオ AI 内部の物理に関する「常識」が、神秘的で変更不可能なブラックボックスではないことを示しています。それは、読み取り可能で局所的、かつ操縦可能なシステムの一部です。ロボットの元の学習コードに触れることなく、適切なタイミングで内部の思考を優しく揺さぶるだけで、ロボットの物理法則への信念を「上げ」たり「下げ」たりすることが実際に可能です。

限界に関する注記: この論文は、ロボット内部の判断を「分析」し「操縦」することに完全に焦点を当てています。結論部分で、これが将来的に新しいビデオの生成に利用される可能性に言及していますが、現在の研究が証明しているのは、ロボットがビデオをどのように「考える」かを変えられるという点であり、すでに新しいビデオ映像の生成に成功したというわけではありません。

技術的概要：概念活性化ベクトルを用いたビデオ世界モデルにおける因果物理操作

問題定義

モデルベース強化学習や自動運転などのタスクのための物理的ダイナミクスの表現を学習するビデオ世界モデルは、現在、推論時にその物理的期待を制御するメカニズムを欠いている。最近の解釈可能性研究は、VideoMAE の中間トランスフォーマー層内に、他の視覚的特徴とは別に物理的妥当性が表現される「物理出現領域（PEZ）」を特定したが、この構造を直接操作してモデルの推論を変化させることができるかどうかは不明であった。既存の制御可能な生成手法（ControlNet など）は、訓練時の条件付けや勾配ベースの最適化および対教師データを必要とする事後アダプタに依存しており、物理的知識が内部でどこに、どのように表現されているか、そして再訓練なしに直接介入可能かという根本的な問いには答えていない。

手法

著者は、物理的推論を操作するために概念活性化ベクトル（CAV）を利用する、訓練不要の推論時介入手法である「物理操作（physics steering）」を提案する。

物理出現領域（PEZ）の特定:
先行研究に従い、著者は事前学習済み VideoMAE の各層において、物理的妥当性（可能 vs 不可能）を予測するための線形ロジスティック回帰プローブを訓練する。プローブの精度がピークに近づく層のクラスター（具体的には層 0–5、ピークは層 5）を PEZ として特定する。
CAV の抽出:
PEZ 内の各層について、訓練された線形プローブの重みベクトル（ $w_l$ ）を抽出し、物理 CAV（ $v_l$ ）を形成するために正規化する。このベクトルは、「物理的に不可能な」シナリオに関連する表現空間内の方向を定義する。訓練サンプル数が特徴次元より小さい場合に対処するため、著者は PCA と方向反転チェックを適用し、ベクトルが概念と正しく整合するようにする。
推論時介入:
推論中、本手法はターゲット層 $l^*$ におけるパッチトークンの隠れ状態を、CAV のスケーリング版を加えることで修正する：
$\tilde{H}_{l^*}(x)_i = H_{l^*}(x)_i + \alpha \cdot v_{l^*}$
ここで、 $\alpha$ は操作強度パラメータである。
- $\alpha > 0$ : 表現を「物理的に不可能」側にシフトさせる。
- $\alpha < 0$ : 表現を「物理的に可能」側にシフトさせる。
- $\alpha = 0$ : ベースライン（変化なし）。
介入はエンコーダの隠れ状態に適用される。VideoMAE はエンコーダであるため、本手法はピクセル空間のビデオフレームを直接生成するのではなく、下流の物理感受性予測を変更する。
評価指標:
操作の有効性は以下の指標で測定される：
- フリップ率（FR）: ベースラインに対して分類が変化したテストビデオの割合。
- スコアデルタ（ $\Delta P$ ）: 「不可能」である確率の平均変化量。
- 方向純度（DP）: 観測された表現シフトと意図された CAV 方向との間のコサイン類似度。
- 表現ドリフト（RD）: 表現空間におけるシフトの大きさ。

主要な貢献

CAV を用いた物理操作: 著者は、PEZ 層における線形プローブの重みが解釈可能な操作方向を提供することを示す。これらのベクトルを注入することで、モデルの物理的判断を双方向的に制御（ $P(\text{impossible})$ を 1.0 または 0.0 に駆動）でき、モデル重みの更新を必要としない。
層固有介入分析: 異なる層に同一のベクトルを注入することで、操作効果が厳密に PEZ およびそれ以前の層に局在化することを示す。層 6–11 での介入はフリップ率 0.00 をもたらすことから、関連する物理表現が PEZ 内で確立され、アクセス可能であることが確認される。
部分空間直交性: 本研究は、物理 CAV と運動方向部分空間との間の角度を測定し、直交性が**90.0°**であることを発見した。これは、物理と運動が分離され、干渉しない部分空間に符号化されているという仮説を支持する。
内在次元推定: 反復的な直交プローブ訓練を通じて、著者は PEZ における物理部分空間が約2–3 の方向によって支配されていることを発見した。この低次元性が、単一ベクトル操作アプローチが極めて効果的である理由を説明する。
原理固有操作: 直感的物理原理（物体永続性、連続性、剛性）ごとに個別に訓練された CAV は、ほぼ直交（例えば、連続性と剛性の間では 86.1°）であることが判明し、特定の物理原理を独立して操作できる可能性を示唆する。

結果

実験は、凍結された VideoMAE-base モデルを用いてIntPhys ベンチマーク上で実施された。

操作の有効性: 主要な PEZ 層（層 5）において、 $|\alpha| \ge 5$ での操作はモデルの判断を確実に飽和させる。正の操作は $P(\text{impossible})$ を 1.0 に駆動し、負の操作は 0.0 に駆動する。方向純度は注入層において1.00に達し、高度に構造化された介入を示している。
局在化: 効果は厳密に層依存である。PEZ で訓練された CAV を層 6–11 に注入しても、層 5 で測定される物理的判断に変化は生じず、物理表現が PEZ およびそれ以前の層に局在化していることが確認される。
幾何学: 物理 CAV は運動方向と直交（90.0°）であり、以前報告された（69–83°）よりも高い分離度を示す。これは、物理を操作することが本質的に運動表現を乱さないことを示唆する。
解離: 異なる物理原理（O1, O2, O3）は PEZ 空間内で異なる方向を占め、O2 と O3 はほぼ直交しており、原理固有の制御の可能性を可能にする。

意義と主張

本論文は、VideoMAE における物理的推論が（線形プローブを通じて）読み取り可能であるだけでなく、推論時に直接操作可能であると主張する。局所的な物理出現領域（PEZ）を特定し CAV を利用することで、著者は再訓練、微調整、またはアーキテクチャ変更なしにモデルの物理的期待を制御する手法を提供する。

その意義は以下の点にある：

因果的制御: 相関関係を超えて、特定の表現層への介入がモデルの物理的妥当性判断を因果的に変化させることを実証すること。
解釈可能性から行動へ: 知識の所在を特定する機械的解釈可能性と、その知識を用いて行動を制御する表現工学の間のギャップを埋めること。
安全性と評価: 新しいデータセット収集を必要とせずに物理的に不可能なシナリオを生成することで、世界モデルを体系的にストレステストする手段を提供し、AI 安全性評価に価値をもたらすこと。

著者は範囲を控えめに保ち、本手法がエンコーダの内部表現を制御する一方で、操作されたピクセル空間のビデオフレームを生成するにはデコーダとの結合が必要であり、これは将来の課題に留められていると述べている。また、DINOv2 や Stable Video Diffusion などの他のアーキテクチャにおける PEZ の存在は、依然としてオープンな実証的課題であると強調している。