Factorized Latent Dynamics for Video JEPA: An Empirical Study of Auxiliary Objectives

技術的概要：ビデオ JEPA のための因数分解潜在ダイナミクス

問題定義
結合埋め込み予測アーキテクチャ（JEPA）は、自己教師ありビデオ表現学習のための有望な枠組みとして登場しており、特に Video-JEPA（V-JEPA）は、画素を再構成するのではなく、マスクされた時空間領域の潜在埋め込みを予測する点で注目されています。しかし、小規模な V-JEPA 訓練における補助的目的関数の挙動は、未だ十分に特徴付けられていません。補助的信号が、微細な時間的ダイナミクス（アクション認識などのタスクに不可欠）と静的な外観表現（物体認識に不可欠）を同時に改善できるのか、あるいは一方の分野での性能向上が他方の分野での性能低下を招く容量トレードオフをもたらすのかを理解する上で、重要なギャップが存在します。

手法
著者は、単一データセット（UCF-101）と混合データセット（UCF-101 + Something-Something V2 + ImageNet-100）という 2 つの事前学習レジームにおいて、18 種類の補助的目的関数バリアントを評価する小規模な実証研究を実施しました。本研究は、3 つの相補的なベンチマークに対する固定エンコーダー評価プロトコルを採用しています。

• Diving-48: 微細な運動理解。
• Something-Something V2 (SSv2): 時間的推論。
• ImageNet-100: 外観認識。

18 種類のバリアントは 6 つのグループに分類されます。

1. 運動学的正則化: 時間的差分に対するペナルティ（L1、Huber、加速度、分割チャネル、アニーリング）。
2. 運動誘導マスキング: 高運動領域への偏ったサンプリング。
3. 崩壊防止正則化: SIGReg（ガウス分布に従う埋め込みを強制）。
4. 物理学的に着想を得たダイナミクス: ハミルトニアンおよび速度ゲート付き事前分布。
5. 潜在ダイナミクス予測: 時間的差分の予測（Delta-JEPA、LD-JEPA、Spectral-JEPA、LTC-JEPA）。
6. 因数分解潜在目的関数: 外観とダイナミクスの部分空間を構造的に分離。

主要な貢献：FWM-HW-LD
本論文は、FWM-HW-LD（Hard-Region-Weighted 潜在ダイナミクスを備えた因数分解ワールドモデル）を、新しい推論アーキテクチャではなく、標準的な V-JEPA スチューデントエンコーダーの訓練プロセスを修正する新しい訓練時目的関数として導入します。

• 潜在因数分解: エンコーダーの出力を 2 つの部分空間に分割します。$Z_{app}$（外観、時間的不変性が推奨される）と$Z_{dyn}$（ダイナミクス、時間的変動を捉える自由がある）です。
• 直交性と安定性: $Z_{app}$が時間的に安定し、かつ 2 つの部分空間が冗長な情報をエンコードしないことを保証するために、損失関数（$L_{static}$および$L_{orth}$）を適用します。
• ハード領域重み付け: 標準的な JEPA 予測誤差と潜在ダイナミクス誤差の両方を、予測誤差が最も高いトークンに向けて再重み付けし、モデルを困難な領域に集中させます。
• 潜在ダイナミクスヘッド: 専用のヘッドが、訓練中に$Z_{dyn}$部分空間のみを使用して時間的差分（$h(t+1) - h(t)$）を予測します。

結果

• 容量トレードオフ: 多くの補助的目的関数が顕著なトレードオフを示すことが判明しました。例えば、運動学的正則化バリアントは ImageNet-100（外観）を 1.5〜1.7 パーセントポイント（pp）改善しましたが、Diving-48（運動）を 2.5〜2.9 pp 低下させました。同様に、画素予測目的関数（AC-JEPA、FAC-JEPA）は ImageNet-100 で大幅な低下（-13〜-16 pp）をもたらしました。
• FWM-HW-LD の性能: 混合データセット設定において、FWM-HW-LD はテストされたバリアントの中で最もバランスの取れた結果を達成しました。ベースラインに対して ImageNet-100 を+5.92 pp、SSv2 を+3.21 pp 改善し、Diving-48 においては-0.30 pp 以内に留まりました。
• コンポーネントの相互作用: 除去実験により、FWM-HW-LD のコンポーネントは非加法的に相互作用することが明らかになりました。潜在ダイナミクス（LD）単独では SSv2 を向上させましたが（+5.02 pp）、他のベンチマークを損ないました。因数分解（FWM）単独では ImageNet を改善しましたが、SSv2 を損ないました。ハード重み付けを伴う完全な組み合わせのみが、バランスの取れた改善を達成するために必要でした。
• 合成運動と実運動: 運動学的正則化は、合成運動識別タスクでは強力な性能（+40〜45 pp）を示しましたが、現実世界の微細な運動ベンチマークには転用されず、学習された時間的構造のタイプにミスマッチがあることを示唆しています。

意義と主張
本論文は、潜在因数分解が Video-JEPA における補助的目的関数のトレードオフを研究するための有用な方向性であると、控えめに主張しています。著者は、その発見が小規模な単一シードの実証研究に基づいており、統計的に確立されたランキングではなく、予備的なシグナルとして捉えるべきであると強調しています。

主な知見は以下の通りです。

1. トレードオフの存在: 補助的目的関数は、共有された潜在空間内で運動識別能力と外観感受性能力との間の競争をしばしば強制します。
2. 構造的な分離: 潜在空間を外観とダイナミクスの部分空間に分離し、ハード領域重み付けと組み合わせることは、画素レベルの再構成を必要とせずにこれらのトレードオフを緩和する道筋を提供します。
3. 画素予測への注意: この特定の小規模設定において、画素レベルの RGB 差分を予測する目的関数（AC-JEPA）は、意味的認識タスクに有害でした。

著者は、FWM-HW-LD が有望であることを示しつつも、その証拠は予備的であると結論付けています。彼らは、因数分解された潜在ダイナミクスを解決された目的関数としてではなく、凍結されたビデオ表現内で外観情報と運動情報がどのように競合し、あるいは協調するかを調査するための制御されたメカニズムとして位置づけ、これらの知見を検証するための大規模なマルチシード複製の必要性を提案しています。