技術要約: LPA-CWM

問題提起

Counterfactual World Models (CWM) は、事実に基づいた予測と、局所的な介入（マスク）によって生成された予測を比較することで動きを抽出する。しかし、異なるターゲットフレームのマスクは、同じクエリに対して一貫性のない応答を示す。具体的には、あるマスクは動きを正確に局在化できる一方で、他のマスクは背景のコンテンツ、競合する動き、あるいは視覚的な曖昧さによって情報の欠損が生じる。既存の手法は通常、すべての候補応答を等しく信頼できるものとして扱う「一様集約（uniform aggregation）」を採用している。これは有用な証拠を希釈し、移動物体からのドリフト、競合する動きによる妨害、外観変化時の追跡喪失といった特徴的な失敗を招く。さらに、既存のベンチマークは、CWMの介入を通じて回復された点対応（point correspondence）の品質、特に軌跡の完全性と連続性を直接測定できていないことが多い。

手法

本論文では、マルチマスクCWMの推論を「候補の信頼性推定」問題として定式化するフレームワークである LPA-CWM を提案する。その中核となる革新は、視覚的コンテキストと応答構造に基づいて候補応答に動的な重み付けを行う、軽量な Learned Physical Adjudicator (LPA) である。

1. 候補生成

連続するフレーム $(I_t, I_{t+1})$ とクエリ点 $p_t$ が与えられると、凍結されたCWM（事前学習済みのRGB予測器 $\Psi_{RGB}$ と介入生成器 $\delta_\theta$ で構成される）が $M$ 個の動きの候補を生成する。各マスク $M_m$ に対して、システムは介入によって引き起こされる予測の変化を表す応答 $\Delta_m$ を計算する。各候補は、提案された終止点 $b^{(m)}_{t+1}$ （応答ピークの場所）を提供する。

2. 重み付け戦略

本論文では、これら $M$ 個の候補を集約するための2つの手法を比較している。

• APA-CWM (Analytic Physical Adjudicator): 正規化時空間勾配 (NSG) から重みを導出する、学習を必要としないベースラインである。凍結されたAblated Diffusion Model (ADM) スコアネットワークを用いて物理的一貫性スコア $P$ を計算し、スコア場と観測されたフレーム変化との整合性を測定する。重みは、各候補のピーク周辺のローカルなNSGスコアに基づいて割り当てられる。

• LPA-CWM (Learned Physical Adjudicator): 各候補について4つの情報源を分析することで、相対的な重みを予測する学習済みモジュールである。

  1. 局所的な視覚的証拠: ソース/ターゲットのRGB、絶対差分、および候補応答からなる32×32のクロップ。
  2. フルレスポンス: レスポンスマップ全体の形状と曖昧さ。
  3. フレームコンテキスト: フルフレームペアからの共有されたシーンレベルの情報。
  4. 候補統計量: 16個のスカラー記述子（変位、応答の集中度、曖昧さなど）。

  これらの特徴量はトークンへとエンコードされ、置換等変性（permutation equivariance）を保証するために位置エンコーディングを用いない Set Transformer によって処理され、正規化された重みが予測される。

3. 学習と教師あり学習

LPA（パラメータ数3.0M）は、MOVi-F データセットの稠密な軌跡（dense trajectories）のみを用いて学習される。教師信号は、グラウンドトゥルースの順方向の動きの場から導出される。

• ソフト信頼性ターゲット: 候補の終止点誤差は、温度スケールされたソフトマックスを用いてソフトな分布 $q$ に変換される。
• 損失関数: 学習目的関数は以下の3つの項を組み合わせる。
  1. KLダイバージェンス: 予測された重みをソフトな信頼性ターゲットに一致させる。
  2. SmoothL1: 重み付きの候補終止点がグラウンドトゥルースに近づくよう促す。
  3. クロスエントロピー: 誤差が最小の候補が最も高いスコアを得るように促す。

4. 推論パイプライン

1. 重み付き集約: LPAはCWMのフルレスポンスマップに重み付けを行い、重み付き局在化マップを生成する。
2. ウィンドウ化された局在化: 2段階のガウス窓処理により、遠方の二次ピークを抑制し、初期の終止推定値を精緻化する。
3. ペア再評価: 精緻化された終止点は、新しい一連のマスクを中心とする新しいCWM評価のために使用される。最終的な動きは、これらの新しい応答を一様に平均することで得られる。

主な貢献

1. 信頼性学習の定式化: マルチマスクCWMの集約を、一様平均を超えた「候補の信頼性推定」問題として再定義した。
2. LPA-CWMアーキテクチャ: 凍結されたCWMを修正することなく、相対的な信頼性を学習するために、合成された稠密な軌跡で学習された軽量な物理的監督付き判定器を導入した。
3. CMCベンチマーク: 完全性を考慮した動きの対応 (Completeness-aware Motion Correspondence: CMC) を提案した。これは、局在化、軌跡の完全性、可視性、および時間的連続性を共同で測定する、グラウンドトゥルースに固定された評価プロトコルである。標準的な指標とは異なり、CMCは可視な点における予測の欠落を失敗としてカウントする。
4. 解析的ベースライン (APA-CWM): 解析的な重み付けの基準を確立するために、NSG由来の一貫性キューを用いた学習不要のリファレンス手法を提示した。

実験結果

手法は、TAP-Vidのアノテーションを用いて、外部ベースライン（SMURF, GMRW, DODUO, CoTracker3, RAFT, SEA-RAFT）およびCWMのバリアントと比較しながら、DAVIS および Kinetics のサブセットで評価された。

• CMCパフォーマンス: LPA-CWMは、Uniform CWMおよびAPA-CWMを大幅に上回る。
  • DAVIS において、Uniform CWMに対し DCA$_{avg}$ (Dynamic Correspondence Accuracy) を 60.0% 向上させた。
  • Kinetics において、Uniform CWMに対し DCA$_{avg}$ を 29.0% 向上させた。
  • LPA-CWMは、Kineticsにおける報告されたすべてのCMC指標において最高の値を達成し、DAVISにおけるカバレッジ、完全性、および連続性においてもリードしている。
• TAP-Vidでの優位性: CWMファミリー内において、LPA-CWMは両データセットの報告された5つの指標（平均Jaccard、閾値内の点、平均/中央距離、遮蔽精度）すべてで最高の成果を上げ、一貫してUniform CWMおよびAPA-CWMを凌駕している。
• 定性的分析: 視覚的な比較により、LPA-CWMは大きな動きや外観の変化に対しても安定したコヒーレントな軌跡を生成するのに対し、Uniform CWMはしばしばドリフトしたり追跡を見失ったりすることが示されている。

意義と限界

本論文は、稠密な軌跡の教師あり学習から「相対的な信頼性」を学習することで、凍結されたワールドモデルが、解析的または一様な集約方法よりもコヒーレントで完全な動きの軌跡を回復できることを、LPA-CWMが示していると主張している。CMCの導入は、標準的なトラッキング指標が軌跡の欠落を隠してしまう可能性がある一方で、CMCは不完全性を明示的に罰することを強調している。

著者らは3つの限界を認めている：

1. 候補への依存性: LPAは既存の候補を再重み付けすることしかできず、初期の候補セットが欠落している、あるいは一貫して誤っている場合には動きを回復できない。
2. 合成学習: LPAは合成データであるMOVi-Fで学習されており、DAVISやKineticsには汎化しているものの、実世界のエンボディドデータに対するさらなる検証が必要である。
3. 計算コスト: マルチマスク推論とペア再評価により、クエリごとの計算量が増加しており、将来の研究では、より効率的な候補選択や計算の共有が必要であることが示唆されている。