技術的サマリー：行動幾何学的監督が動画基盤モデルを人間の社会的知覚と整合させる

1. 問題提起

現在の動画基盤モデルは、V-JEPA 2 などの最先端の自己教師ありアーキテクチャであっても、動的な場面で人間が社会的情報をどのように組織化するかを捉えられていない。これらのモデルは動作分類（例：「ダンス」と「料理」の区別）においては優れているが、言語モデルと比較して人間の社会的類似性判断を体系的に説明しきれていない。具体的には、キャプションに基づく文埋め込み（例：MPNet）は、社会的な動画クリップに対する人間の類似性判断の予測において、事前学習済みの動画エンコーダを一貫して上回る。これは「表現のギャップ」を示唆しており、動画の事前学習目的は、人間の社会的知覚に内在する関係的および情動的構造を見落としている。さらに、既存の整合手法は高価な fMRI データ（「脳チューニング」）に依存するか、静的画像に焦点を当てているため、スケーラブルな行動監督が動画モデルに人間のような社会的視覚構造を誘発しうるかどうかは未解決の問いとなっている。

2. 手法

2.1 データセット構築

著者は、動的な社会的動画に対する大規模な人間類似性ベンチマークを構築した：

• 刺激： Moments in Time データセットから抽出された、250 の自然主義的な 3 秒間の 2 人社会相互作用クリップ。
• タスク： 3 つの動画の中から「外れ値」を特定するトリプレット・オッド・ワン・アウト（OOO）パラダイム。これにより、残りのペアがより類似していると暗黙的に定義される。
• 規模： 245 人の参加者から収集された 49,484 の判断。
• 構造： 貪欲なセットカバリングアルゴリズムにより、すべての動画ペアが少なくとも 1 つのトリプレットに現れるように保証された。データは 200 のトレーニング動画と 50 のテスト動画（刺激非重複）に分割された。
• グランドトゥルース： 人間の類似性は、ペアごとの類似性判断の頻度に基づいた表現類似性行列（RSM）として表現される。

2.2 行動幾何学的監督（BGS）

中核的な貢献は、動画モデルの埋め込み幾何学を人間の類似性判断と整合させるために設計されたハイブリッド学習目的である**行動幾何学的監督（BGS）**である。

• アーキテクチャ： 4 つの異質な Vision Transformer（ViT）バックボーン（V-JEPA 2、V-JEPA 2.1、TimeSformer、VideoMAE、CLIP）に対して、低ランク適応（LoRA）を適用して適用された。これにより、パラメータの 2% 未満しか更新されない。
• ハイブリッド損失関数（$L_{hybrid}$）： 局所的および大域的な制約を組み合わせる：
  1. トリプレット損失（$L_{triplet}$）： アンカーと正のペアとの距離が、負（オッド・ワン・アウト）のペアとの距離より、マージン $\gamma$ だけ小さくなるように局所的制約を強制する。
  2. RSA 損失（$L_{RSA}$）： 表現類似性分析（RSA）を用いて、モデルのペアごとの距離行列を人間の RSM と整合させることで、大域的幾何学を強制する。この項はメモリ管理のため、エポックあたり 6 回、動画のサブセットに対して適用される。
• トレーニングスケジュール： モデルは 50 エポック微調整される。RSA 損失の重み（$\beta$）は 0.3 から 0.7 まで線形に増加し、初期には局所的なトリプレットの正しさを優先し、後には大域的構造を優先する。

2.3 対照実験とベースライン

改善のメカニズムを特定するために、著者は BGS を以下のものと比較した：

• 事前学習済みベースライン： 12 の動画エンコーダ、2 つの画像エンコーダ、2 つの VLM、および 22 の文埋め込み言語モデル（動画キャプションを使用）。
• アブレーション： トリプレットのみ損失、RSA のみ損失、および予算一致型トリプレット変種。
• 言語蒸留対照： 同じハイブリッド損失でトレーニングされたが、人間の行動判断の代わりに MPNet キャプション埋め込みを監督ターゲットとして使用したモデル。

2.4 評価指標

• 主要指標： モデル RSM と人間 RSM の間のスピアマン相関の二乗（$R^2$）（スプリットハル可靠性天井 $R^2 = 0.213$）。
• 副指標：
  • 分散分割： 説明された分散を、固有の動画、固有の言語、および共有コンポーネントに分解する。
  • 線形プローブ： 明示的な監督なしで、現れた社会的・情動的属性（快不快、覚醒、支配性、親密さ、コミュニケーション）を検出する。
  • OOD 一般化： 抽象的な幾何学的社会相互作用である PHASE データセットへのゼロショット転送。
  • 動作認識： UCF101 におけるパフォーマンスの維持。
  • 注意分析： 焦点のシフトを観察するための空間的注意のロールアウト。

3. 主要な結果

3.1 パフォーマンスギャップの解消

• 事前学習の欠如： 事前学習済みの動画モデルは、最良の文エンコーダ（MPNet、$R^2 = 0.134$）のパフォーマンスに匹敵するものはなかった。最良の事前学習済み動画モデル（X3D-M）は $R^2 = 0.124$ にとどまった。
• BGS の成功： BGS による微調整はパフォーマンスを著しく向上させた。最良のモデルである V-JEPA 2.1（蒸留済み）は $R^2 = 0.165$（ノイズ天井の 78%）に達し、V-JEPA 2（大規模）は $R^2 = 0.172$ に達した。両者とも MPNet ベースラインを上回った。
• ハイブリッド目的の必要性： ハイブリッド損失は、トリプレットのみ（$R^2 = 0.158$）および RSA のみ（$R^2 = 0.131$）の変種を上回った。重要なのは、言語蒸留対照がこれらの利益を再現できなかった（$R^2 = 0.123$）ことであり、単純なキャプション転移がメカニズムではないことを排除した。

3.2 現れた社会的・情動的構造

• 固有分散： 分散分割により、微調整されたモデルは、キャプションベースの埋め込みでは捉えられなかった人間の判断における固有分散を捉えていることが明らかになった（固有の動画分散の $R^2$ は 0.02 から 0.04 に倍増）。
• 教師なし属性： 属性ラベルでトレーニングされたことはなかったにもかかわらず、BGS 整合モデルは快不快、覚醒、支配性の線形に復号可能な表現を発達させた。言語蒸留対照は、5 つの次元のうち 4 つでこれらの属性を回復できなかった。

3.3 一般化と維持

• ゼロショット転送： BGS 整合モデルは、抽象的な社会相互作用である PHASE データセットで 81% の精度を達成し、人間の合意レベルに一致し、事前学習済みベースライン（55%）を大幅に上回った。これは分布外（OOD）刺激への一般化を示している。
• 動作認識： 微調整は UCF101 における動作認識パフォーマンスを維持し（V-JEPA 2.1 ではわずかに向上）、事前学習能力の破滅的忘却がないことを示している。

3.4 機械的シフト

• 注意の再編成： 注意ロールアウト分析は、空間的焦点の体系的なシフトを示した。事前学習済みモデルは単一の焦点領域（例：胴体）に集中していたが、微調整済みモデルは顔、視線方向、相互作用する手、両方のエージェントといった社会的に情報豊富な領域に注意を再分配した。このシフトは、トレーニング中に空間的監督が行われなかったにもかかわらず発生した。

4. 意義と主張

本論文は、動画モデルにおける社会的知覚は潜在的性質であり、軽量な行動監督を通じてアクセス可能になると主張している。主な貢献は以下の通りである：

1. 表現ギャップの証明： 現在の動画事前学習は社会的視覚構造を見落としており、特定の行動整合が適用されるまで、言語モデルの方がこれをよりよく捉えていることを示した。
2. BGS によるスケーラブルな整合： 行動幾何学的監督は、コンパクトな信号（LoRA、パラメータの 2% 未満）と行動データを用いて、fMRI ベースの「脳チューニング」のインフラコストなしに、多様な動画バックボーンに人間のような社会的類似性構造を成功裡に誘発する。
3. 言語蒸留を超えて： 利益は単にキャプションから学習した結果ではない。BGS は、言語埋め込みが見落としている固有の視覚的・社会的構造（例：視線、相互作用のダイナミクス）を捉え、明示的なラベル付けなしに解釈可能な社会的・情動的次元を回復する。
4. ロバスト性： この手法は、抽象的な分布外の社会相互作用に一般化し、標準的な動作認識能力を維持する。

著者は結論として、関係的行動データは独自の整合形式を提供し、埋め込みの幾何学的構造を人間の類似性判断と一致させることで、動画モデルを人間のような社会的視覚理解へと導くと述べている。