技術要約：脳に触発された確率的結合埋め込み表現学習 (PhiNet v2)

問題提起

自己教師あり学習（SSL）は、SimCLR、MoCo、DINO、Masked Autoencoders (MAE) といったフレームワークを通じてコンピュータビジョンに革命をもたらしました。しかし、これらのアプローチは、大量のデータ拡張に依存することなく、連続的な視覚情報のストリームから堅牢な表現を学習する人間の脳の能力、すなわち生物学的な視覚処理システムからの知見を大きく見落としています。

既存の脳に触発されたモデル（例えば、オリジナルのPhiNet v1）は、時間的予測仮説（Temporal Prediction Hypothesis）と相補的学習システム（CLS）理論を組み合わせることで進展を見せました。しかし、PhiNet v1には主に3つの制限事項があります：

1. 逐次処理： 連続的な視覚入力（ビデオ）をネイティブに処理する機能がなく、静止画に対するデータ拡張を用いて時間的な差異をシミュレートしています。
2. アーキテクチャ： ResNetバックボーンに依存していますが、現代の神経科学は、Transformerの方が海馬モデルにより類似していることを示唆しています。
3. 拡張への依存： 多くのSSL手法と同様に、強力なデータ拡張に依存しており、これが、効果的な拡張を定義することが困難な逐次的入力から学習する場合の汎用性を制限しています。

本論文は、Transformerアーキテクチャと変分推論を活用することで、脳に触発されたメカニズムと確率的学習を橋渡しし、強力なデータ拡張なしで連続的な入力（ビデオ）から堅牢な視覚表現を学習できるモデルの必要性に対処しています。

手法：PhiNet v2

PhiNet v2は、内嗅皮質（EC）、海馬（CA3およびCA1）、および新皮質の生物学的回路との整合性を図りながら、画像のシーケンス（ビデオ）から学習するように設計されたTransformerベースのアーキテクチャです。

1. 生物学的解釈とアーキテクチャ

本モデルは、その構成要素を特定の脳領域にマッピングしています：

• 内嗅皮質 (EC) / エンコーダ $f$： 感覚入力（ビデオフレーム $x_t$）を低次元の表現（$Z_t$）へとエンコードします。PhiNet v2は、エンコーダとしてVision Transformer (ViT) を利用します。
• CA3領域 / 予測器 $h$： 時間的予測仮説に基づき、このモジュールは将来の神経活動を予測します。現在のフレーム（$Z_t$）から、将来のフレームの表現（$\hat{Z}_{t+k}$）を予測します。
• CA1領域 / 予測器 $g$ および損失関数：
  • Sim-1 (予測誤差)： CA1は、予測された信号 $\hat{Z}_{t+k}$ と、実際の将来の信号（ノイズ $\epsilon$ で処理されたもの）を比較します。この不一致は、事前分布と近似事後分布の間の確率的なダイバージェンス（KLダイバージェンス）としてモデル化され、急速な可塑性を駆動します。
  • Sim-2 (緩やかな学習)： CA1は新皮質への信号を出力します。第2の予測器 $g$ は、予測と潜在的な乱数 $r$ に基づいてターゲット表現 $Y_{t+k}$ を生成します。
• 新皮質 / スローエンコーダ $f_{long}$： 緩やかに学習する新皮質システムを模倣します。そのパラメータは、メインエンコーダのパラメータの指数移動平均（EMA）を介して更新され、長期的な一貫性を確保し、表現の崩壊を防ぎます。

2. 確率的導出

学習目的は変分推論から導出されています。著者らは、エンコードされたビデオフレームの尤度を最大化することを目指しています。連鎖律を適用し、確率性を捉えるために潜在変数 $r$ を持つ一様混合モデルを導入することで、証拠下界（ELBO）を導出しています。

• Sim-1 損失は、近似事後分布 $q(r|\hat{Z}_{t+k}, Z^{(\epsilon)}_{t+k})$ と事前分布 $p(r|\hat{Z}_{t+k})$ の間のKLダイバージェンスに対応します。
• Sim-2 損失は、予測された表現 $Y_{t+k}$ とターゲット表現 $f_{long}(x_{t+k})$ の間の再構成誤差に対応します。
• 全体の目的関数は、双方向の時間的一貫性を促進するために、時系列順および逆時系列順の損失の対称的な和となっています。

3. 学習のダイナミクスと安定化

表現の崩壊を防ぎ、強力なデータ拡張なしで安定した学習を実現するために、PhiNet v2は以下の特定のメカニズムを採用しています：

• ストップグラディエント (SG)： 事前分布のパス（SG-prior）およびスローエンコーダ（SG-2）に対して直接的な勾配を停止させ、高速な経路による誤差駆動型の更新を通じてモデルが学習することを強制します。
• KLバランシング： KLダイバージェンスの計算において、事前分布と事後分布の項にバイアスを適用します。
• EMA： スローエンコーダ $f_{long}$ はEMAを介して更新され、メインエンコーダの学習ダイナミクスから切り離されます。
• ノイズ注入： ショートカット学習（例：ピクセルのコピー）を防ぐために、将来のフレームにガウスノイズ $\epsilon$ が加えられます。ただし、モデルはピクセルの再構成ではなく、表現の学習を行います。

主な貢献

1. PhiNet v2 アーキテクチャ： 連続的な視覚入力を処理できる、Transformerアーキテクチャに基づいた初の脳に触発されたビジョン表現学習モデル。
2. 拡張フリーの学習： 既存の基盤モデル（MAEやDINOなど）に求められる強力なデータ拡張やマスキングに頼ることなく、シーケンシャルな入力から堅牢な表現を学習します。
3. 変分定式化： 脳に触発されたモデリング（時間的予測とCLS）と変分推論を橋渡しする形式的な確率的導出を行い、原理的な数学的基礎を提供しました。
4. パフォーマンス： シンプルなアーキテクチャ（補助的なMAEモジュールなし）を維持しながら、強力な事前学習手法（DINO、SiamMAE、CropMAE、RSP）に対して競争力のある、あるいは優れた性能を達成しています。

実験結果

著者らはKinetics-400データセットでPhiNet v2を事前学習し、ダウンストリームのビデオラベル伝播タスク（DAVIS、VIP、JHMDB）で評価を行いました。

• ベンチマーク性能： PhiNet v2は、テストされたすべてのデータセットにおいてRSP、CropMAE、およびJEPA風のベースラインを上回りました。
  • DAVIS（ビデオセグメンテーション）において、PhiNet v2はRSPの58.4、CropMAEの57.0に対し、60.1のJ&Fmスコアを達成しました。
  • VIP（パーツセグメンテーション）およびJHMDB（ポーズトラッキング）においても、PhiNet v2は最高スコア（それぞれ33.1 mIoUおよび73.6 PCK@0.2）を記録しました。
• ノイズへの堅牢性： 入力フレームにガウスノイズを加える実験において、PhiNet v2はRSPよりも高い堅牢性を示しました。これは特にDAVISデータセットにおいて顕著であり、表現空間での学習がピクセル再構成手法よりもピクセルレベルのノイズに対して敏感ではないという仮説を裏付けています。
• アブレーション研究：
  • EMA： EMAを除去すると、表現の崩壊と性能低下を招きました（26.8 vs 60.1）。
  • 対称損失： 対称的な損失を使用することで、性能が0.4〜0.9ポイント向上しました。
  • 予測器 $h$： 崩壊を回避するためには、予測器 $h$ (CA3) の包含が極めて重要です。
  • バッチサイズ： モデルは様々なバッチサイズ（192から1536）にわたって安定しており、限られたハードウェア（V100 GPUなど）での学習を可能にしています。
  • アーキテクチャ： 単にPhiNet v1のResNetをTransformerに置き換えただけでは、性能が低くなります（22.2）。これは、特定のPhiNet v2の設計の必要性を強調しています。

意義と主張

本論文は、PhiNet v2をより生物学的に妥当なコンピュータビジョンシステムへの一歩として位置づけています。その意義は以下の点にあります：

• 生物学的妥当性： 時間的予測仮説とCLS理論を、現代的なTransformerベースのフレームワークへと統合することに成功し、PhiNet v1の静止画処理を超越しました。
• 効率性と簡潔性： パフォーマンスを向上させるために補助的なMAEモジュールを必要とするRSPとは異なり、PhiNet v2は表現の整合性のみを通じて優れた結果を達成しており、複雑な補助コンポーネントや広範なハイパーパラメータ調整を排除しています。
• スケーラビリティ： 現在の実験は公平な比較のために小規模で行われていますが、著者らはこのアーキテクチャが本質的にJEPAやDINOのフレームワークに関連していると述べており、V-JEPAやDINOv3のような大規模モデルと競合できる、より大きな設定へのスケールアップの可能性を示唆しています。

本研究は、神経科学に触発されたメカニズムと確率的学習の目的を組み合わせることで、現在のSSLパラダイムに典型的な重いデータ拡張に依存することなく、堅牢で最先端のビデオ表現を得られることを実証しています。