EPM-JEPA: Operator-Side Experience Modulation in JEPA-Family World Models

技術要約：EPM-JEPA – JEPA系ワールドモデルにおけるオペレーター側経験変調

問題提起
Joint-Embedding Predictive Architectures (JEPA) は、無関係な知覚的詳細のモデリングを避けるため、潜在空間内で将来の状態を予測する。しかし、標準的なJEPAの予測器は静的であり、テスト時のダイナミクスが学習分布から逸脱した場合（例：重力や摩擦の変化）、その重みは適応しない。既存のメモリ拡張モデル（例：外部メモリを持つTransformer）は、経験を追加の入力として注入すること（オペランド側）でこれに対処しているが、予測器の重み自体は変化させない。本論文では、オペレーター側変調（operator-side modulation）——蓄積された経験を用いて予測器の重みを直接修正すること——が、分布シフトへの適応において優れたメカニズムを提供するかどうかを調査する。

手法
著者らはEPM-JEPA (Experience-Modulated JEPA) を提案し、重力シフト（0.0 から 0.5 px/frame²）を伴う Moving MNIST タスクにおいて、2つのベースラインと比較した。すべてのモデルはエンコーダ、EMAターゲットエンコーダ、および予測器ベースを共有しており、経験の利用方法のみが異なる：

1. Track A (Vanilla JEPA): メモリメカニズムを持たないベースライン。
2. Track B (EI-JEPA): 圧縮された経験表現を予測器の隠れ状態に残差として加える、オペランド側の手法。
3. Track C (EPM-JEPA): 経験表現がLoRA (Low-Rank Adaptation) を介して低ランクの重み変化 ($\Delta W$) を生成する、オペレーター側の手法。これらのデルタは、直近の履歴に基づいて計算自体を変更するように、凍結された予測器の線形層に適用される。

メモリ・サブシステム
Track B と Track C は、共通のメモリ・パイプラインを利用する：

• 境界検出 (Boundary Detection): バッチ平均のサプライザル（驚愕度）を監視し、「境界イベント」（顕著な予測誤差）を特定する。
• 経験バッファ (Experience Buffer): 容量256のFIFOバッファが、境界イベント時における潜在的な遷移を保存する。
• エンコーディングと集約: Transformerエンコーダが保存されたペアを処理し、アテンションメカニズムがそれらを現在の潜在状態に条件付けられた単一のベクトル ($e_{agg}$) へと集約する。
• 変調 (Modulation): EPM-JEPAでは、$e_{agg}$ がLoRAモジュールを駆動して $\Delta W = U \cdot \text{diag}(\delta) \cdot V^\top$ を生成し、これが凍結された予測器の重みに加算される。

主要な結果
実験は、3つのアウトカムクラスを持つ事前登録された比較フレームワークを用いて実施された。主要な指標は、シフトした分布における平均正規化予測誤差 $D^{shift}_{n=50}$ である。

• 事前登録された比較 (Track C vs. Track B): パフォーマンスの差は $\delta = 4.74\%$ であった。論文の基準（$|\delta| < 5\%$）に従うと、これはOutcome C: 帰無結果 (null result) を構成する。EPM-JEPAは、主要な仮説検定において、オペランド側注入（EI-JEPA）を統計的に上回ることはなかった。
• 二次的な観察 (Track C vs. Track A): EPM-JEPAは、3つのシードすべてにおいて、メモリを持たないベースライン（Track A）に対して**1.90%**の予測誤差改善を示した。逆に、EI-JEPA（Track B）はベースラインを下回った。これは、単純な入力注入はこの設定においては効果的ではない一方で、重みレベルの変調は緩やかではあるが一貫した利益をもたらすことを示唆している。
• メカニズム分析: EPM-JEPAのパフォーマンス・トラジェクタリは、安定した平衡への収束ではなく、以下の3つの独立した動的プロセスによって支配されている：
  1. バッファ・サイクリング: 有限のバッファが飽和し循環することで、ピーク形成に影響を与える。
  2. EMAターゲットのドリフト: 低速に動くEMAターゲットエンコーダは、LoRAの重みが落ち着いた後も予測対象を変化させ続け、ピーク後のパフォーマンスの乖離を引き起こす。
  3. LoRAの沈降過渡現象 (LoRA Settling Transient): 減衰する学習率の下でLoRAの重みが落ち着く際、凍結のタイミングとは無関係に、誤差の $+0.021$ の上昇が生じる。

意義と主張
本論文は、その主要な科学的貢献は、オペレーター側仮説の反証（Outcome C）ではなく、システムのダイナミクスに関するメカニズム分析であると明示している。

• 帰無結果の科学的正当性: 著者らは、Outcome C が事前登録された基準の下で有効な科学的結果であることを強調しており、焦点は「比較に勝つこと」から「システムがなぜそのように振る舞うのかを理解すること」へと移行している。
• 動的な限界: 本研究は、パフォーマンスのピークが、バッファ・サイクリング、EMAドリフト、およびLoRAの沈降の相互作用によって引き起こされる過渡的な構成であり、安定した最適状態ではないことを明らかにしている。
• 構造的な緊張関係: 予測の最適性と表現の多様性の間にはトレードオフが存在する。最も優れた性能を示すLoRA構成は、出力多様性を減少させる（$\sigma_{embed}$ を安全閾値の0.5以下に低下させる）。一方で、多様性を回復するために正則化を強めると、予測性能が低下する。
• 今後の方向性: これらの知見は、ターゲット分布を制約し、特定された動的ピークの限界を緩和するために、物理学に基づいた潜在構造（明示的な運動学的状態）を導入する後継モデル PEM-JEPA の動機付けとなる。

著者らは、オペレーター側変調（LoRA経由）は入力注入とは異なる適応の経路を提供するものの、現在のアーキテクチャは、構造的な変更（単なる学習スケジュールの調整ではなく）を行わない限り解決できない、固有の動的過渡現象によって制限されていると結論付けている。