技術要約：動的な新規視点合成のためのオンライン・ニューラル空間時間メモリ

問題提起

マルチビューのストリーミングビデオからのオンライン新規視点合成（NVS）は、一時的に遮蔽された領域を再構成するための持続的かつ長期的なメモリの維持と、厳格なリアルタイム制約下での動作との間の根本的なトレードオフに直面している。既存の手法は、現在の正面からの視点しか見えていない場合に（例：人物の背中など）歴史的なコンテキストを保持することに苦慮しており、それが速度の低下を招いている。

標準的なテスト時学習（TTT）アプローチは、勾配ベースの更新によって表現力豊かなメモリを提供するが、リアルタイムのストリーミングには計算コストが高すぎる。これらは動的な動きに適応するために通常、フレームごとの勾配更新を必要とし、高いレイテンシ（例：256×256解像度でフレームあたり58ms）や、長いシーケンスにおける破滅的なドリフトによる不安定性を引き起こす。対照的に、フル自己注意（self-attention）を用いるフィードフォワードモデルは、シーケンス長に対して二次関数的にスケールするため、数分間に及ぶコンテキストには適していない。さらに、疎な遮蔽信号に対してメモリモジュールをナイーブに訓練すると、ネットワークがメモリをバイパスして現在の不完全な観測に依存してしまうという、制約不足の問題が生じやすい。

手法：ニューラル空間時間メモリ（NSTM）

著者らは、メモリ更新と視点合成の頻度を分離することで、償還（amortized）されたリアルタイム性能を実現しつつ、分単位のコンテキストを保持するフレームワークであるNSTMを提案する。

1. メモリ化と合成の分離

TTTの計算上のボトルネックを克服するため、NSTMは推論プロセスを、周波数が非対称な2つのステップに分離する：

• 周期的なメモリ化ステップ： 重い勾配ベースのメモリ更新を、周期的に（例：数フレームごと）のみ行う。これにより、各タイムステップでの更新に伴うレイテンシを回避し、新しい状態を高速な重みへと圧縮する。
• フレームごとの合成ステップ： すべてのタイムステップにおいて、モデルは持続的なメモリ状態に対して軽量なクエリを実行する。
• クロスビュー・アテンション： メモリ状態（周期的に更新される）と現在の観測（動的である）は本質的に不整合であるため、NSTMはクロスビュー・アテンションを採用する。このメカニズムにより、ターゲットの視点が現在の入力視点に直接アテンションを向けることが可能になり、進行中の動きと歴史的なメモリコンテキストを融合させ、時間的な変形を解決する。

2. 分離されたメモリ監督

ネットワークが現在の入力に過度に依存し、メモリモジュールをバイパスすることを防ぐため、著者らは補助的な**メモリ損失（Memory Loss）**を用いた交互の訓練レジームを導入している：

• メモリ監督（偶数タイムステップ）： モデルは、現在の入力視点にアテンションを向けることなく、孤立したメモリ・トークン（ターゲットのカメラ光線を表す）のみを使用してターゲットの視点を再構成することを強制される。この「ブラインドな検索」により、ネットワークはシーンのコンテキストを完全にメモリの重みの中に内面化することを強制される。
• 合成監督（奇数タイムステップ）： モデルは標準的なNVSモードで動作し、入力とターゲット間のクロスアテンションを許可して動きを捉える一方で、以前に更新されたメモリをクエリする。
  この交互の目的関数により、メモリモジュールは、現在のフレームにおける疎な遮蔽信号に頼るのではなく、シーンの幾何学構造を永続的に内面化することを学習する。

3. 安定化メカニズム

長いホライゾン（数分間）にわたって安定性を確保するために、NSTMは2つの重要な戦略を取り入れている：

• L2内部損失： 従来のTTT研究で使用されている無制限のドット積内部損失の代わりに、L2目的関数を採用している。これにより、繰り返される勾配ステップ中に高速な重みの大きさが膨張することを防ぎ、ドリフトの一般的な原因となる現象を抑制する。
• メモリ・キャッシング： RNN的なドリフトを軽減するため、モデルは履歴のメモリ・チェックポイントを集約する。現在のアクティブなメモリと、過去のメモリ状態（$K$ステップごと）の平均を保持する。決定的なのは、このキャッチング戦略が、クロスビュー・アテンションを使用して、平均化された履歴のポーズと現在の観測との間の空間的な変形を明示的に扱うからこそ有効であるという点である。

主な貢献

1. リアルタイム、ロングコンテキスト動的NVS： NSTMは、分単位の持続的なメモリを維持しながら、償還されたリアルタイム速度（合成30 FPS、メモリ更新1 FPS）で動作する、マルチビュービデオからのオンライン動的NVSのための初のフレームワークである。
2. 分離されたアーキテクチャ： 本論文は、周期的な重いメモリ更新と、継続的なトランスフォーマー駆動のフレームごとの合成を構造的に分離しており、自己注意の二次関数的なスケーリングと、標準的なTTTの毎フレームのコストを回避している。
3. 分離された監督： 交互の訓練レジームと補助的なメモリ損失の導入により、ネットワークにシーンのコンテキストを明示的に内面化させることを強制し、疎な遮蔽信号による制約不足の問題を克服した。
4. キャッシングとL2による安定化： メモリ・キャッシングとL2更新ルールの組み合わせにより、安定した分単位の視点合成を可能にし、従来のステートフルなベースラインで見られた性能崩壊を防いでいる。

実験結果

フレームワークは、複雑な人間の動きと衣服を特徴とする60,000のマルチビューシーケンスを含む**MVHumanNet++**データセットを用いて評価された。

• メモリ・ストレス・テスト： 強制的な遮蔽設定（$T=0$で被験者の背中を観察し、その後は正面からの視点のみを観察する）において、NSTMは遮蔽された詳細（例：ロゴ、ヘアスタイル）の高精度な想起を$T=60$まで維持した。
  • 定量的パフォーマンス： NSTMは$T=60$において20.71 dBのマスクPSNR（mPSNR）を達成し、ベースラインを大幅に上回った。
  • ベースライン比較：
    • LVSM (Stateless): 遮蔽された領域の再構成に失敗し、平坦だが低い性能（約19.34 dB）を維持した。
    • Token-Mem: コンテキストを急速に忘却し、約18.84 dBまで低下した。
    • LaCT-NVS (Stateful): 連続的な更新による深刻なドリフトに苦しみ、$T=4$から$T=60$にかけて5.47 dB低下した（25.85 dBから16.25 dBへ）。
• アブレーション研究：
  • ドット積損失をL2に置き換えることで、PSNRが+5.45 dB向上した。
  • 結合されたアーキテクチャ（LaCT-NVS）にメモリ・キャッシングを適用すると性能が低下したことは、クロスビュー・アテンションを伴う分離された訓練が効果的なキャッシングに不可欠であることを裏付けている。
  • 補助的なメモリ損失（$L_{mem}$）を除去すると性能が低下し、明示的な内面化の監督が必要であることが検証された。

意義と主張

本論文は、NSTMがメモリ保持の長期性とリアルタイム推論の間の衝突を解決することにより、オンライン動的NVSの新しいパラダイムを確立すると主張している。メモリ更新と適用における計算の非対称性を活用し、シーンのコンテキストを厳格に内面化させることで、この手法は、遮蔽された領域を分単位のシーケンスにわたって再構成するための最先端の性能を達成している。著者らは、これを、歴史的なコンテキストが動的な対象の未観測部分をレンダリングするために不可欠であるライブ自由視点放送や3Dテレプレゼンスのための基礎的なステップとして位置づけている。

著者らは、周期的な更新がステップ間のイベントを見逃す可能性があること、有限のメモリ容量が依然として制約であること、および圧縮されたメモリ内での複雑な長距離軌道の解決が今後の課題であることを挙げ、限界についても謙虚に認めている。