Video Reconstruction using Diffusion-based Image-to-Video Generation with Trajectory Guidance

技術概要：軌道ガイダンスを用いた拡散ベースの画像から動画への生成による動画再構成

問題定義
本論文は、海洋機動を行う自律水上車両（ASV）のトップダウン型ドローン映像において、欠落または欠落したフレームを再構成する課題に取り組む。具体的な文脈は、対象物（小型船舶）が視野に対して小さい、テクスチャの乏しい広大な水域環境である。このようなシナリオでは、視覚信号のみでは正確な対象物の運動を決定することがしばしば不十分であり、予測可能な滑らかな運動や純粋なデータ駆動型の事前知識に依存する従来の補間手法の失敗につながる。さらに、標準的な深層学習アプローチは、スパースな観測を条件とした場合、ぼやけた出力を生み出したり、妥当なテクスチャを合成できたりしないことが多い。核心的な難しさは、ドメイン固有のモデル微調整を必要とせず、スパースで非視覚的なテレメトリデータ（GPS ログ）と、時間的に整合性が高く高忠実度の動画シーケンスの生成との間のギャップを埋めることにある。

手法
著者らは、事前学習済みの画像から動画への拡散モデル、具体的には SG-I2V（Stable Video Diffusion に基づく）を用いて、生 GPS テレメトリと単一の参照動画フレームを軌道ガイダンス付きの動画シーケンスに変換するパイプラインを提案する。このパイプラインは、以下の 4 つの明確な段階で動作する：

1. 入力構築とバウンディングボックスの初期化：
   参照フレームが与えられた場合、ユーザーは手動で船舶のバウンディングボックスを初期化する。自動検出（例：YOLO）も可能であるが、著者らは、近接シナリオにおける再識別エラーを回避し、特定の船舶への GPS 軌道の信頼性の高い一貫した割り当てを確保するために、手動初期化を選択する。さらに、グローバルなカメラ運動を符号化するために 4 つの隅のバウンディングボックスが配置される（この特定の実験ではドローンが静止していたため、一定に保持される）。

2. GPS からピクセルへの投影：
   地理座標を画像空間の運動手がかりに変換するカスタムマッピング関数が用いられる。このプロセスには以下が含まれる：

   • 地理座標からメートル単位への変換：等円筒図法近似を用いて、GPS 測位（経度、緯度）を局所的な東・北方向のメートル単位オフセットに変換する。
   • 回転：推定されたカメラのヨー（船舶の対地航路および視覚的検査から導出）を用いて、メートル単位フレームを画像軸に合わせる。
   • スケール推定：GPS から導出された船舶間のメートル単位距離と、参照フレームにおけるピクセル距離を比較することで、ピクセル毎メートルのスケール（$s$）を計算する。
   • フレーム毎の投影：GPS ログを動画のタイムスタンプに補間し、ピクセル空間に投影して、各船舶の軌道配列（$T_i$）を生成する。

3. 軌道条件付き生成：
   参照画像と各対象物の軌道配列からなる構築されたペイロードが、SG-I2V モデルに入力される。モデルは、視覚内容と埋め込まれた軌道ガイダンスの両方を条件として、以降の 14 フレームを生成する。注目すべきは、著者らが事前学習済みモデルに対してドメイン固有の微調整を一切行わず、代わりに視覚品質と時間的整合性を最適化するためのハイパーパラメータ（潜在空間最適化反復回数、ヒートマップの広がり、FFT 周波数ブレンド）の体系的なアブレーション研究に依存している点である。

4. 評価ベンチマーク：
   提案手法は以下の手法に対してベンチマーク評価が行われる：

   • オプティカルフロー外挿：Farneback オプティカルフローを用いて参照フレームを前方にワープさせる。
   • RIFE（リアルタイム中間フロー推定）：時間的両端を条件とする深層学習補間手法（これは真の欠落フレームシナリオでは利用できない利点である）。

主要な貢献
本論文は、以下の 3 つの主要な貢献を概説する：

1. GPS から画像への投影方式：スパースな追跡データを、市販の生成モデルが直接消費できる空間運動手がかりに変換する手法。
2. ゼロ微調整パイプライン：海洋データで基盤となる拡散モデルを再学習させることなく、物理的に妥当な合成を達成する完全な再構成ワークフロー。
3. 体系的なベンチマーク：特に小さな対象物という困難な条件下で、従来の補間および外挿手法に対する生成軌道ガイダンス合成の利点を示す、実海洋映像を用いた定量的評価。

結果
評価は、知覚的（LPIPS）、時間的（滑らかさ）、参照なし品質（BRISQUE）、および軌道精度の各指標を用いて、真値と比較して行われる：

• 知覚的品質：SG-I2V は合成手法の中で最も自然な外観のフレームを生成し、真値スコア 23.64 に最も近い BRISQUE スコア 25.52 を達成した。対照的に、RIFE は 42.46 を記録し、過度に平滑化された出力を示した。
• 時間的一貫性：SG-I2V は 1.14 ピクセル/フレーム の時間的滑らかさを達成し、真値の 1.42 に近い値を示した。オプティカルフロー（0.39）および RIFE（0.59）は運動の大きさを過小評価していた。
• 軌道追従性：SG-I2V は 9.31 ピクセル の誤差で GPS 軌道への最も強い追従性を示した。これは、映像とログの間の近似手動時間同期に起因する真値動画自身のアライメント誤差 28.70 ピクセルよりも著しく低く、モデルが GPS 由来の運動手がかりを正常に組み込んだことを示している。
• LPIPS：オプティカルフローは最低の LPIPS（0.110）を達成したが、著者らはこれは真の知覚的品質生成ではなく、ワープによる元の画像統計の保持を反映していると指摘している。

意義と主張
本論文は、視覚信号が曖昧な低テクスチャ・小対象条件において、軌道ガイダンス付き拡散合成が海洋動画再構成の実行可能なアプローチであると主張する。その意義は、高価なドメイン固有のモデル再学習を必要とせず、補助センサーデータ（GPS）を用いて動画合成を物理的に妥当な結果へと誘導できる点にある。

著者らは控えめに限界を認め、評価が 2 秒間の単一クリップに限定されているため、定量的知見の一般化性が制限されると指摘している。彼らはすべての動画再構成タスクに対する普遍的優位性を主張するものではなく、対象物の運動がテレメトリを通じて既知だが視覚的に追跡が困難なシナリオにおける、彼らのアプローチの特定の有効性を強調している。今後の研究として、パイプラインをより長いシーケンスに拡張し、同期とバウンディングボックスの初期化を自動化し、変位の大きさをより正確に符号化するために対地速度（SOG）データを取り入れることが提案されている。