技術的概要：単一画像のモーションブラーからのロバストな基本行列推定

問題定義

本論文は、コンピュータビジョンにおける新規かつ挑戦的なタスク、すなわち単一のモーションブラー画像から基本行列（相対的な 3 次元カメラ運動を符号化するもの）を推定する課題に取り組む。

標準的なコンピュータビジョンにおいて、基本行列は 2 つの異なる視点間の対応関係から導出される。しかし、単一のモーションブラーフレームにおいては、その「2 つの視点」は実質的にカメラの露出ウィンドウの開始点と終了点に相当する。主な課題は時間的順序の曖昧性である：モーションブラーのシミは 2 点間の経路を表すが、画像のみではどちらの点が開始でどちらが終了かを区別できない。したがって、対応関係 $(p, p')$ は $(p', p)$ と曖昧である。この曖昧性により、時間的順序が既知であることを前提とする 8 点法やゴールドスタンダード法などの古典的な推定手法は適用不可能となる。さらに、既存のモーションブラーに関する研究は、主に画像のデブラーリングやオプティカルフロー推定に焦点を当てており、しばしばブラーを幾何学的制約の源というよりも、むしろノイズとして扱っている。

手法

提案されるフレームワークは、シミ経路推定と基本行列推定の 2 つの段階で動作する。

1. シミ経路推定

第一段階では、U-Net アーキテクチャに基づくニューラルネットワークが、ピクセルごとのシミベクトルとその関連する不確実性を予測する。

• データ生成: 合成モーションブラー画像は、Ground Truth のオプティカルフロー（Monkaa および Driving データセットから取得）を用いて 2 つの鮮明なフレーム間で補間された中間フレームを平均化することで生成される。GoPro データセットから半実データセットが作成され、RBI から疑似 Ground Truth を用いて実世界データセットが派生する。
• シミ表現: 方向の曖昧性（ベクトル $(u, v)$ が $(-u, -v)$ と区別できない場合）を解決するため、著者は二重角度表現を採用する。ベクトル角度 $\phi$ を $2\phi$ にマッピングすることで、2 つの同等なケースを一意のベクトル $(u', v')$ に変換する。
• 不確実性と相互チェック: ネットワークはシミベクトルに加えて分散マップ $\sigma$ を出力する。オクルージョンやフレーム外へ移動する物体などによって生じる信頼性の低いシミパターンと信頼性の高いものを区別するため、開始フレームと終了フレーム間の前後方向のフロー一貫性を用いて相互チェックマップ ($m_{cr}$) が生成される。
• 損失関数: 信頼性の高いピクセル上の二重角度ベクトルを監督し（ガウス負対数尤度を使用）、相互チェックマップによって特定された信頼性の低いピクセル上の分散（不確実性）にペナルティを与える、カスタム損失関数が設計されている。これにより、ネットワークは曖昧な領域やオクルージョン領域に対して高い不確実性を割り当てるように促される。

2. ロバストな基本行列推定

第二段階では、予測されたシミの終点から基本行列 $F$ を推定する。

• 曖昧性の処理: 時間的順序が不明であるため、シミの終点ペア $(\bar{p} - \bar{s}, \bar{p} + \bar{s})$ は、元の順序または転置された順序のいずれかに対してエピポーラ制約 $x^T F y = 0$ を満たさなければならない。著者はこれを制約付き最適化問題として定式化し、$F$ あるいは $F^T$ に対して誤差を最小化することを目的とする：
  $$F^* = \arg \min_F \| \min(|M_{vec}(F)|, |M_{vec}(F^T)|) \|^2$$
  ただし、$\det(F)=0$ かつ $\|F\|=1$ である。
• ロバストなサンプリング: 外れ値や局所的な運動に対処するため、Preemptive RANSACが使用される。重要なのは、サンプリングプロセスが第一段階からの不確実性推定によって誘導される点である。すなわち、不確実性が低く（信頼性が高い）シミベクトルのみが考慮される。
• 対称誤差メトリック: 方向の曖昧性により、標準的な Sampson 誤差を直接使用することはできない。著者は、仮説 $F$ とその転置 $F^T$ の間の最小誤差を採用する対称化された Sampson 誤差 ($SErrMin$) を導入する。このメトリックにより、真の時間的順序を知らなくても、ロバストなコンセンサス集合の定義が可能となる。

主要な貢献

1. 新規タスクの定式化: 本論文は、単一のモーションブラー画像からの基本行列推定というタスクを導入し、シミごとの時間的順序の曖昧性という固有の課題に取り組む。
2. ロバストな推定フレームワーク: シミ抽出のための深層学習と、時間方向の曖昧性（$F$ または $F^T$ を許容する）を明示的に考慮する幾何ソルバーを組み合わせた 2 段階パイプラインを提案する。
3. 不確実性を考慮した学習: 不確実性を予測することを学習する損失関数を提案し、ロバストな推定段階において（オクルージョンなどによる）信頼性の低いシミ予測の重みを下げることを可能にする。
4. 表現と注釈: 二重角度表現がシミ経路の学習に有利であることが示され、トレーニング用の精密な注釈を生成するための相互チェックマップを用いた手順が提示される。

実験結果

本手法は、合成（Monkaa, Driving）、半実（GoPro）、実世界（RBI）のデータセットで評価された。

• シミ推定: 提案された二重角度表現と相互チェックマップの組み合わせは、すべてのデータセットで最低の終点誤差（EPE-S）を達成した。不確実性の推定は真の誤差とよく相関しており、信頼性の低い予測を効果的にフィルタリングすることが示された。
• 基本行列推定: 対称化された Sampson 誤差と不確実性誘導型 RANSAC を使用することで、Ground Truth の対応関係と整合する基本行列の推定に成功した。最も良好な性能は、不確実性に基づいてシミベクトルの上位 35% から 45% を選択した場合に観察された。
• 下流アプリケーション: 推定された基本行列とシミ経路は、局所運動セグメンテーションに成功裏に適用され、ブラー画像において背景のグローバル運動とは独立して移動する物体（例：背景とは異なる動きをする車）を効果的に分離した。
• 限界: 複数の独立した局所運動が存在する動的なシーンや、グローバル運動信号が弱いか退化するゼロに近いカメラ変移のシーンでは、本手法は困難に直面する。

意義と主張

著者は、時間的曖昧性のために以前は不適切な問題と見なされていたタスクにおいて、単一フレームから 3 次元カメラ運動の制約を抽出する可能性を実証していると主張する。モーションブラーに内在する幾何学的制約を活用することで、この手法は、自律走行やドローン飛行などのアプリケーションにおいて重要である低遅延（単一フレーム入力）での視覚オドメトリや構造からの復元（Structure-from-Motion）タスクを実行する手段を提供する。本論文は、結果が時間の未知の方向を反映して転置まで曖昧であるものの、これはエピポーラ幾何を定義し、運動セグメンテーションなどの下流タスクを可能にするのに十分であると強調している。この研究は、モーションブラーを除去すべきノイズとして扱うことと、幾何学的情報の豊かな源として利用することとの間のギャップを埋めている。