A Unified Formula for Affine Transformations between Calibrated Cameras

技術要約：校正済みカメラ間におけるアフィン変換の統一公式

問題提起
本論文は、局所的な画像の変形とシーン幾何学との関係を特徴付けるという、コンピュータビジョンの根本的な課題に取り組んでいる。具体的には、2つの校正済み視点間で画像パッチをマッピングする局所的なアフィン変換の閉形式（closed-form）の表現を導出することを目的としている。平面表面とホモグラフィの関係は十分に確立されているが、本研究では、接平面の暗黙的なパラメータ（具体的にはその法線ベクトル）が既知である場合、グローバルな平面シーンを仮定することなく、局所的なアフィンパラメータを決定できる、より一般的なケースに焦点を当てている。

手法
著者らは、既知の内部パラメータ行列（$K_1, K_2$）を持つ2つのピンホールカメラを用いた標準的なステレオビジョン構成を用いて問題を定式化している。カメラ間の相対的なポーズは、回転行列 $R \in SE(3)$ と並進ベクトル $t$ によって定義される。

導出プロセスは以下の通りである：

1. ホモグラフィの基礎： 著者らは、2つの視点間における平面上の点をマッピングする既知のホモグラフィ $H$ から出発する。これは $H = R - \frac{tn^T}{d}$ と表され、ここで $n$ は表面の法線、$d$ は第1画像に対する平面への距離である。
2. 微分： 先行研究 [4] に従い、局所的なアフィン変換行列 $A$（サイズ $2 \times 2$）は、第1画像の座標に対する第2画像の投影座標の偏微分を計算することによって得られる。
3. 閉形式の導出： ホモグラフィ行列の要素を代入し、微分を行うことで、著者らは $A$ の要素（$a_{11}, a_{12}, a_{21}, a_{22}$）の明示的な式を導出している。これらの要素は、回転行列 $R$、並進 $t$、画像座標（$u, v$）、および表面法線 $n$ の関数である。
4. 構造的分解： 最終的な統一公式（式5）は、3つの $2 \times 2$ 行列の和として提示される。それは、回転行列の左上ブロックと、並進および表面法線を含む2つのダイアド項からなる。

主な結果
主要な結果は、アフィン変換 $A$ に関する統一された閉形式の式である。本論文は、$A$ が厳密に以下の関数のみで構成されることを示している：

• 相対的なカメラポーズ（$R, t$）。
• 関心点の画像座標。
• 局所的な表面法線（$n$）。

著者らは、この一般的な公式を標準的なステレオ構成（$R=I$ かつ $t=[t_x, 0, 0]^T$）に適用することで検証している。この特定の場合、導出された公式は先行文献 [5] で発表された結果と一致する形式に簡略化されるが、今回の導出では校正済みカメラを明示的に考慮しているという点が異なる。

意義と主張
本論文は、この統一公式を、歴史的に別個の問題として扱われてきた様々な特殊ケースを包含できる「親方程式」として位置付けている。著者らは以下の意義を主張している：

• 汎用性： この公式は、カメラの動き、画像座標、および表面の向きの間の複雑な相互作用を包含する、単一で構造化されたフレームワークを提供する。
• 幾何学的解釈： 変形を行列の和へと分解することにより、本研究は、回転、並進、および表面の向きがどのように個別に画像の変形に寄与するかについて、明確な幾何学的解釈を提供している。
• 将来の研究への基盤： 著者らは、本研究の主な強みは、特定のモデルの導出を簡素化できる能力にあると述べている。彼らはこれを、堅牢な特徴量トラッキングから直接的な3次元再構成に至るまで、将来の幾何学的アルゴリズムのための一貫した数学的基盤として特定している。

今後の方向性
論文では、この統一公式を用いて、以下を含む特殊ケースを体系的に導出し、分析する計画を概説している：

• 平面運動モデル（2D平面に限定）。
• 純粋な並進および純粋な回転のシナリオ。
• 従来のオプティカルフローおよびシーンフローの定式化と結びつけるための、小基線近似。

本研究は、この数学的な統合が、将来のコンピュータビジョンアルゴリズムの開発を効率化することを目的としていると結論づけている。