技術要約：円形準共形デタービュランス (Circular Quasiconformal Deturbulence: CQCD)

問題提起

不均質な媒体（乱気流や水中の揺らぎなど）を介した画像復元は、深刻な幾何学的歪み、ぼけ、およびノイズを引き起こす。これに対処する上での主要な課題は、教師あり学習に必要となるクリーンなペアデータ（歪んだ画像と正解画像）の不足である。同一条件下で、劣化したバージョンと鮮明なバージョンの両方を同時にキャプチャすることは、多くの場合、不可能である。既存の教師なし手法は、歪みの種類が変化すると汎化性能が低下したり、不完全な歪みモデリングによってアーティファクトを導入したりすることが多い。さらに、多くの手法は、サイクル一貫性アプローチにおいて極めて重要となる変形写像の可逆性を保証できておらず、その結果、エラーの蓄積や、折り畳みや裂けといった非物理的なアーティファクトを招いている。

手法

著者らは、複数の乱れたフレームから歪みのない画像を再構成する、円形自己一貫性アーキテクチャを用いた教師なしフレームワークである**Circular Quasi-Conformal Deturbulence (CQCD)**を提案している。この手法は、以下の3段階のサイクルを通じて動作する：

1. 歪みなし画像の推定（フォワードパス）:

   • タイトフレーム (TF) エンコーディング: 入力された歪んだフレームは、タイトフレーム変換を経て、マルチスケールかつ方向依存的な特徴を抽出される。これにより、水平方向と垂直方向の周波数成分を明示的に分離し、標準的なフーリエベースのエンコーディングよりも効果的に、方向性の変形パターンを捉えることが可能になる。
   • マッピング推定: ニューラルネットワーク（変形推定器、$N_{DE}$）が、歪んだ画像を補正された形式へとワープさせるための幾何学的変形場（$f_t$）を予測する。
   • リサンプリング: 推定された場を用いて歪んだ画像がワープされる。このプロセスは幾何学的な乱れを軽減するが、補間によるぼけを導入する可能性がある。
   • デブラーリング: ピクセル単位のネットワーク（ぼけ除去器、$N_{BR}$）がリサンプリングされた特徴を処理し、鮮明に復元された画像（$I^*$）を生成する。

2. 歪んだ画像の推定（インバースパス）:

   • サイクル一貫性を強制するため、推定された変形写像の逆写像（$f_t^{-1}$）を復元された画像 $I^*$ に適用する。
   • これにより、元の歪んだ入力の近似値（$\bar{I}_t$）が再構成される。

3. 最適化と正則化:

   • 損失関数: フレームワークは、復元された画像とワープされた入力との間の再構成損失（$L_{rec}$）、および再構成された歪んだ画像と元の入力との間の歪み損失（$L_{dist}$）を最小化する。
   • 準共形 (Quasi-Conformal: QC) 正則化: 極めて重要なコンポーネントは、計算幾何学における準共形理論の統合である。変形場は、局所的な共形歪みを定量化するベルトラミ係数 ($\mu$) を用いて正則化される。フォワードおよびインバース双方のマッピングにおけるベルトラミ係数の $L_2$ ノルムを最小化することで、モデルは全単射的かつ同相的な変形を促進する。これにより、写像の可逆性が保証され、循環ループがエラー蓄積なしに機能するために不可欠な、折り畳みなどの非物理的なアーティファクトを防ぐことができる。

変形推定器の総損失関数は、忠実度項と重み $\lambda$ で制御されたQC正則化項を組み合わせたものであり、ぼけ除去器は主に忠実度項に基づいて最適化される。

主な貢献

1. 円形タービュランス除去フレームワーク: 著者らは、複数の観測を利用して反復的に復元を洗練させる、新しい教師なしアーキテクチャを提案している。円形の設計は、時間的および空間的一貫性を促進し、エラーの蓄積を防ぐための暗黙的な検証メカニズムとして機能する。
2. 準共形ガイダンス: 本論文は、変形写像を同相かつ可逆な挙動へと導くために、計算準共形理論を統合している。これはベルトラミ係数に基づいて数学的に裏付けられており、フォワードおよびインバースの写像が全単射であることを保証する。これは、循環一貫性制約が機能するための前提条件である。
3. タイトフレーム・エンコーディング: タイトフレーム・ブロックの導入により、CNNは基本的な周波数表現をゼロから学習することなく、方向性の変形パターン（水平方向 vs 垂直方向のジッター）を直接捉えることが可能になる。これにより、変形場の推定およびその後のぼけ補正の精度が向上する。

実験結果

CQCDの有効性は、水および大気の乱れを含む合成および実世界のデータセットの両方で評価された。

• 定量的性能: 様々な乱れの強度（軽度、中程度、重度）および入力フレーム数（5, 10, 15）を持つ合成水中データセット（Jellyfish, Pterois, Tiles）において、CQCDはPSNRおよびSSIM指標の両方で、最先端の教師なし手法（NeRT, NDIR, DiffTemplate, TurbRecon）を上回った。性能の差は、乱れの激しさが増すにつれて拡大した。
• 視覚的品質: 実世界のシナリオにおいて、CQCDは競合手法と比較して、幾何学的構造（例：レンガの直線、手すり）や微細な詳細（例：文字の判読性、クラゲの触手）を復元する優れた能力を示した。競合手法では、残留するワープ、色のにじみ、またはゴースト現象が見られることが多かった。
• 変形場の精度: 合成シミュレーションで使用された正解の変形場との比較により、CQCDが基礎となる歪みパターンを正確に推定していることが示され、その物理的な解釈可能性が検証された。
• アブレーション研究:
  • QC正則化: QC正則化を除去した場合（$\lambda=0$）、写像の非可逆性、折り畳みアーティファクト、および歪み補正の失敗が生じた。最適な重み（$\lambda=0.1$）は、柔軟性と安定性のバランスを保っていた。
  • タイトフレーム・エンコーディング: TFブロックを除外すると、すべての乱れレベルにおいて大幅な性能低下が見られ、方向性の変形特徴を捉えるための必要性が確認された。
  • アーキテクチャ: 変形推定には浅いU-Net（深さ2）で十分であり、ぼけ除去器とマッピング推定器の間のバランスの取れた訓練比率が最良の結果をもたらした。

意義と主張

本論文は、準共形幾何学を通じて写像の可逆性の問題を解決することにより、CQCDが教師なし画像復元における重要な進歩を遂げたことを主張している。著者らは、提案フレームワークが既存のデタービュランス技術よりも復元品質において優れているだけでなく、変形場の物理的に解釈可能な推定を提供することを断言している。円形アーキテクチャとQC制約の組み合わせにより、モデルはペアデータなしで複雑な幾何学的歪みを効果的に扱うことができ、水中や大気中の画像のような困難な実世界のシナリオに適している。本研究は、全単射性を強制することが、単なる補助的な制約ではなく、サイクル一貫性のある復元モデルの安定性と成功のための根本的な要件であることを強調している。

限界

著者らは、現在のフレームワークが静止したシーン向けに設計されていることを認めている。円形一貫性損失に内在するピクセル単位の対応関係の仮定は、動く物体やグローバルなカメラの動きによって破られ、モデルがそれらを幾何学的な歪みと誤認する可能性がある。さらに、準共形正則化への依存は、手法を全単射的な写像に限定するため、トポロジーの変化を伴う変形を扱うことはできない。今後の課題として、動きの分離（motion disentanglement）や、ウェーブレット変換のような代替的な特徴抽出手法の探索が示唆されている。