技術概要：ReMATF

問題定義

大気乱流（AT）は、幾何学的歪み、ぼやけ、時間的フリッカを導入することにより、長距離撮像システムにおける映像品質を著しく劣化させます。これらの歪みは、空気の屈折率の空間的・時間的変動に起因します。従来の手法（非剛体登録や多フレーム融合など）は静的なシーンではよく機能しますが、時間的冗長性が不十分な動的なシーンでは困難に直面します。

最近の深層学習アプローチ、特にトランスフォーマーおよび 3D 構造に基づく手法は有望ですが、しばしば多フレーム入力（例：5 フレーム）を必要とし、高い計算コストとメモリ使用量を伴います。これにより、リソース制約のあるシナリオでの展開が制限されます。さらに、既存のデータ駆動型手法は、合成データセットへの依存と歪みの深刻さのばらつきにより、実世界の乱流への汎化が不足している傾向があります。

手法

著者らは、ReMATF（Recurrent Motion-Adaptive Multi-scale Turbulence Framework：再帰的運動適応マルチスケール乱流フレームワーク）を提案します。これは、空間的詳細と時間的安定性を維持しつつ、2 フレームのみ（現在の歪んだフレームと前の復元出力）を使用して動画を復元するように設計された軽量な再帰的フレームワークです。

コアアーキテクチャ

このフレームワークは再帰的に動作し、現在の歪んだフレーム $I_t$ と前の復元フレーム $O_{t-1}$ を入力として時間ステップ $t$ を処理します。

1. 乱流レベル条件付け:

   • 変化する歪みの深刻さへの適応のため、モデルは CLIP ベースの画像品質評価（CLIP-IQA）モデルを用いて、各フレームの乱流レベルを推定します。
   • このスカラースコアは軽量な MLP 経由で潜在埋め込みに変換され、クロスアテンション変調層を通じてバックボーンネットワークに注入されます。これにより、モデルは動的に特徴応答の重み付けを行い、激しい乱流時には幾何学的安定化を優先し、軽度の乱流時には詳細の精緻化を優先することが可能になります。

2. Mitigator（多段階モジュール）:

   • マルチスケール特徴抽出: 入力はダウンサンプリングされ、3 つのスケール階層を作成します。3D 畳み込みブロックが、各スケールで局所的な時空間表現（波紋、強度変動）を抽出します。
   • 時間的整列（TWT ブロック）: 各スケールにおいて、Transformer-Warp-Transformer（TWT）ブロックが採用されます。
     • 最初のトランスフォーマーは埋め込みを強化し、対応関係の推論を促進します。
     • 軽量なフロー推定ブランチが光フローを予測し、可変畳み込みを用いたフロー・ワープモジュールを導き、微細な幾何学的補償を行います。
     • 2 番目のトランスフォーマーは整列された特徴を精緻化します。
   • 特徴精緻化: 全スケールからの整列された特徴は融合され、追加の TWT ブロックによって処理されて高周波テクスチャを再構成し、残留歪みを除去し、中間復元 $\hat{O}_t$ を生成します。

3. 運動適応的時間融合（MATF）:

   • メモリウィンドウを増大させることなく長期的な時間的一貫性を強制するため、中間出力 $\hat{O}_t$ は、運動補償された前の出力 $O_{t-1}$ と融合されます。
   • 運動適応的時間融合（MATF）モジュールがピクセルごとの融合を実行します。これは、運動の大きさ、光度差、フローの一貫性などの手がかりを用いて運動マップを生成します。
   • 動的領域は、ゴースト現象を回避し境界を維持するために、現在の復元に依存します。
   • 静的領域は、時間的整合性を確保しフリッカを低減するために、前の出力に依存します。
   • エッジ認識抑制項は、構造的な境界が運動として誤解されるのを防ぎます。
   • 最終出力 $O_t$ は、次の時間ステップへ再帰的に伝播されます。

損失関数

訓練目的は、空間的忠実度と時間的一貫性を確保するために、いくつかの損失を組み合わせます。

• 再構成損失: 頑健なピクセルごとの監督のための Charbonnier ペナルティ。
• ウェーブレットドメイン損失: 高周波構造を維持するための Haar ウェーブレット制約。
• ラプラシアン構造的損失: 輪郭の鮮明さを向上させるため、ラプラシアン応答の不一致を罰します。
• 静的認識時間的一貫性損失: MATF マスクによって特定された静的領域において、現在の出力と歪められた前の予測との間の整合性を強制します。
• マルチステップフロー一貫性損失: 推定されたフロー場を用いて、複数の過去の予測との整合性を促進します。

主な貢献

1. ReMATF フレームワーク: 結合された短期および長期の再帰メカニズムを通じて大気乱流の歪みを軽減する最初の手法であり、一度に 2 フレームのみで復元を可能にします。
2. 短期再帰: 波紋アーティファクトを抑制するための即座の復元手がかりを提供します。
3. MATF を通じた長期再帰: 運動認識重みマップを介して現在と前の出力を統合し、以前のフレームからの情報が暗黙的に減衰するメモリ効率の高い長距離時間的集約を可能にします。
4. 乱流レベル条件付け: 個別のモデルなしで、幅広い歪みの深刻さにネットワークが適応するのを助けるメカニズムを導入します。
5. 実世界データセットの構築: 静的なシーンからの動的コンテンツを複製して疑似正解を生成し、教師あり訓練のためのペアリングされた実世界 AT データセットを作成しました。

結果

実験は、合成データセット（ATSyn-Dynamic、DeTurb）および実世界データセット（CLEAR、RLR-AT、ATD）で行われました。

• 合成性能: ReMATF は、ATSyn-Dynamic データセットにおいて、すべての指標（PSNR、SSIM、LPIPS）で最先端の性能を達成し、弱・中・強の乱流レベルにおいて、MambaTM、DATUM、TMT などのベースラインを上回りました。
• 実世界性能: 実世界の動的シーンにおいて、ReMATF は、以前の最良の再帰的手法（RMFAT）と比較して、PSNR を +2.83 dB、SSIM を +0.05 改善し、LPIPS を 0.048 低減しました。これは、優れた時間的安定性（最低の tLPIPS）を示し、他の手法がぼやけやフリッカを生み出した困難な領域（例：車両の境界、遠方の物体）において構造的詳細を保持しました。
• 効率性: ReMATF は、多フレームトランスフォーマーベースラインよりも著しく高速でメモリ効率が高く、NVIDIA RTX4090 上で約 0.008 秒でフレームを処理し、パラメータ数はわずか 260 万です。これにより、リソース制約のあるシナリオに適しています。
• アブレーション研究: MATF モジュール、マルチスケールワープ、または乱流レベル条件付けを除去すると、性能が著しく低下し、空間的に変化する歪みの処理と時間的安定性の維持における各コンポーネントの必要性が確認されました。

重要性

本論文は、ReMATF が大気乱流軽減における時間的情報の利用と計算効率の間の重要なトレードオフに対処していると主張しています。軽量な再帰的フレームワーク内で短期および長期の推論を分離することにより、ReMATF は大規模な多フレームウィンドウのメモリオーバーヘッドなしに、動的シーンでの堅牢な復元を達成します。乱流レベル条件付けと運動適応融合の導入により、モデルは変化する歪みの深刻さや運動パターン全体にわたって汎化することが可能となり、従来の多フレーム手法が実行不可能なシナリオでのリアルタイム展開に対する実用的な解決策を提供します。