技術要約: Freqformer

問題提起

画像のデモアレ（画像内のモアレ模様の除去）は、ディスプレイのサブピクセルレイアウトとカメラのカラーフィルター配列との間のエイリアシングによって生じるモアレパターンを除去するものであり、依然として困難な低レベルビジョンタスクである。既存の手法は、モアレパターンに固有のテクスチャの破損と色の歪みの間の複雑な相互作用を効果的に分離することに失敗することが多い。周波数認識型のアプローチ（HaarウェーブレットやブロックベースのDCTなど）は有望な方向性を示すものの、以下のような重大な制限がある：

• 空間的不連続性と誤差の蓄積: DWTやDCTなどの離散変換は空間的な滑らかさに欠けるため、固定された逆プロセスにおいて画素レベルの歪みや誤差の蓄積を引き起こす。
• 解像度の低下: 再帰的な分解は空間解像度を積極的にダウンサンプリングするため、二次的なエイリアシングやシフト不変性の問題を引き起こすリスクがある。
• 不完全なデカップリング: 従来のメソッドは、高周波のモアレテクスチャと低周波成分を完全に分離できなかったり、局所的な信号の定常性の仮定によりブロックアーティファクトを導入したりすることが多い。
• 計算効率の低さ: 最先端のモデルの多くは重いU-Netバックボーン（10M–50Mパラメータ）に依存しており、超高解像度（例：4K）の推論において計算効率が悪くなる。

手法

著者らは、ターゲットを絞った周波数分離と適応的な融合を通じてこれらの制限に対処するために設計された、TransformerベースのフレームワークであるFreqformerを提案する。

1. 新規な周波数分解

従来のDWTやDCTとは異なり、Freqformerは学習可能なアンチエイリアス周波数分解戦略を導入している。

• メカニズム: 特定のカーネルとダイレーション率を用いた再帰的な畳み込みプロセスを利用して、入力モアレ画像（$I_m$）を高周波成分（$I_h$）と低周波成分（$I_l$）に分割する。
• 分離特性:
  • 高周波 ($I_h$): モアレテクスチャと微細な詳細を含む。これは強い空間的局所性を示す。
  • 低周波 ($I_l$): 滑らかな色情報を含むが、色の歪み（モアレに起因するものおよびデータセットに関連するシフトの両方）の影響を受ける。これはスケール変化に対して頑健である。
• 利点: この手法は空間的な滑らかさを維持し、標準的な離散変換に関連する解像度の低下やシフト不変性の問題を回避する。

2. デュアルブランチ非対称アーキテクチャ

本フレームワークは、それぞれの周波数成分の特定の特性に合わせて調整された、デュアルブランチのエンコーダ・デコーダ構造を採用している：

• 高周波ブランチ: クロップベースの学習戦略を使用する。高周波のモアレテクスチャは局所的に依存しているため、このブランチはグローバルなコンテキストを必要とせずに微細な構造の詳細を保持するために、フル解像度の入力（またはそのクロップ）を処理する。
• 低周波ブランチ: リサイズベースの学習戦略を使用する。低周波成分は、学習および推論時にダウンサンプリング（例：0.1×解像度）される。このアプローチは、自然なテクスチャのダウンサンプリングに伴う詳細喪失のリスクを避けつつ、グローバルな色の歪みを修正することに集中する。
• 共有バックボーン: 両方のブランチは、**空間認識型チャネルアテンション（SA-CA）**モジュールを備えた階層的Transformerアーキテクチャを利用している。

3. 主要モジュール

• 空間認識型チャネルアテンション (SA-CA): 空間的な依存関係とチャネル間の補完的な情報を効率的に集約するように設計されている。モアレアーティファクトがカラーチャネル間で異なる（緑チャネルが最も影響を受けにくいことが多い）という観察に基づき、SA-CAは大きな受容野を持つ残留ダイレイテッド・デンスブロック（RDDB）と、不適切な情報をフィルタリングするためのゲート付きフィードフォワードネットワーク（FFN）を使用する。これにより、過度な計算コストをかけずに、モアレが発生しやすい領域を選択的に強調する。
• 学習可能な周波数合成変換 (FCT): 固定の逆変換の代わりに、Freqformerは学習可能なFCTモジュールを使用して、高周波ブランチと低周波ブランチの出力を適応的に融合する。このモジュールは、単純な加算から生じ得る再構成誤差を軽減するために、Transformerブロック（PostFusion）を用いて、画像次元への投影前（特徴空間内）で動作し、一貫性と高忠実度の再構成を保証する。

4. 学習戦略

モデルは2つのフェーズで学習される：

1. 独立学習: 高周波ブランチと低周波ブランチを、それぞれのクロップおよびリサイズ戦略を用いて個別に学習させる。
2. 共同ファインチューニング: 両方のブランチと学習可能なFCTモジュールを共同でファインチューニングし、特徴融合と最終的な再構成を最適化する。

• 損失関数: ピクセル精度と知覚的品質のバランスをとるために、$L_1$損失と知覚的損失（VGG16に基づく）の組み合わせを利用する。

主な貢献

1. 周波数分解戦略: モアレパターンを高周波（テクスチャ）と低周波（カラー）の成分に効果的に分離し、それぞれの異なるアーティファクトタイプに対してターゲットを絞った学習を可能にする新しい手法。
2. デュアルブランチ非対称設計: クロップベースおよびリサイズベースの戦略をそれぞれ用いて高周波と低周波を独立して処理するアーキテクチャと、適応的な融合のための学習可能なFCTモジュールの組み合わせ。
3. 効率的なSA-CAモジュール: 空間的およびチャネル方向の特徴相互作用を強化する軽量なアテンションメカニズムであり、コンパクトなパラメータ数（約6M）で最先端の性能を達成することを可能にする。

実験結果

TIP2018、LCDMoire、FHDMi、UHDM（4K解像度）の4つのベンチマークで広範な実験が行われた。

• 定量的性能: Freqformerは、複数の指標（PSNR、SSIM、LPIPS）において最先端（SOTA）の結果を達成している。
  • UHDMにおいて、SSIMとLPIPSで第1位、PSNRで第2位となり、ESDNet-Lに僅差で次ぐ結果となった。
  • FHDMiにおいて、すべての指標で最高スコアを達成した（PSNR: 25.26, SSIM: 0.8518, LPIPS: 0.1253）。
• モデルの効率性: 高い性能にもかかわらず、Freqformerは6.065Mパラメータというコンパクトなモデルサイズを維持しており、これはMopNet（58.5M）やMBCNN（14.2M）といった競合モデルよりも大幅に小さい。4K画像処理には2.46 TFLOPSしか必要とせず、ESDNetと同等であり、ESDNet-Lや他の復元モデルよりも低い。
• 定性的性能: 視覚的な比較により、Freqformerは微細な詳細や元のトーンを保持しながら、モアレアーティファクトと色の歪みを効果的に除去できることが示された。これは、残存する痕跡を残したり色のシフトが生じたりすることが多い生成モデル（例：OSEDiff）や他の復元ベースラインを凌駕している。

意義と主張

論文は、周波数分解、学習可能な融合、および空間チャネルアテンションを統合することが、テクスチャと色のアーティファクトの複雑な相互作用を効果的に解決できることを示すことで、Freqformerがデモアレの分野を進展させたと主張している。

• 控えめな主張: 著者らは、FreqformerがSOTAの性能を達成している一方で、その推論速度（4Kで1画像あたり0.58秒）は、現在、純粋な畳み込みベースのモデルであるESDNet-L（1画像あたり0.25秒）よりも遅いことを認めている。これは、標準的なアテンション操作がハードウェア加速やオペレータ融合に対して最適化されていないためであり、将来の最適化の方向性として特定している。
• 核心的な洞察: 本研究は、モアレ除去を包括的な復元タスクとして扱うだけでは不十分であることを強調している。代わりに、問題を周波数固有のサブタスクへとデカップリングし、それぞれに適した学習戦略を用いることが、より少ないパラメータで優れた結果をもたらすことを示している。