Thinking inside the Convolution for Image Inpainting: Reconstructing Texture via Structure under Global and Local Side

技術要約：画像インペインティングにおける畳み込み内部の思考：グローバルおよびローカルな側面における構造によるテクスチャの再構成

問題提起
画像インペインティング（画像補完）は、主にエンコーダー・デコーダー型の畳み込みニューラルネットワーク（CNN）を用いたパイプラインを通じて発展してきた。近年の研究では、高周波の構造（structure）と低周波のテクスチャ（texture）が重要な符号化情報であることが特定されているが、既存の手法は畳み込みによるダウンサンプリング過程における情報の損失を避けられない。具体的には、従来のアプローチは、構造とテクスチャのフィーチャーマップがどのように相互作用してこの損失を軽減するかという点を見落としている。CTSDGのような先行研究は、構造とテクスカの相互ガイダンスを試みているが、疎な（sparse）構造マップと密な（dense）テクスチャマップを直接融合させると、疎な構造が崩壊してしまうため、失敗に終わっている。また、ZITSのような手法は、高周波構造を融合することでテクスチャを保持しようとするが、構造フィーチャーマップ自体の消失や、ダウンサンプリング中に一方のモダリティがいかにして他方の再構成を最も効果的にガイドできるかという具体的なメカニズムへの対処には至っていない。その結果、これらの手法は、特に高解像度の画像（例：512×512）において、深い層でのセマンティック情報の捕捉に苦戦し、非理想的なアップサンプリング出力をもたらすことが多い。

手法
提案されたフレームワークである ConvInpaint-TSGL は、単純な融合ではなく、畳み込みダウンサンプリング過程において構造フィーチャーマップを介してテクスチャフィーチャーマップを体系的に再構成することで、これらの限界に対処する。本手法は、以下の3つの柱に基づいている。

1. 方向性のある再構成（構造 $\to$ テクスチャ）：
   著者らは、構造フィーチャーマップは本質的に疎であり、テクスチャマップは密であることを確立した。実験的検証（FIDおよびKLダイバージェンスによる）では、疎な構造マップは密なテクスチャマップを効果的に再構成できる一方で、その逆（密なテクスチャから疎な構造を再構成すること）は構造情報の崩壊を招くことが示された。したがって、本パイプラインは、構造フィーチャーマップがテクスチャフィーチャーマップの再構成をガイドするという戦略を採用している。

2. グローバルおよびローカルな正規化戦略：
   構造マップの有用性を最大化するために、著者らは統計的正規化と逆正規化を用いている。

   • グローバル正規化（Global Normalization）： フィーチャーマップの全チャネルにわたって統計的な平均と分散を計算し、グローバルな統計的特性を捉える。
   • ローカル正規化（Local Normalization）： 特定の空間位置におけるチャネル間の統計量を計算し、ローカルな統計的特性を捉える。
     論文では、グローバルな構造フィーチャーマップはローカルに正規化されたテクスチャマップの再構成に最適であり（Global $\to$ Local）、ローカルな残差構造フィーチャーマップ（アップサンプリングされたテクスチャと前の層との差分から導出される）は、グローバルに正規化されたテクスチャマップの再構成に最適である（Local $\to$ Global）ことを見出している。

3. クロスレイヤー・バランス・モジュール（Cross-Layer Balance Module）：
   グローバルな構造情報は、初期段階ではローカルな残差構造情報よりも減少速度が遅いが、後半段階ではそれを上回ることを認識し、著者らはクロスレイヤー・バランス・モジュールを提案している。このモジュールは以下の機能を持つ。

   • グローバルな構造フィーチャーマップからの再構成を2回増強し、ローカルな残差構造マップとのバランスを維持する。
   • フィーチャーマップを、グローバルおよびローカルな残差構造に基づくストリームにグループ化する。
   • アップサンプリングのためにデコーダーへ入力する前に、これらのストリームをバランスさせるための特徴量等価化（空間およびチャネル単位）を利用する。

主な貢献

• 再構成パラダイム： 本論文は、ダウンサンプリング中の情報損失を軽減するために、構造フィーチャーマップがテクスチャ再構成をガイドすべきであり、その逆ではないということを体系的に回答した。
• デュアルストリーム正規化： グローバルな構造によるグローバル正規化下でのテクスチャ再構成と、ローカルな残査構造によるローカル正規化下でのテクスチャ再構成という、新しい戦略を導入し、これらを要素ごとの加算によって融合させる。
• クロスレイヤー・バランス： エンコーダーの異なるステージ間でグローバルおよびローカルな残差構造の寄与を動的にバランスさせるための新しいモジュールを提案し、デコーダーによる最適な特徴量保持を実現する。
• アーキテクチャ非依存性： 提案されたエンコーダー戦略は、既存の最先端（SOTA）エンコーダーのドロップイン置換として設計されており、その汎用性を実証している。

実験結果
不規則なマスクを用いたParis StreetView (PSV)、CelebA、およびPlaces2のデータセットに対し、256×256および512×512の解像度で広範な実験が行われた。

• 定量的性能： 本手法は、PSNR、SSIM、およびFIDの指標において、SOTA手法（PENNet、HiFill、CTSDG、ZITS、LaMaを含む）を凌駕している。特筆すべきは、他のSOTA手法のエンコーダーを提案モジュールに置き換えた場合（例：「Ours (PENNet)」）でも一貫して優れた結果が得られたことであり、これはダウンサンプリング戦略の有効性を裏付けている。
• 定性的性能： 視覚的な結果は、本手法が競合手法よりもセマンティックな一貫性と微細な詳細（例：顔の特徴、建築パターン）をよく保持していることを示している。競合手法は、特にマスク率が高い場合にアーティファクトやテクスチャのぼけが生じやすい。
• アブレーション研究： 実験により、「Global $\to$ Local」と「Local $\to$ Global」の組み合わせが、単一ストリーム戦略や逆の再構成方向を使用した場合と比較して、最高の性能を達成することが確認された。

意義と主張
本論文の主要な意義は、画像インペインティングにおける畳み込みダウンサンプリング時の根本的な問題である情報損失に対処している点にある。グローバルおよびローカルな統計的制約の下での「相互融合」から「構造ガイドによる再構成」へとパラダイムを転換することで、本手法は構造の完全性とテクスチャの豊かさの両方を効果的に保持している。著者らは、このアプローチが、テクスチャフィーチャマップの消失により深い層でのセマンティック情報捕捉に失敗する高解像度インペインティングにおいて特に重要であると主張している。本研究は、完全なアーキテクチャの刷新を必要とせずに、既存のエンコーダー・デコーダー・パイプラインを強化する、堅牢でモジュール式のソリューションを提供している。