Thinking inside the Convolution for Image Inpainting: Reconstructing Texture via Structure under Global and Local Side

기술 요약: 이미지 인페인팅을 위한 컨볼루션 내부의 사고: 글로벌 및 로컬 측면에서의 구조를 통한 텍스처 재구성

문제 정의
이미지 인페인팅은 인코더-디코더 파이프라인을 활용하는 합성곱 신경망(CNN)을 통해 크게 발전해 왔습니다. 최근 연구들은 고주파 구조와 저주파 텍스처가 인코딩되어야 할 중요한 정보임을 식별하고 있으나, 기존 방식들은 컨볼루션 다운샘플링 과정에서 발생하는 정보 손실을 피할 수 없습니다. 구체적으로, 현재의 접근 방식들은 구조와 텍스처 특징 맵(feature map)이 정보 손실을 완화하기 위해 어떻게 상호작용하는지를 간과하고 있습니다. CTSDG와 같은 이전 연구들은 구조와 텍스처 사이의 상호 가이드를 시도했으나, 희소한(sparse) 구조 맵과 조밀한(dense) 텍스처 맵을 직접 융합하는 것은 희소한 구조를 붕괴시킬 수 있다는 점에서 실패했습니다. 또한, ZITS와 같은 방법들은 고주파 구조를 융합하여 텍스처를 보존하려고 시도하지만, 구조 특징 맵 자체의 손실 문제나 한 모달리티가 다운샘플링 중에 다른 모달리티의 재구성을 어떻게 가장 잘 가이드할 수 있는지에 대한 구체적인 메커니즘을 다루지 못합니다. 결과적으로, 이러한 방법들은 특히 고해상도 이미지(예: 512×512)에서 깊은 층의 의미론적 정보를 포착하는 데 어려움을 겪으며, 종종 이상적인 업샘플링 출력을 내지 못합니다.

방법론
제안된 프레임워크인 ConvInpaint-TSGL은 단순한 융합이 아닌, 컨볼루션 다운샘플링 과정에서 구조 특징 맵을 통해 텍스처 특징 맵을 체계적으로 재구성함으로써 이러한 한계를 해결합니다. 이 방법론은 세 가지 핵심 축을 기반으로 구축되었습니다:

1. 방향성 재구성 (구조 $\to$ 텍스처):
   저자들은 구조 특징 맵은 본질적으로 희소한 반면, 텍스처 맵은 조밀하다는 점을 확립했습니다. 실험적 검증(FID 및 KL 발산 활용)을 통해, 희소한 구조 맵은 조밀한 텍스처 맵을 효과적으로 재구성할 수 있는 반면, 그 역(조밀한 텍스처로부터 희소한 구조를 재구성하는 것)은 구조 정보의 붕괴를 초래한다는 것을 입증했습니다. 따라서, 이 파이프라인은 구조 특징 맵이 텍스처 특징 맵의 재구성을 가이드하는 전략을 채택합니다.

2. 글로벌 및 로컬 정규화 전략:
   구조 맵의 효용을 극대화하기 위해, 저자들은 통계적 정규화 및 역정규화(denormalization)를 사용합니다:

   • 글로벌 정규화(Global Normalization): 전체 특징 맵 채널에 대해 통계적 평균과 분산을 계산하여 글로벌 통계적 특성을 포착합니다.
   • 로컬 정규화(Local Normalization): 특정 공간 위치에서의 채널 간 통계량을 계산하여 로컬 통계적 특성을 포착합니다.
     본 논문은 글로벌 구조 특징 맵이 로컬 정규화된 텍스처 맵을 재구성하는 데 가장 적합하며 (Global $\to$ Local), 로컬 잔차 구조 특징 맵(업샘플링된 텍스처와 이전 층 사이의 차이에서 유도됨)이 글로벌 정규화된 텍스처 맵을 재구성하는 데 가장 적합함(Local $\to$ Global)을 발견했습니다.

3. 교차 층 균형 모듈 (Cross-Layer Balance Module):
   글로벌 구조 정보가 초기 단계에서는 로컬 잔차 구조 정보보다 느리게 감소하지만, 후기 단계에서는 이를 추월한다는 점을 인식하여, 저자들은 교차 층 균형 모듈을 제안합니다. 이 모듈은 다음과 같은 역할을 수행합니다:

   • 로컬 잔차 구조 맵과의 균형을 유지하기 위해 글로벌 구조 특징 맵으로부터의 재구성을 두 번 증강합니다.
   • 글로벌 및 로컬 잔차 구조에 따라 특징 맵을 스트림별로 그룹화합니다.
   • 업샘플링을 위한 디코더에 입력하기 전, 이 스트림들을 균형 있게 만들기 위해 특징 등가화(feature equalization, 공간 및 채널 단위)를 활용합니다.

주요 기여

• 재구성 패러다임: 본 논문은 다운샘플링 중의 정보 손실을 완화하기 위해 텍스처 재구성을 위해 구조 특징 맵이 가이드해야 하며, 그 반대는 아니라는 점을 체계적으로 답변합니다.
• 이중 스트림 정규화: 글로벌 정규화 하에서의 텍스처 재구성과 로컬 정규화 하에서의 재구성을 도입하고, 이를 요소별 덧셈(element-wise addition)을 통해 융합하는 새로운 전략을 제시합니다.
• 교차 층 균형: 인코더의 각 단계에서 글로벌 및 로컬 잔차 구조의 기여도를 동적으로 조절하여, 디코더를 위한 최적의 특징 보존을 보장하는 새로운 모듈을 제안합니다.
• 아키텍처 불가지론(Architecture Agnosticism): 제안된 인코더 전략은 기존의 최첨단(SOTA) 인코더를 대체할 수 있는 드롭인(drop-in) 교체 방식으로 설계되어 범용성을 입증했습니다.

실험 결과
불규칙한 마스크가 적용된 256×256 및 512×512 해상도의 Paris StreetView (PSV), CelebA, Places2 데이터셋에 대해 광범위한 실험이 수행되었습니다.

• 정량적 성능: 본 방법은 PSNR, SSIM, FID 지표에서 SOTA 방식들(PENNet, HiFill, CTSDG, ZITS, LaMa 포함)을 능가합니다. 특히, 다른 SOTA 방법들의 인코더를 제안된 모듈로 교체했을 때(예: "Ours (PENNet)") 일관되게 더 우수한 결과를 보여, 다운샘플링 전략의 유효성을 입로 입증했습니다.
• 정성적 성능: 시각적 결과는 본 방법이 경쟁 모델들에 비해 의미론적 일관성과 미세한 디테일(예: 얼굴 특징, 건축 패턴)을 더 잘 보존함을 보여줍니다. 경쟁 모델들은 특히 높은 마스킹 비율에서 아티팩트나 흐릿한 텍스처 문제를 겪는 경우가 많았습니다.
• 절제 연구(Ablation Studies): 실험을 통해 "Global $\to$ Local" 및 "Local $\to$ Global" 재구성의 특정 조합이 단일 스트림 전략이나 역방향 재구성을 사용할 때보다 최상의 성능을 달성함을 확인했습니다.

의의 및 주장
본 논문은 그 주요 의의가 이미지 인페인팅에서 컨볼루션 다운샘플링 중 발생하는 근본적인 정보 손실 문제를 해결하는 데 있다고 주장합니다. 글로벌 및 로컬 통계적 제약 조건 하에서 "상호 융합"에서 "구조 가이드 재구성"으로 패러다임을 전환함으로써, 구조적 무결성과 텍스처의 풍부함을 효과적으로 보존합니다. 저자들은 이 접근 방식이 텍스처 특징 맵의 손실로 인해 깊은 층에서 의미론적 정보를 포착하지 못하는 고해상도 인페인팅에 특히 중요하다고 단언합니다. 본 연구는 완전한 아키텍처 개편 없이도 기존의 인코더-디코더 파이프라인을 강화할 수 있는 강력하고 모듈화된 솔루션을 제공합니다.