SWST-Net: Semantic-aware Wavelet-drivenStructure and Texture Interaction Network forImage Inpainting

기술 요약: 이미지 인페인팅을 위한 SWST-Net

문제 정의
이미지 인페인팅(Image inpainting)은 주변 콘텐츠와의 구조적, 질감적, 의미적 일관성을 유지하면서 이미지의 누락된 영역을 재구성하는 것을 목표로 합니다. 전통적인 예시 기반(exemplar-based) 방식은 의미론적 이해의 부족으로 인해 큰 결손 영역과 복잡한 배경에서 어려움을 겪는 반면, 딥러닝 기반 방식(예: GAN)은 성능을 개선했으나 특정 한계에 직면해 있습니다. 일반적인 컨볼루션(Vanilla convolutions)은 종종 과도하게 매끄러운 경계나 질감 아티팩트를 생성합니다. 또한, 구조와 질감을 공동으로 모델링하려는 기존 방식들은 두 정보 유형이 서로 간섭하는 얽힌 표현(entangled representations) 문제로 고통받습니다. 반대로, 구조를 먼저 생성한 후 질감을 생성하는 2단계 전략은 심하게 손상된 이미지로부터 정확한 구조적 레이아웃을 예측하는 것이 본질적으로 어렵기 때문에, 잘못된 사전 정보(priors)를 생성하여 최종 질감 합성을 저하시키는 경우가 많습니다. 핵심 과제는 구조와 질감 표현을 효과적으로 분리하면서 의미론적 가이드 하에 이들의 상호작용을 촉진하여 고충실도 재구성을 달성하는 것입니다.

방법론: SWST-Net
저자들은 **의미론적 웨이브릿 기반 구조 및 질감 상호작용 네트워크(Semantic-aware Wavelet-driven Structure and Texture Interaction Network, SWST-Net)**를 제안합니다. 이 아키텍처는 구조와 질감 정보를 명시적으로 분리한 후 협력적으로 재구성하도록 설계되었습니다.

1. 주파수 영역 분해 (DWT):
   입력 이미지는 Haar 웨이브릿을 사용한 이산 웨이브릿 변환(Discrete Wavelet Transform, DWT)을 통해 분해됩니다. 이를 통해 이미지는 전역적 구조를 나타내는 저주파 부대역(LL)과 미세한 질감 세부 사항을 나타내는 고주파 부대역(LH, HL, HH)으로 분리됩니다. 이러한 구성 요소들은 각각 별도의 인코더로 입력됩니다.

2. 듀얼 인코더 및 공유 디코더 프레임워크:

• 구조 브랜치(Structure Branch): 저주파 부대역을 처리합니다. 전역적 구조 특징을 포착하기 위해 다중 스케일 어텐션 강화(Multi-Scale Attention Enhancement, MSAE) 모듈을 포함하는 **다중 스케일 강화 잔차 블록(Multi-Scale Enhancement Residual Block, MSEB)**을 활용합니다.
• 질감 브랜치(Texture Branch): 연결된 고주파 부대역들을 처리합니다. 국부적 세부 사항과 장거리 문맥 정보를 모두 포착하기 위해 **고속 푸리에 컨볼루션 잔차 블록(Fast Fourier Convolution Residual Blocks, FFCB)**을 채택합니다.
• 공유 디코더(Shared Decoder): 역 웨이브릿 변환(IDWT)과 업샘플링을 사용하여 융합된 특징으로부터 최종 이미지를 재구성합니다.

3. 의미론적 정렬 모듈 (Semantic-Guided Alignment Module, SGAM):
   두 브랜치 간의 의미론적 일관성을 보장하기 위해, 네트워크는 사전 학습된 마스크드 오토인코더(Masked Autoencoder, MAE)에서 추출된 고수준의 의미론적 사전 정보를 통합합니다. 크로스 어텐션 메커즘을 통해 이러한 의미론적 특징들은 인코더 내의 구조 및 질감 특징과 정렬되며, 인페인팅 과정이 의미론적 일관성을 유지하도록 유도합니다.

4. 양방향 교차 도메인 특징 융합 모듈 (Bi-directional Cross-Domain Feature Fusion Module, BCFFM):
   두 브랜치의 병목(bottleneck) 구간에 위치한 이 모듈은 구조 스트림과 질감 스트림 간의 상호작용을 촉진합니다. 공간 적응형 디노멀라이제이션(spatially-adaptive de-normalization)에서 영감을 받아, 동적 아핀 파라미터를 학습하여 인스턴스 정규화 레이어를 조절합니다. 이를 통해 질감 특징이 구조 특징을 정교화하고 그 반대의 경우도 가능하게 하여, 도메인 특화 정보를 잃지 않으면서도 동적인 통합을 가능하게 합니다.

5. 학습 목적 함수 (Training Objective):
   모델은 L1 손실(마스킹되지 않은 영역에 대해), 적대적 손실(WGAN-GP 사용), 특징 매칭 손실, 그리고 확장 컨볼루션(dilated convolutions)이 적용된 사전 학습된 ResNet-50 기반의 고수용장(High Receptive Field, HRF) 지각 손실로 구성된 멀티태스크 손실 함수를 사용하여 학습됩니다.

주요 기여

1. 분리된 아키텍처: 본 논문은 웨이브릿 변환을 사용하여 구조와 질감을 명시적으로 분리함으로써 공유 생성기 모델에서 발견되는 간섭 문제를 해결하는 듀얼 브랜치 프레임워크를 도입했습니다.
2. 의미론적 통합: SGAM은 사전 학습된 MAE로부터 추출된 고수준의 의미론적 사전 정보를 듀얼 브랜치 과정에 효과적으로 주입하여, 손상된 입력으로부터 발생할 수 있는 잘못된 구조적 예측에 의존하지 않고도 의미론적 일관성을 확보합니다.
3. 교차 도메인 상호작용: BCFFM은 구조와 질감 브랜치 간의 효과적인 양방향 가이드를 가능하게 하도록 설계되어 협력적 최적화를 강화합니다.
4. 성능: 본 방법은 계산 효율성과 재구성 품질 사이의 균형을 맞추며 표준 벤치마크에서 최첨단(state-of-the-art) 결과를 달와성합니다.

실험 결과
저자들은 Paris StreetView, CelebA-HQ, Places의 세 가지 데이터셋에 대해 SWST-Net을 평가했습니다.

• 정량적 성능: 이 방법은 다양한 마스킹 비율(10%–50%)에 대해 최근의 최첨단 접근 방식들(CTSDG, WSA-GAN, W-Net, CoordFill, HINT, SEM-Net 포함)을 일관되게 능가합니다. 픽셀 수준 지표(PSNR, SSIM)와 지각 지표(FID, LPIPS) 모두에서 우수한 점수를 기록했습니다. 특히, Places 데이터셋에서 가장 낮은 FID(10.891)와 경쟁력 있는 무참조 품질 점수(NIQE 및 BRISQUE)를 달성했습니다.
• 정성적 성능: 시각적 비교를 통해 SWST-Net이 경쟁 모델들이 흔히 보이는 흐릿함, 왜곡 또는 색상 전이 현상과 달리, 더 날카로운 구조적 선(예: 벽돌 벽, 창틀)과 더 사실적인 질감(예: 얼굴 세부 사항, 식물 필라멘트)을 생성함을 입증했습니다.
• 절제 연구 (Ablation Studies): 실험을 통해 각 구성 요소의 필요성을 확인했습니다. DWT를 제거하거나(w/o DWT) MAE 가이드를 제거하면(w/o MAE) 성능이 크게 저하되었습니다. 마찬가지로 BCFFM을 단순 결합으로 대체하거나 MSEB를 제거하면 구조적 일관성과 질감 충실도가 떨어졌습니다.
• 효율성: 113M 개의 파라미터와 이미지당 70ms의 추론 시간을 가진 SWST-Net은 계산 비용과 성능 사이의 유리한 절충안을 제공하며, HINT 및 SEM-Net보다 현저히 빠르고 CTSDG 및 WSA-GAN보다 높은 품질을 제공합니다.

의의 및 한계
본 논문은 SWST-Net이 웨이브릿 기반의 분리와 의미론적 가이드를 통해 구조-질감 의존성의 "닭과 달걀" 문제를 성공적으로 해결함으로써 고품질 이미지 인페인팅을 위한 유망한 솔루션을 제공한다고 주장합니다. 이 방법은 구조적 무결성과 질감 세부 사항을 동시에 효과적으로 보존합니다.

그러나 저자들은 모델의 한계를 겸허히 인정합니다. 모델은 여전히 문맥 정보가 생성 과정을 제약하기에 불충분한 매우 큰 결손 영역에서 어려움을 겪으며, 이로 인해 매끄럽지만 잠재적으로 부정확한 콘텐츠가 생성될 수 있습니다. 또한, 주변 문맥이나 사전 학습된 의미론적 사전 정보에 존재하지 않는 지식, 즉 텍스트나 로고와 같은 특정 의미론적 요소를 재구성할 때 실패합니다. 이러한 부분들은 향후 연구 과제로 식별되었습니다.