기술 요약: SwinIFS

문제 정의

얼굴 초해상도(Face Super-Resolution, FSR)는 심하게 저하된 저해상도(LR) 입력을 바탕으로 구조적 일관성과 정체성 특유의 세부 사항을 보존하면서 고해상도(HR) 얼굴 이미지를 재구성하는 것을 목표로 합니다. 이 작업은 특히 극단적인 업스케일링 배수(예: 8배)에서 미세한 질감 디테일, 미묘한 정체성 단서 및 구조적 규칙성이 손실되기 때문에 본질적으로 부적정(ill-posed)한 문제입니다. 일반적인 초해상도 방법들이 존재하지만, FSR은 독특한 과제에 직면해 있습니다. 표준 합성곱 신경망(CNN)은 국소적 수용 영역(receptive fields)에 의해 제한되어 전역적으로 일관되지 않은 구조를 생성하며, 생성적 적대 신경망(GAN)은 지각적 사실성은 향상시키지만 비현실적인 세부 사항을 환각하거나 정체성 보존을 해칠 수 있습니다. 또한 최근의 트랜스포머 기반 접근 방식은 장거리 의존성을 포착하는 데 효과적이지만, 핵심적인 얼굴 단서가 매우 저하된 입력값에서 결여되어 있거나 명시적인 기하학적 사전 정보를 효과적으로 통합하지 못할 때 어려움을 겪습니다.

방법론: SwinIFS

저자들은 밀집된 구조적 사전 정보와 계층적 Swin Transformer 백본을 통합한 랜드마크 가이드 초해상도 프레임워크인 SwinIFS를 제안합니다. 이 방법은 중간 규모(4배) 및 극단적(8배) 업스케일링 시나리오를 모두 처리하도록 설계되었습니다.

1. 랜드마크 가이드 입력 구성

LR 입력의 모호성을 해결하기 위해, SwinIFS는 기하학적 정보를 명시적으로 포함합니다.

• 랜드마크 추출: 정렬된 HR 이미지로부터 5개의 주요 얼굴 랜드마크(왼쪽 눈, 오른쪽 눈, 코, 입술 양 끝점)를 추출합니다.
• 가우시안 히트맵: 이러한 이산적인 좌표들을 밀집되고 공간적으로 연속적인 가우시안 히트맵($M_i$)으로 변환합니다.
• 입력 융합: LR RGB 이미지와 5개의 랜드마크 히트맵을 결합하여 8채널 입력 텐서($I_{in} = [I_{LR} || M_c]$)를 형성합니다. 이를 통해 네트워크는 초기 처리 단계부터 구조적 사전 정보와 텍스처 정보를 융합하여, 모델이 정체성에 민감한 영역에 집중하도록 유도할 수 있습니다.

2. Swin Transformer를 이용한 계층적 특징 추출

핵리 네트워크는 국소적 기하학을 보존하면서 장거리 문맥 정보를 포착하기 위해 컴팩트한 Swin Transformer 백본을 활용합니다.

• 얕은 특징 추출: 8채널 입력은 합성곱 레이어를 통해 고차원 특징 공간으로 투영됩니다.
• 잔차 Swin Transformer 블록(RSTB): 특징들은 쌓여 있는 RSTB 계층을 통과합니다. 각 블록은 다수의 Swin Transformer 레이어(STL)를 포함합니다.
  • 윈도우 기반 어텐션: STL은 로컬 윈도우($M \times M$) 내에서 멀티 헤드 셀프 어텐션을 계산하여, 모델이 의미론적 영역(예: 눈꼬리) 내의 상관관계를 감지할 수 있게 합니다.
  • 시프트된 윈도우(Shifted Windows): 정규 윈도우와 시프트된 윈도우 분할을 교대로 사용하여 크로스 윈도우 통신을 촉진하며, 이를 통해 수용 영역을 확장하여 전역적인 얼굴 기하학(머리 형태, 대칭성)과 미세한 구조적 관계를 동시에 모델링합니다.
• 잔차 연결: 글로벌 스킵 연결은 얕은 특징과 깊은 특징을 병합하여 저주파 콘텐츠를 보존하고, 고주파 디테일이 정교화되는 동안 구조적 단서가 온전히 유지되도록 보장합니다.

3. 재구성

정교화된 특징은 전치 합성곱(transposed convolution)에서 흔히 발생하는 체커보드 아티팩트를 피하기 위해 **픽셀 셔플(PixelShuffle, 서브 픽셀 합성곱)**을 사용하여 업샘플링됩니다. 최종 합성곱은 특징을 RGB 도메인으로 매핑합니다. 글로벌 스킵 연결은 바이큐빅으로 업샘플링된 LR 이미지를 출력에 더하여 전역적인 구조적 일관성을 유지합니다.

4. 손실 함수

모델은 다음과 같은 하이브리드 목적 함수를 사용하여 최적화됩니다:

• $\ell_1$ 재구성 손실: 픽셀 수준의 편차를 처벌하여 날카롭고 깨끗한 결과를 보장합니다.
• 지각 손실($\ell_{VGG}$): VGG-19 활성화에 기반하며, 이 손실은 의미론적 디테일(눈 모양, 입술 곡률, 피부 질감)과 정체성 관련 단서의 보존을 장려합니다.
• 전체 손실: $\ell_{total} = \lambda_1 \ell_1 + \lambda_2 \ell_{VGG}$.

주요 기여

1. 랜드마크 가이드 프레임워크: 밀집된 가우시안 랜드마크 히트맵을 입력 표현에 직접 통합함으로써, 네트워크가 시작 단계부터 의미론적으로 중요한 얼굴 영역에 우선순위를 두도록 합니다.
2. 하이브리드 아키텍처: 전역 모델링을 위한 컴팩트한 Swin Transformer 백본과 명시적인 기하학적 사전 정보를 결합하여, 심하게 저하된 입력에서의 모호성을 해결합니다.
3. 다중 스케일 강건성: 이 프레임워크는 기존의 많은 방법들이 실패하는 영역인 중간(4배) 및 극단적(8배) 업스케일링 배수 모두에서 효과적으로 작동하도록 설계되었습니다.
4. 정체성 보존: 랜드마크를 통해 구조적 일관성을 강제하고 계층적 어텐션을 통해 텍스처를 정교화함으로써, GAN과 관련된 환각 문제 없이 높은 정체성 충실도를 달축합니다.

실험 결과

실험은 CelebA 데이터셋에서 수행되었으며, SwinIFS를 SRGAN, FSRNet, DIC, SPARNet, W-Net 등을 포함한 최신 CNN, GAN 및 트랜스포머 기반 베이스라인들과 비교하였습니다.

• 정량적 성능: SwinIFS는 4배 및 8배 업스케일링 모두에서 가장 높은 PSNR 및 SSIM 점수를 기록했습니다. 특히 8배 환경에서 27.97 dB의 PSNR과 0.8513의 SSIM을 달성하여 경쟁 모델들을 크게 앞질렀습니다. 또한 가장 낮은 LPIPS 점수 중 하나를 유지하여 우수한 지각적 유사성을 입증했습니다.
• 정성적 성능: 시각적 비교 결과, SwinIFS는 베이스라인들에 비해 더 날카로운 윤곽선, 더 선명한 눈 영역, 더 사실적인 입술 질감을 생성함을 보여주었습니다. 다른 방법들이 흐릿한 윤곽선, 플라스틱 같은 질감 또는 정체성을 왜곡하는 환각 현상을 보이는 반면, SwinIFS는 극단적인 저하 상태에서도 일관된 전역 기하학과 미세한 디테일(예: 홍채 구조, 입술 곡률)을 복구해 냈습니다.
• 효율성: SwinIFS는 정확도와 계산 효율성 사이에서 유리한 균형을 달성했습니다. 128×128 얼굴당 추론 시간이 단 0.015초에 불과하면서도 가장 높은 PSNR에 도달하여, 더 깊고 느린 아키텍처들과 비교했을 때 파레토 최적선(Pareto frontier)에 위치했습니다.

의의 및 주장

본 논문은 SwinIFS가 신뢰할 수 있고 정체성을 보존하는 얼굴 초해상도 연구의 중요한 진전이라고 주장합니다. 주요 의의는 명시적인 기하학적 가이드(랜드마크)와 전역 어텐션 메커즘(트랜스포머) 사이의 간극을 성공적으로 메웠다는 점에 있습니다. 이러한 통합된 접근 방식은 순수 데이터 구동 방식이 가진 저데이터 환경(심한 저하)에서의 한계를 극복하는 동시에, GAN의 불안정성과 정체성 상실 문제를 피할 수 있게 해줍니다.

저자들은 SwinIFS를 고도의 충실도 재구성과 계산 효율성이 모두 중요한 얼굴 향상, 보안 감시, 디지털 복원 등의 실제 응용 분야에 적합한 모델로 포지셔닝합니다.

한계 및 향-후 방향

저자들은 몇 가지 한계점을 인정합니다:

• 랜드마크 의존성: 본 프레임워크는 정확한 랜드마크 예측에 의존합니다. 따라서 랜드마크 검출 오류(심한 블러, 폐쇄 또는 비정면 포즈로 인한)는 히트맵으로 직접 전파되어 어텐션 메커즘을 잘못 유도할 가능성이 있습니다.
• 데이터셋 편향: 평가는 정면을 향하고 조명이 양호한 얼굴이 주를 이루는 CelebA로 제한되었습니다. 큰 포즈 변화, 심한 폐쇄 또는 실제 센서 저하 상황에서의 성능은 아직 테스트되지 않았습니다.
• 조잡한 기하학: 5개 포인트 랜드마크 세트는 거친 기하학만을 포착하므로, 주름이나 수염과 같은 더 미세한 구조를 명시적으로 모델링하지 못합니다.

향-후 연구로는 랜드마크 검출과 초해상도를 반복적으로 정교화하고, 더 밀집된 구조적 사전 정보로 확장하며, 더욱 다양하고 실제적인 저하 데이터셋에서 학습하는 것이 제안되었습니다.