기술 요약: 발산 측도를 이용한 이미지 초해상도를 위한 완전 합성곱 생성적 적대 신경망의 강화

문제 정의

이미지 초해상도(Super-Resolution, SR)는 저해상도(Low-Resolution, LR) 입력으로부터 고해상도(High-Resolution, HR) 이미지를 재구성하는 것을 목표로 한다. 이는 초기 LR 변환이 일반적으로 비가역적이고 손실적이기 때문에 발생하는 역문제(ill-posed problem)이다. 고전적인 보간법은 국소 정보에 의존하기 때문에 우수한 SR을 생성하지 못하며, 딥 컨볼루션 신경망(CNN)은 일반화 능력과 왜곡 문제로 어려움을 겪는 반면, 생성적 적대 신경망(GAN)은 돌파구를 마련했다. 그러나 기존의 GAN 기반 SR 방식은 특히 작은 데이터셋에서 학습할 때 세부 디테일의 손실, 아티팩트(artifact) 도입, 모드 붕괴(mode collapse) 문제를 겪는 경우가 많다. 더욱이, 많은 접근 방식이 지각적 손실(perceptual loss)을 위해 사전 학습된 네트워크에 의존하여 편향을 유발하거나, LR과 SR 입력 사이의 분포적 관계를 명시적으로 모델링하지 못한다.

방법론: SuRGe 아키텍처

저자들은 세 가지 주요 메커니즘인 계층적 특징 혼합, 새로운 발산 기반 손실 함수, 그리고 견고한 학습 전략을 통해 이러한 한계를 해결하도록 설계된 완전 합성곱 GAN 기반 아키텍처인 SuRGe(Super-Resolution Generator)를 제안한다.

1. 생성기 아키텍처 ($G$)

표준적인 방식들이 네트워크 끝단에서 4배 업스케일링을 단일 단계로 수행하는 것과 달리, SuRGe는 급격한 특징 공간 왜곡을 완화하기 위해 2단계 업스케일링 전략(2배 후 다시 2배)을 채택한다.

• 계층적 특징 추출: 생성기는 좌측과 우측 절반으로 나뉜다. 좌측 절반은 초기 컨볼루션 블록($C_0$)과 반복적인 잔차 생성 블록($R_0$)을 통해 특징을 추출한다.
• 적응형 특징 혼합: 저수준 특징(from $C_0$)과 고수준 특징(from $R_0$)을 결합하기 위해, SuRGe는 학습 가능한 혼합 모듈($F_0$ 및 $F_1$)을 도입한다. 이 모듈들은 Softmax 활성화 함수에 의해 제약되는 학습 가능한 가중치를 사용하여 서로 다른 네트워크 깊이의 특징들을 볼록 조합(convex combination)한다. 이를 통해 네트워크는 재구성을 위해 가장 유용한 특징을 적응적으로 선택할 수 있다.
• 스킵 연결(Skip Connections): 아키텍처는 저수준 특징(예: 색상, 질감)을 네트워크를 통해 전파하는 스킵 연결을 활용하여, 업스cale 단계 이후에도 미세한 디테일이 복구되도록 보장한다.
• 업스케일링 메커니즘: 체커보드 아티팩트를 유발할 수 있는 PixelShuffle이나 전치 컨볼루션 대신, SuRGe는 최근접 이웃 보간(nearest-neighbor interpolation)을 사용한 후 안정화 컨볼루션을 적용한다.

2. 판별기 아키텍처 ($D$)

판별기는 학습된 특징 공간에서 밀접한 임베딩을 보장하기 위해 생성기와 유사한 구조를 따르지만, 다음과 같은 특정 수정 사항을 포함한다:

• 반복적 잔차 블록: 인터-서브-블록 스킵 연결을 갖는 잔차 블록을 사용한다.
• 활성화 및 정규화: 희소한 그래디언트를 방지하기 위해 LeakyReLU를 사용하며, 품질 문제를 방지하고 WGAN-GP 제약을 준수하기 위해 배치 정규화(Batch Normalization) 대신 픽셀 정규화(Pixel Normalization)를 사용한다.
• 점진적 커널 크기: 저수준 및 고수준 정보 캡처의 균형을 맞추고 과적합을 방지하기 위해 필터 수와 커널 크기가 블록을 따라 점진적으로 증가한다.

3. 손실 함수

SuRGe는 생성기와 판별기를 가이드하기 위해 새로운 조합의 손실 함수를 도입한다:

• 생성기 손실 ($L_G$):
  • 적대적 손실 ($L_a$): 실제 HR과 생성된 SR을 구별하기 위한 표준 GAN 손실.
  • 젠슨-샤논(Jensen-Shannon, JS) 발산 ($L_{JS}$): 생성된 SR 분포($p_{G(x)}$)와 HR 정답 분포($p_y$) 사이의 불일치를 명시적으로 최소화한다.
  • 그로모프-와서슈타인(Gromov-Wasserstein, GW) 손실 ($L_{GW}$): 잠재적으로 차원이 다른 메트릭 공간 간의 발산 측정치이다. 이는 LR 입력 분포($p_x$)와 SR 출력 분포($p_{G(x)}$) 사이의 불일치를 최소화하여, 차원이 다르더라도 구조적 유사성을 강제하는 데 사용된다.
  • 동적 가중치 부여: 정적인 가중치 대신, 세 가지 손실 구성 요소는 Softmax를 기반으로 계산된 동적 볼록 조합을 사용하여 결합된다. 이를 통해 모델은 학습 중에 각 손실의 초점을 적응적으로 조정할 수 있다.
• 판별기 손실 ($L_D$):
  • 그래디언트 페널티를 포함한 와서슈타인 손실 (WGAN-GP): 가중치 클리핑의 복잡성 없이 모드 붕괴를 방지하고 생성 품질을 개선하기 위해 판별기를 학습시키는 데 사용된다.

주요 기여

본 논문은 다음과 같은 주요 기여를 주장한다:

1. GAN-SR에서의 GW 최초 적용: SuRGe는 생성기의 학습을 촉진하기 위해 그로모프-와서슈타인(GW) 발산을 활용하여 LR과 SR의 관계를 직접 모델링한 최초의 초해상도 모델로 제시된다.
2. 발산 기반 학습: 사전 학습된 모델에 의한 지각적 유사성에서 벗어나, 생성기는 JS 발산(SR과 HR 사이)과 GW 발산(LR과 SR 사이)을 적대적 손실과 함께 사용하여 학습된다.
3. 적응형 특징 혼합: 스킵 연결과 학습 가능한 혼합 모듈($F_0, F_1$)을 효율적으로 사용하여 서로 다른 특징 표현 레벨로부터의 시맨틱 정보를 얻고 적응적으로 결합하는 생성기를 도입하였다.
4. 견고한 아키텍처: 아티팩트와 모드 붕해를 줄이기 위해 최근접 이웃 업스케일링 및 특정 정규화 전략을 사용한다.

실험 결과

SuRGe의 효능은 10개의 벤치마크 데이터셋을 통해 28개의 최첨단 경쟁 모델(CNN, GAN, Transformer 기반 방법 포함)과 평가되었다.

• 표준 벤치마크: Set5, Set14, BSD100, Urban100에서 SuRGe는 우수한 성능을 보였다. 기존의 최선 모델들과 비교했을 때 Set14, BSD100, Urban100 데이터셋에서 평균적으로 PSNR은 4.26%, SSIM은 5.72% 향상되었다.
• 복합 벤치마크: 6개의 추가적인 복합 데이터셋(Kitti2012, Kitti2015, Middlebury, PIRM, OST300, MANGA109)에서 SuRGe는 PSNR 측면에서 최첨단 모델보다 평균 17.59% 높은 성능을 기록했다.
• 절제 연구(Ablation Studies): 실험을 통해 구성 요소의 점진적 추가(ResNet 기반 판별기, 점진적 커널 크기, JS/GW 손실, 동적 가중치 부여)가 일관된 성능 향상으로 이어진다는 것을 확인했다.
• 정성적 분석: 시각적 비교 결과, SuRGe는 SRGAN, BSRGAN, SWIN-IR, LTE와 비교하여 더 미세한 질감, 더 나은 색상 충실도, 더 복잡한 디테일을 생성하는 동시에, ESRGAN 변형 모델에서 보이는 과도한 노이즈나 왜곡을 피하는 모습을 보였다.

의의 및 주장

본 논문은 SuRGe가 다음과 같은 방식으로 이미지 초해상도 분야에서 중요한 진전을 이루었다고 주장한다:

• 진정한 SR 능력: GW 발산을 통한 LR-SR 관계의 통합은 모델에 단순한 픽셀 매핑을 넘어 분포 정렬을 수행하는 "진정한 초해상도 능력"을 부여한다.
• 효율성: 복잡한 손실 지형과 특징 혼합에도 불구하고, SuRGe는 전형적인 GAN 기반 SR 방법들에 비해 낮은 추론 시간과 작은 모델 크기를 유지한다.
• 이론적 참신함: 이는 GAN 기반 초해상도 맥락에서 명시적 발산 측정치(특히 GW)를 탐구한 첫 사례로서, LR과 SR 분포를 정렬하기 위한 새로운 이론적 프레임을 제공한다.
• 성능: 모델은 다양한 데이터셋에서 최첨단 결과를 달eric하며, 세심하게 설계된 발산 측서를 사용하는 완전 합성곱 접근 방식이 양적 지표와 시각적 품질 모두에서 전통적인 CNN 및 복잡한 Transformer 기반 아키텍처를 능가할 수 있음을 입증한다.