Beware of Aliases -- Signal Preservation is Crucial for Robust Image Restoration

기술 요약: 에일리어싱(Aliasing)을 경계하라 – 강건한 이미지 복원을 위한 신호 보존의 중요성

문제 정의
이미지 복원과 같은 픽셀 단위 예측 작업에 사용되는 심층 신경망(DNN)은 샘플링 및 에일리어싱과 관련된 근본적인 신호 처리 원칙을 간과하는 경우가 많습니다. 안티-에일리어싱(anti-aliasing) 기법은 이미지 분류의 강건성을 개선해 왔으나, 이를 이미지 복원에 적용하는 것은 복잡한 문제입니다. 표준 다운샘플링 기술(예: strided convolutions, Pixel Unshuffle)은 나이퀴스트율(Nyquist rate) 미만으로 샘플링하기 때문에 고주파 정보를 버리거나 스펙트럼 아티팩트(예: 그리드, 체커보드 또는 링잉 아티팩트)를 유발하곤 합니다.

디블러링(deblurring)과 같은 이미지 복원 작업에서 고주파 정보(에지, 형태)는 재구성에 필수적입니다. 반대로, 디노이징(denoising)과 같은 작업은 고주파 노이즈를 제거해야 합니다. 에일리어싱을 방지하기 위해 엄격하게 저역 통과 필터링(low-pass filtering)을 적용하는 기존 방식들은 필요한 신호의 세부 사항을 제거함으로써 복원 성능을 저하시키는 경우가 많습니다. 또한, 이러한 모델들은 깨끗한 도메인 내 데이터에서는 잘 작동할 수 있지만, 숨겨진 스펙트럼 아티팩트를 생성하는 "지름길(shortcuts)"을 학습하는 경향이 있습니다. 이러한 아티팩트는 일반적인 조건에서는 인간의 눈에 보이지 않지만, 적대적 공격(예: PGD) 하에서는 두드러지게 나타나 성능을 크게 저하시키며, 이는 모델이 최적이 아닌 특징 표현(feature representation)에 의존하고 있음을 드러냅니다.

방법론
저자들은 최신 이미지 복원 아키텍처(NAFNet과 같은 CNN 기반 및 Restormer와 같은 Transformer 기반 모델 모두)를 수정하는 Beware of Aliases (BoA)-Networks를 제안합니다. 핵심 혁신은 표준 다운샘플링 및 업샘플링 연산을 주파수 영역을 인식하는 방식으로 교체하여, 신호 정보를 보존하면서도 에일리어스 프리(alias-free) 경로를 보장하는 데 있습니다.

제안된 아키텍처는 두 가지 주요 모듈로 구성됩니다:

1. FrequencyPreservedPooling (FP) - 다운샘플링용:

   • 단순한 저역 통과 필터링(고주파를 제거함)이나 표준 서브샘플링(에일리어싱을 유발함) 대신, FP는 주파수 영역에서 동작합니다.
   • 입력 피처 맵에 이산 푸리에 변환(DFT)을 적용합니다.
   • 주파수 스펙트럼을 저주파 성분과 고주파 성분으로 분리합니다.
   • 저주파 성분은 역변환 후 채널 차원에서 업샘플링됩니다(Pixel Unshuffle을 모사함).
   • 고주파 성분은 (저역 통과 필터링된 버전을 빼는 방식으로) 격리되며, 고주파에 대해 완벽하게 가역적인 것으로 알려진 표준 Pixel Unshuffle을 사용하여 다운샘플링됩니다.
   • 이 두 경로를 학습 가능한 파라미터 $\alpha$(0.3으로 초기화되어 저주파 쪽에 편향됨)를 사용하여 결합하며, 이를 통해 네트워크는 안정성과 세부 사항 보존 사이의 균형을 맞출 수 있습니다.

2. FreqAvgUp - 업샘플링용:

   • 이 모듈은 인코더와 디코더 사이의 대칭성을 보장하기 위해 다운샘플링 로직을 미러링합니다.
   • 입력 피처 맵을 주파수 영역에서 저주파 및 고주파 성분으로 분리합니다.
   • 저주파 경로는 4개의 채널을 평균 내고(다운샘플링 시의 결합을 역전시키기 위함), 주파수 영역에서 제로 패딩(zero-padding)을 수행한 후 역변환을 수행합니다.
   • 고주파 경로는 고주파 성분을 분리하고, Pixel Shuffle 연산을 적용한 뒤 역변환을 수행합니다.
   • 학습 가능한 파라미터 $\beta$(0.3으로 초기화됨)가 이 두 경로를 혼합하여 피처 맵을 재구성합니다.

또한 저자들은 교대 레이어(alternating layers)에서 공간 차원이 FFT 연산 전에 전치(transpose)되도록 하여 등방성(isotropic) 주파수 처리를 보장하는 대칭 메커즘을 도입합니다.

주요 기여

• 새로운 샘플링 방법: 복원에 필요한 중요한 고주파 신호 세부 사항을 버리지 않으면서도, 다운샘플링 및 업샘플링을 위한 에일리어스 프리 경로를 제공하는 FrequencyPreservedPooling과 FreqAvgUp을 도입했습니다.
• 아키텍처 통합: BoA 수정을 통해 CNN 기반(NAFNet) 및 비전 트랜스포머 기반(Restormer)의 최신 모델을 성공적으로 수정했습니다.
• 신호 보존을 통한 강건성: 에일리어스 프리 경로를 제공하는 것이 깨끗한 데이터의 성능 비용을 최소화하면서 적대적 공격(특히 PGD 및 CosPGD)에 대한 모델의 강건성을 향상시킨다는 것을 입증했습니다.
• 태스크별 분석: 디블러링은 고주파 보존이 필요하고, 데레인닝(deraining)은 균형 잡힌 접근 방식이 필요한 중간 지점에 있다는 것을 보여주는 상세한 주파수 영역 분석을 수행했습니다.

실험 결과
저자들은 이미지 디블러링(GoPro 데이터셋)과 이미지 데레인닝(Rain100H/L, Test100/1200 데이터셋)에 대해 방법을 평가했습니다.

• 적대적 강건성: PGD 및 CosPGD 공격 하에서, 표준 모델(Restormer, NAFNet)과 단순 안티-에일리어싱(FLC Pooling)을 적용한 모델은 심각한 스펙트럼 아티팩트와 상당한 PSNR/SSIM 저하를 보였습니다. 반면, BoA가 수정된 모델은 더 높은 PSNR 및 SSIM 점수를 유지했으며, 아티팩트(예: 체커보드 패턴)가 현저히 줄어든 시각적으로 더 깨끗한 이미지를 생성했습니다.
• 깨끗한 데이터 성능: 깨끗한 비적대적 데이터에 대한 성능 면에서는 베이스라인인 Restormer에 비해 약간의 트레이드오프가 있었으나, 과도한 블러링을 유발하는 엄격한 저역 통과 필터(FLC Pooling)를 사용하는 모델보다는 BoA 모델이 우수한 성능을 보였습니다.
• 절제 연구(Ablation Studies): 고주파를 무작정 버리는 것(엄격한 저역 통과 필터링을 시뮬레이션)이 디블러링 성능을 저하시킨다는 실험 결과가 나왔습니다. 학습 가능한 혼합 파라미터($\alpha, \beta$)는 고주파 세부 사항의 유지와 저주파 특징의 안정성 사이의 균형을 맞추는 데 결정적이었습니다.
• 시각적 증거: 정성적 결과(그림 1, 그림 7)는 공격 상황에서 다른 방법들이 가시적인 그리드 아티팩트를 생성하는 반면, BoA-Restormer 및 BoA-NAFNet은 아티팩트가 없는 재구성을 생성함을 보여주었습니다.

의의 및 주장
본 논문은 이미지 복원 모델의 실제 환경에서의 신뢰성이 부적절한 샘플링으로 인해 발생하는 스펙트럼 아티팩트에 의해 저해된다고 주장합니다. 저자들의 주장은 다음과 같습니다:

1. 적대적 공격은 진단 도구 역할을 한다: 적대적 공격은 깨끗한 데이터에서는 인간의 눈에 보이지 않는 근본적인 스펙트럼 아티팩트를 드러내는 진단 도구로 활용될 수 있습니다.
2. 신호 보존이 핵심이다: 에일리어싱을 방지하기 위해 단순히 고주파를 제거하는 것은 에지 복구가 필요한 복원 작업에 해롭습니다.
3. 이론적 동기가 강건성을 낳는다: 이론적으로 뒷받침된 샘플링 연산(BoA)을 통해 신호 무결성을 보존함으로써, 모델은 적대적 훈련의 비용 없이 더 의미 있는 특징 표현을 학습할 수 있습니다.
4. 한계점: 저자들은 BoA가 아티팩트를 줄여주기는 하지만, 깨끗한 블러리 이미지에 대한 성능이 아직 이상적이지 않으며, 현재의 평가 지표(PS험/SSIM)가 스펙트럼 아티팩트와 관련된 시각적 품질 개선을 완전히 포착하지 못할 수 있다고 겸허히 언급했습니다. 그들은 현재의 지표들이 자신들의 방법이 해결하고자 하는 인간이 인지할 수 있는 아티팩트를 간과하는 경향이 있다고 제안합니다.