기술 요약: Freqformer

문제 정의

이미지 디모아레(Image demoiréing)—스크린의 서브픽셀 레이아웃과 카메라 컬러 필터 어레이 사이의 에일리어싱으로 인해 발생하는 모아레 패턴을 제거하는 작업—는 여전히 까다로운 저수준 비전 과제로 남아 있습니다. 기존 방법들은 모아레 패턴에 내재된 텍스처 손상과 색상 왜곡 사이의 복잡한 상호작용을 효과적으로 분리해내는 데 종종 실패합니다. 주파수 인식 접근 방식(예: Haar 웨이브릿 또는 블록 기반 DCT 사용)은 유망한 방향을 제시하지만, 다음과 같은 상당한 한계를 가집니다:

• 공간적 불연속성 및 오차 누적: DWT 및 DCT와 같은 이산 변환은 공간적 매끄러움이 부족하여, 고정된 역과정(inverse process) 중에 픽셀 수준의 왜곡과 오차 누적을 초래합니다.
• 해상도 저하: 재귀적 분해(Recursive decomposition)는 공간 해상도를 공격적으로 다운샘플링하여, 이차적인 에일리어싱 및 시프트 불변성(shift-variance) 문제를 야기할 위험이 있습니다.
• 불완전한 디커플링: 전통적인 방법들은 고주파 모아레 텍스처를 저주파 성분으로부터 완전히 분리하지 못하거나, 국부적 신호 정체성(stationarity) 가정으로 인해 블록 아티팩트를 유발하는 경우가 많습니다.
• 계산 효율성 부족: 많은 최신 모델들은 무거운 U-Net 백본(10M–50M 파라미터)에 의존하며, 이는 초고해상도(예: 4K) 추론 시 계산 효율성을 떨어뜨립니다.

방법론

저자들은 타겟팅된 주파수 분리와 적응형 융합을 통해 이러한 한계를 해결하기 위해 설계된 트랜스포머 기반 프레임워크인 Freqformer를 제안합니다.

1. 새로운 주 frequency 분해 (Novel Frequency Decomposition)

전통적인 DWT나 DCT와 달리, Freqformer는 학습 가능한 안티-에일리어싱 주파수 분해 전략을 도입합니다.

• 메커니즘: 특정 커널과 다이레이션 비율(dilation rates)을 가진 재귀적 컨볼루션 과정을 사용하여 입력 모아레 이미지($I_m$)를 고주파 성분($I_h$)과 저주파 성분($I_l$)으로 분리합니다.
• 분리 특성:
  • 고주파 ($I_h$): 모아레 텍스처와 미세한 디테일을 포함합니다. 이는 강한 공간적 국부성(spatial locality)을 보입니다.
  • 저주파 ($I_l$): 매끄러운 색상 정보를 포함하지만, 색상 왜곡(모아레 유도 및 데이터셋 관련 시프트 모두 포함)을 겪습니다. 이는 스케일 변화에 강건합니다.
• 장점: 이 방법은 공간적 매끄러움을 보존하며, 표준 이산 변환과 관련된 해상도 저하 및 시프트 불변성 문제를 방지합니다.

2. 듀얼 브랜치 비대칭 구조 (Dual-Branch Asymmetric Architecture)

프레임워크는 각 주파수 성분의 특정 특성에 맞춤화된 듀얼 브랜치 인코더-디코더 구조를 채택합니다:

• 고주파 브랜치: **크롭 기반 학습 전략(crop-based training strategy)**을 사용합니다. 고주파 모아레 텍스처는 국부적으로 의존적이기 때문에, 이 브랜치는 전역적 컨텍스트 없이도 미세한 구조적 디테일을 보존하기 위해 전체 해상도(또는 그 크롭 이미지)를 처리합니다.
• 저주파 브랜치: **리사이즈 기반 학습 전략(resize-based training strategy)**을 사용합니다. 저주파 성분은 학습 및 추론 시 다운샘플링(예: 0.1× 해상도)됩니다. 이 접근 방식은 자연스러운 텍스처의 디테일 손실 위험을 피하면서 전역적인 색상 왜곡을 교정하는 데 집중합니다.
• 공유 백본: 두 브랜치 모두 공간 인지 채널 어텐션(Spatial-Aware Channel Attention, SA-CA) 모듈을 특징으로 하는 계층적 트랜스포머 아키텍처를 활용합니다.

3. 핵심 모듈

• 공간 인지 채널 어텐션 (SA-CA): 공간적 의존성과 채널 간 상보적 정보를 효율적으로 집계하도록 설계되었습니다. 모아레 아티팩트가 색상 채널마다 다르게 나타난다(그린 채널이 영향을 덜 받는 경우가 많음)는 관찰에서 영감을 얻은 SA-CA는, 넓은 수용 영역(receptive field)을 위해 잔차 다이레이티드 덴스 블록(RDDB)을 사용하고, 부적절한 정보를 필터링하기 위해 게이트형 피드 포워드 네트워크(FFN)를 사용합니다. 이는 과도한 계산 비용 없이 모아레에 취약한 영역을 선택적으로 강조합니다.
• 학습 가능한 주파수 합성 변환 (Learnable Frequency Composition Transform, FCT): 고정된 역변환 대신, Freqformer는 고주파 및 저주파 브랜치의 출력을 적응적으로 융합하는 학습 가능한 FCT 모듈을 사용합니다. 이 모듈은 이미지 차원으로 투영되기 전의 특징 공간(feature space)에서 트랜스포머 블록(PostFusion)을 사용하여 작동하며, 단순 합산에서 발생할 수 있는 재구성 오류를 완화하고 일관되고 높은 충실도의 재구성을 보장합니다.

4. 학습 전략

모델은 두 단계로 학습됩니다:

1. 독립 학습: 고주파 및 저주파 브랜치가 각각의 크롭 및 리사이즈 전략을 사용하여 개별적으로 학습됩니다.
2. 결합 미세 조정 (Joint Fine-tuning): 두 브랜치와 학습 가능한 FCT 모듈이 특징 융합 및 최종 재구성을 최적화하기 위해 공동으로 미세 조정됩니다.

• 손실 함수: 학습에는 픽셀 정확도와 지각적 품질의 균형을 맞추기 위해 $L_1$ 손실과 VGG16 기반의 지각 손실(perceptual loss)의 조합이 사용됩니다.

주요 기여

1. 주파수 분해 전략: 모아레 패턴을 고주파(텍스처)와 저주파(색상) 성분으로 효과적으로 분리하여, 각 별개의 아티팩트 유형에 대한 타겟 학습을 가능하게 하는 새로운 방법을 제시했습니다.
2. 듀얼 브랜치 비대칭 설계: 크롭 기반 및 리사이즈 기반 전략을 각각 사용하여 고주파와 저주파를 독립적으로 처리하고, 적응형 융합을 위한 학습 가능한 FCT 모듈과 결합된 아키텍처를 제공합니다.
3. 효율적인 SA-CA 모듈: 공간 및 채널 차원의 특징 상호작용을 강화하는 경량 어텐션 메커니즘을 통해, 컴팩트한 파라미터 수(약 6M)로 최첨단 성능을 달달성할 수 있게 합니다.

실험 결과

TIP2018, LCDMoire, FHDMi, UHDM(4K 해상도)의 네 가지 벤치마크에서 광범에한 실험이 수행되었습니다.

• 정량적 성능: Freqformer는 여러 지표(PSNR, SSIM, LPIPS)에서 최첨단(SOTA) 결과를 달성했습니다.
  • UHDM에서 SSIM과 LPIPS에서 1위를 차지했으며, PSNR에서는 ESDNet-L에 근접하며 2위를 기록했습니다.
  • FHDMi에서 모든 지표에서 최고 점수를 기록했습니다 (PSNR: 25.26, SSIM: 0.8518, LPIPS: 0.1253).
• 모델 효율성: 높은 성능에도 불구하고, Freqformer는 MopNet(58.5M)이나 MBCNN(14.2M)과 같은 경쟁 모델보다 훨씬 작은 6.065M 파라미터의 컴팩트한 모델 크기를 유지합니다. 4K 이미지 처리에 필요한 연산량은 2.46 TFLOPS로, ESDNet과 유사하며 ESDNet-L 및 기타 복원 모델보다 낮습니다.
• 정성적 성능: 시각적 비교를 통해 Freqformer가 미세한 디테일과 원래의 톤을 보존하면서 모아레 아티팩트와 색상 왜곡을 효과적으로 제거함을 보여주었습니다. 이는 잔류 흔적을 남기거나 색상 변화를 겪는 생성 모델(예: OSEDiff) 및 기타 복원 베이스라인보다 뛰어난 성능을 보입니다.

의의 및 주장

본 논문은 Freqformer가 주파수 분해, 학습 가능한 융합, 그리고 공간-채널 어텐션을 통합하는 것이 텍스처와 색상 아티팩트의 복잡한 상호작용을 효과적으로 해결할 수 있음을 입증함으로써 이미지 디모아레 분야를 발전시켰다고 주장합니다.

• 겸허한 주장: 저자들은 Freqformer가 SOTA 성능을 달성했음에도 불구하고, 추론 속도(4K당 0.58초/이미지)가 현재 ESDNet-L(0.25초/이미지)과 같은 순수 컨볼루션 기반 모델보다는 느리다는 점을 인정합니다. 이는 표준 어텐션 연산이 하드웨어 가속 및 연산자 퓨전(operator fusion)에 덜 최적화되어 있기 때문이며, 이를 향후 최적화 방향으로 식별했습니다.
• 핵심 통찰: 본 연구는 모아레 제거를 총체적인 복원 과제로 다루는 것만으로는 불충분하며, 문제를 맞춤형 학습 전략을 가진 주파수별 하위 과제로 분리하는 것이 더 적은 파라미터로 더 우수한 결과를 얻을 수 있음을 강조합니다.