기술 요약: Thangka 이미지 초해상도를 위한 CASPA

문제 정의

티베트 불교 회화의 한 형태인 Thangka의 디지털 보존은 물리적 유물의 돌이킬 수 없는 퇴락과 기존 디지털 아카이브의 저해상도 문제로 인해 심각한 도전에 직면해 있습니다. 이미지 초해상도(Image Super-Resolution, ISR) 기술이 해결책을 제시하지만, 현재의 최첨단 비전 트랜스포머(Vision Transformer, ViT) 모델들은 Thangka 이미지를 높은 충실도로 재구성하는 데 어려움을 겪고 있습니다. 본 논문은 기존의 트랜스포머 기반 접근 방식이 Thangka에 적용될 때 발생하는 두 가지 구체적인 메커리즘적 한계를 식별합니다:

1. 공간적 문맥 파편화(Spatial Context Fragmentation): Thangka 이미지는 복잡하고 대칭적인 구조와 광물 안료를 특징으로 하며, 이는 강한 비국소적 자기 유사성(예: 넓은 거리에 걸쳐 반복되는 연꽃 꽃잎 패턴)을 나타냅니다. SwinIR과 같은 전통적인 ViT 모델은 국소 윈도우 메커니즘에 의존합니다. 이러한 경직된 물리적 그리드는 특징 간의 상호작용을 제한하여, 모델이 장거리 유사성을 활용해 조밀하고 반복적인 질감을 재구성하는 것을 방해하며, 결과적으로 세부 묘사의 흐림과 구조적 위치 이탈을 초래합니다.
2. 공간 기하학적 사전 정보의 손실(Loss of Spatial Geometric Priors): Thangka 예술은 풍부하고 가늘며 일관된 고주파 기하학적 선(예: 와이어 같은 획과 복잡한 의복의 주름)을 특징으로 합니다. 기존의 채널 어텐션 메커니즘(예: DAT의 경우)은 채널 의존성을 확립하기 위해 글로벌 풀링 연산에 의존하는 경우가 많습니다. 이 과정은 중요한 공간적 위상 정보를 버리게 되어, 모델이 글로벌 색상 통계에만 집중하게 만들고 방향성을 가진 선의 구조적 일관성을 유지하는 데 실패하게 하여, 에지의 흐림과 궤적 단절을 야기합니다.

방법론: CASPA 아키텍처

이러한 과제를 해결하기 위해 저자들은 Dual Aggregation Transformer(DAT) 아키텍처를 기반으로 한 새로운 초해상도 네트워크인 CASPA(Content-Aware Global Aggregation and Spatial prior Channel Attention)를 제안합니다. 이 네트워크는 3단계로 구성됩니다: 얕은 특징 추출, 깊은 특징 추출(12개의 계층적 잔차 그룹 포함), 그리고 고해상도 재구성. 핵심 혁신은 잔차 그룹 내에서 교대로 작동하는 두 개의 특화된 모듈에 있습니다:

1. 콘텐츠 인식 글로벌 어그리게이션(Content-Aware Global Aggregation, CGA) 모듈

CGA 모듈은 물리적 거리 제약을 깨기 위해 전통적인 공간 윈도우 셀프 어텐션을 대체합니다.

• 메커니즘: 이미지를 고정된 그리드로 분할하는 대신, CGA는 전체 이미지에 걸친 특징 유사성을 기반으로 **글로벌 토큰 클러스터링(Global Token Clustering)**을 수행합니다.
• 프로세스: 학습 가능한 글로벌 클러스터 중심 세트를 사용하여 입력 토큰과 이 중심들 사이의 코사인 유사도를 계산합니다. 토큰은 공간적 위치와 관계없이 적응적으로 시맨틱 그룹에 할당됩니다.
• 상호작용: 셀프 어텐션은 이러한 시맨틱 그룹 내부에서 실행됩니다. 이를 통해 모델은 물리적 거리를 극복하고, 흩어져 있지만 시맨틱적으로 유사한 픽셀(예: 동일한 안료)을 결합하여 장거리 반복 패턴을 선형 복잡도 $O(N)$으로 복원할 수 있게 합니다.
• 효율성: 병렬 효율성을 보장하기 위해 큰 그룹은 서브 그룹으로 분할되며, 시맨틱 경계에서 중첩된 상호작용이 허용됩니다.

2. 공간 사전 채널 어텐션(Spatial Prior Channel Attention, SCA) 모듈

SCA 모듈은 채널 브랜치에 방향성 및 공간적 사전 정보를 주입하여 위상 정보의 손실을 해결하도록 설계되었습니다.

• 메커니즘: 분해된 십자형 스트립 컨볼루션(예: 계층적인 $1 \times 21$ 및 $21 \times 1$ 커널)을 사용하여 동등한 대형 수용 영역(예: $21 \times 21$)을 생성합니다.
• 프로세스:
  1. 채널 어텐션: 병렬 글로벌 평균 및 최대 풀링과 그 뒤의 MLP를 사용하여 채널 어텐션 벡터를 생성하며, 이는 중요한 기하학적 구조를 가진 채널을 강조하는 "소프트 게이팅(soft-gating)" 분류기 역할을 합니다.
  2. 공간 사전 정보: 채널이 정제된 특징들은 서로 다른 커널 크기를 가진 병렬 뎁스와이즈(depth-wise) 컨볼루션 브랜치에 의해 처리되어 이방성(anisotropic) 공간 기하학적 사전 정보를 포착합니다.
  3. 융합: 이러한 공간 특징들은 합산된 후 $1 \times 1$ 컨볼루션을 통해 혼합되어 동적 공간 어텐션 맵을 생성하며, 이 맵은 채널이 정제된 특징과 곱해집니다.
• 결과: 이 설계는 과도한 계산 오버헤드를 도입하지 않으면서도 연속적인 고주파 선의 구조적 무결성을 보존합니다.

보조 구성 요소

• 적응형 교차 게이팅(Adaptive Cross-Gating, ACG): 거시적인 장거리 시맨틱과 미시적인 국소 질감의 원활한 융합을 보장하기 위해 양방향 소프트 마스크 재보정을 달성하는 병렬 뎁스와이즈 컨볼루션을 사용하는 메커니즘입니다.
• 동적 피드포워드 네트워크(Dynamic Feed-Forward Network, DFFN): 복잡한 디테일에 대한 비선형 적합 능력을 향상시키고 그래디언트 포화 현상을 완화하기 위해 표준 활성화 함수를 매개변수화된 Dynamic Hyperbolic Tangent(DynamicTanh)로 대체합니다.

주요 기여

본 논문은 세 가지 주요 기여를 명시합니다:

1. CGA 모듈: 물리적 그리드 분할 대신 특징 유사도 기반의 글로벌 토큰 클러스터링을 채택한 글로벌 상호작용 메커니즘입니다. 이는 비국소적 자기 유사성 사전 정보를 성공적으로 활성화하여, 장거리 반복 패턴과 흩어진 안료의 효율적인 협력적 재구성을 가능하게 합니다.
2. SCA 모듈: 분해된 십자형 스트립 컨볼루션을 사용하여 강력한 다중 스케일 공간 및 방향성 사전 정보를 주입하는 채널 어텐션 메커니즘입니다. 이는 전통적인 글로벌 풀링으로 인한 위상 정보 손실을 극복하여 복잡하고 연속적인 선의 고충실도 재구성을 보장합니다.
3. 종합적 검증: 커스텀 Thangka 데이터셋 제안과 더불어, 기존의 SOTA 모델들을 능가하여 장거리 시맨틱과 미세한 구조적 디테일을 모두 복원하는 모델의 효과를 입증했습니다.

실험 결과

데이터셋 및 설정

• 커스텀 데이터셋: 학습용 5,000장의 HR Thangka 이미지(512$\times$512), 검증용 680장, 테스트용 1,000장.
• 벤치마크: 교차 도메인 일반화 능력을 확인하기 위해 Urban100 및 Manga109 사용.
• 베이스라인: EDSR, SwinIR, HAT, SRFormer, DAT.
• 지표: PSNR, SSIM, LPIPS, FID.

정량적 성능

• Thangka 데이터셋 ($\times$4 배율): CASPA는 PSNR 32.9045 dB, SSIM 0.8817을 달성하여 베이스라인인 DAT(32.7774 dB)보다 0.1271 dB 높은 성능을 보였습니다. 또한 LPIPS와 FID에서도 최고 점수를 기록하여 우수한 지각 품질과 실재감을 입증했습니다.
• 일반 벤치마크: Urban100 및 Manga109 ($\times$4 배율)에서 CASPA는 새로운 SOTA 성능을 확립하며 강력한 교차 도메인 일반화 능력을 보여주었습니다.
• 효율성: 높은 성능에도 불구하고, CASPA는 단 5.02 M의 파라미터와 21.97 G FLOPs(64$\times$64 입력 시)만을 사용하여 매우 경량화되어 있으며, 이는 HAT(20.77 M 파라미터)나 EDSR(43.09 M 파라미터)과 같은 경쟁 모델보다 현저히 낮습니다. 또한 대부분의 베이스라인보다 빠른 추론 시간(19.38 ms)을 보여주었습니다.

정성적 분석

시각적 비교 결과, 전통적인 윈도우 기반 방식은 밀집된 평행선에서 그리드 아티팩트와 구조적 위치 이탈을 자주 생성했습니다. 반면, CASPA는 명확하고 일관된 기하학적 선과 고주파 질감을 성공적으로 재구성하여 그라운드 트루스와 매우 유사한 결과를 보여주었습니다.

절제 연구(Ablation Study)

두 모듈 중 하나라도 제거하면 성능 저하가 발생했습니다:

• SCA 미사용 시: 공간 사전 정보의 손실로 인해 미세한 선의 궤적이 왜곡되고 에지가 흐려졌습니다.
• CGA 미사용 시: 공간적 문맥 파편화로 인해 반복 패턴에서 잘못된 디테일 융합과 흐림 현상이 발생했습니다.
• 전체 모델: 두 모듈의 조합이 가장 높은 PSNR을 기록하여, 두 모듈의 상호 보완적인 역할을 확인했습니다.

의의 및 한계

본 논문은 CASPA가 특히 Thangka 예술의 디지털 보존에 있어 중요한 진전을 의미한다고 주장합니다. 글로벌 문맥 인식과 국소 기하학적 충실도 사이의 트레이드오프를 해결함으로써, 기존 트랜스포머 모델이 다루기 어려웠던 복잡한 비국소 구조와 방향성 선을 복원하는 강력한 솔루션을 제공합니다.

저자들은 또한 모델의 일반화 잠재력을 언급하며, Dunhuang 벽화 및 유럽 중세 교회 벽화에도 성공적으로 적용되어 강력한 결과를 보여주었음을 밝혀, 고대 벽화 복원에 대한 폭넓은 적용 가능성을 시사했습니다.

그러나 논문은 다음과 같은 한계점을 겸허히 인정합니다:

• 독특한 미세 구조: CGA 모듈이 활용할 글로벌 참조가 부족한 독특하고 고립된 디테일(예: 특정 눈의 특징)에 대해서는 과도하게 매끄럽게 처리(over-smoothing)되는 경상을 보입니다.
• 복잡한 교차 지점: SCA 모듈의 고정된 수평 및 수직 샘플링 방향으로 인해, 밀집되고 비직교적으로 얽힌 선(예: 눈썹)은 흐려질 수 있습니다.

향후 연구에서는 이러한 특정 엣지 케이스를 해결하기 위해 더 유연한 샘플링 방법과 외부 생성적 사전 정보(generative priors)를 탐구할 것을 제안합니다.