기술 요약: 이미지 초해상도를 위한 개별화된 탐색적 트랜스포머 (Individualized Exploratory Transformer for Image Super-Resolution)

문제 정의

단일 이미지 초해상도(SISR)는 저해상도(LR) 입력으로부터 고해상도(HR) 이미지를 재구성하는 것을 목표로 합니다. 트랜스포머 기반 방법론들은 장거리 의존성을 모델링함으로써 최첨단 성능을 달est 성취해 왔으나, 표준 셀프 어텐션의 이차 복잡도(quadratic complexity)로 인해 높은 계산 비용 문제를 겪고 있습니다. 이를 완화하기 위해, 기존 방식들은 로컬 윈도우(예: SwinIR)나 시맨틱 카테고리(예: ATD)와 같이 고정된 그룹 내로 어텐션을 제한하는 전략을 주로 사용합니다.

그러나 저자들은 이러한 "그룹화된 어텐션(grouped attention)" 전략이 토큰 유사성의 **내재적 비대칭성(inherent asymmetry)**을 간과하고 있다고 주장합니다. SISR에서 특정 토큰은 미세한 구조를 복원하기 위해 먼 이웃으로부터의 정보가 필요할 수 있지만, 그 이웃이 반드시 원래의 토큰으로부터 정보를 필요로 하는 것은 아닙니다. 고정된 그룹화는 경직된 경계를 부과하고 대칭적 집합(symmetric aggregation)을 강제하여, 토큰이 전체 이미지에 걸쳐 가장 관련성이 높은 일방향 이웃을 적응적으로 선택하는 것을 방해합니다. 이러한 한계는 중복된 정보 흐름과 최적화되지 않은 재구성을 초래합니다.

방법론: 개별화된 탐색적 트랜스포머 (IET)

이러한 한계를 해결하기 위해, 본 논문은 새로운 개별화된 탐색적 어텐션(Individualized Exploratory Attention, IEA) 메커니즘을 중심으로 하는 **개별화된 탐색적 트랜스포머(IET)**를 제안합니다. 고정 그룹 방식과 달리, IEA는 각 토큰이 콘텐츠 유사도에 기반하여 어텐션 후보를 적응적이고 독립적으로 선택할 수 있도록 하며, 비대칭적인 방식으로 작동합니다.

핵심 구성 요소

1. 개별화된 탐색적 어텐션 (IEA)
IEA는 표준 셀프 어텐션을 계층별 정교화(layer-wise refinement)를 통해 로컬에서 글로벌로, 콘텐츠 인지형 어텐션으로 진화하는 동적인 프로세스로 대체합니다. 이는 세 가지 단계로 구성됩니다:

• 초기화(Initialization): 첫 번째 블록에서 어텐션 후보는 다이레이션(dilation) 전략을 사용하여 초기화됩니다. 이는 작은 로컬 영역 내에서 조밀한 어텐션을 수행하는 동시에, 더 큰 $d \times d$ 패치로부터 토큰을 균일하고 희소하게 샘플링합니다. 이는 로컬 디테일과 거친 글로벌 컨텍스트 사이의 균형을 맞추며 다양한 초기 후보군을 제공합니다.
• 전파 메커니즘(Propagation Mechanism): 후속 블록에서 이 메커니즘은 고차 연결(higher-order connections)을 탐색함으로써 수용 영역(receptive field)을 확장합니다. 만약 토큰 $A$가 $B$와 유사하고, $B$가 $C$와 유사하다면, 메커니즘은 $C$를 $A$의 직접적인 후보로 포함하도록 전파됩니다("two-hop" 이웃). 이를 통해 어텐션 범위가 공간적일 뿐만 아니라 시맨틱하게 확장될 수 있습니다.
• 희소화 메커니즘(Sparsification Mechanism): 계산 효율성을 유지하기 위해, 이전 레이어에서 식별된 낮은 유사도의 연결은 제거(pruning)됩니다. 오직 상위-$K$개의 가장 유사한 이웃만이 다음 레이어를 위해 유지됩니다. 이는 어텐션 후보가 관련성을 유지하도록 보장하며, 계산 비용이 토큰 수에 대해 선형($O(kN)$)을 유지하도록 합니다.

2. 유사도 융합 피드 포워드 네트워크 (SF-FFN)
저자들은 IEA에서 얻은 정교한 유사도 관계를 활용하는 수정된 피드 포워드 네트워크를 도입했습니다. 각 토큰에 대해, SF-FFN은 현재의 어텐션 인덱스를 기반으로 가장 유사한 이웃을 식별하고, 해당 토큰을 이 이웃으로 대체한 뒤, 헤드 단위 MLP와 뎁스와이즈 컨볼루션(depthwise convolution)을 사용하여 두 표현을 융합합니다. 이는 상관관계가 높은 토큰 간의 교차 채널 상호작용을 촉진하여, 크로스 채널 의존성 모델링에 대한 어텐션 모듈의 한계를 보완합니다.

3. 네트워크 아키텍처
전체 IET 아키텍처는 표준 트랜스포머 기반 SR 설계를 따르되, 표준 어텐션 블록을 IEA 블록으로, 표준 FFN을 SF-FFN으로 교체합니다. 상대적 위치 인코딩(Relative Positional Encoding)은 어텐션이 로컬인 첫 번째 블록에서만 사용되며, 이후 레이어에서는 학습 가능한 위치 인코딩(Learnable Positional Encoding, LePE)이 사용됩니다.

주요 기여

1. 개별화된 탐색적 어텐션 (IEA): 콘텐츠 인지적이고 토큰 적응적인 어텐션 후보 선택을 가능하게 하는 메커니즘입니다. 이는 유사한 새로운 토큰을 통해 전파를 통해 후보 집합을 점진적으로 확장하는 동시에, 효율성을 위해 낮은 유사도의 토큰은 제거합니다.
2. 개별화된 탐색적 트랜스포머 (IET): 계산 효율성을 해치지 않으면서 유연하게 글로벌 의존성을 포착할 수 있는 IEA를 사용하는 새로운 아키텍처입니다. 이는 비대칭적 관계를 모델링하여, 토큰이 특징 집합(feature aggregation)을 가장 잘 지원할 수 있는 일방향 이웃을 선택할 수 있게 합니다.
3. 유사도 융합 FFN (SF-FFN): IEA에서 얻은 정교한 유사도 맵을 기반으로 특징을 융합함으로써, 고도로 상관된 토큰 간의 정보 교환을 강화하는 구성 요소입니다.

실험 결과

저자들은 표준 SISR 벤치마크(Set5, Set14, BSD100, Urban100, Manga109)에 대해 $\times2$, $\times3$, $\times4$ 스케일링 팩터에서 IET를 평가했습니다.

• 성능: 유사한 계산 예산 하에서, IET는 최첨단 성능을 달성합니다.
  • 표준 SR 설정($\times2$)에서, IET는 Urban100에서 기존 최고 모델인 PFT보다 0.19 dB, ATD보다 0.39 dB 높은 성능을 보였습니다.
  • 경량 SR 설정에서, IET-light는 Urban100 ($\times2$)에서 PFT-light보다 0.36 dB 우수하며, Urban100 ($\times4$)에서 PFT-light보다 0.21 dB 높은 이득을 달성했습니다.
  • IET-light는 SwinIR의 계산 복잡도의 단 **9.1%**만을 사용하면서도 Set5와 Urban100에서 SwinIR을 능가하는 성능을 보여주었습니다.
• 어블레이션 연구 (Ablation Studies):
  • 전파 메커니즘이 성능 향상의 주요 동력임이 확인되었으며, 이는 단순한 다이레이션 기반 초기화보다 유의미하게 뛰어난 성능을 보였습니다.
  • **희소화(Sparsification)**는 계산 중복을 줄이고 약한 상관관계를 제거함으로써 성능을 약간 향상시켰습니다.
  • SF-FFN은 미미하지만 일관된 이득을 제공하며, 어텐션 맵이 더 안정적인 후반부 블록에 배치했을 때 최적의 결과를 얻었습니다.
  • 최적의 성능은 훈련 시 다이레이션 계수 $d=2$, 추론 시 $d=3$, 그리고 전파 단계에서의 $k_1/k_2$ 비율이 2일 때 달성되었습니다.

의의 및 주장

본 논문은 제안된 IET가 비대칭적이고 개별화된 관계가 복잡한 텍스처를 복원하고 구조를 보존하는 데 매우 중요하다는 것을 입증한다고 주장합니다. 경직된 그룹 경계에서 벗어나 토큰 적응적이고 콘텐츠 인지적인 이웃 탐색으로 전환함으로써, 모델은 더욱 정밀한 정보 집합을 달성합니다.

저자들은 IET가 계산 효율성을 기존의 그룹화된 어텐션 방식과 유사하게 유지하면서도 우수한 재구성 품질(날카로운 에지 및 깨끗한 텍스처)을 달성한다는 점을 강조합니다. 이 연구는 유사성의 방향성을 모델링하는 것이 글로벌 수용 영역과 계산 비용 사이의 더 효과적인 트레이드오프를 가능하게 한다는 것을 시사하며, 초해상도를 넘어 더 넓은 비전 및 언어 작업에 대한 잠재적인 방향을 제시합니다.