기술 요약: 임의 스케일 이미지 초해상도를 위한 적응적 가우시안 할당 학습

1. 문제 정의

전통적인 초해상도(Super-Resolution, SR) 방법들은 일반적으로 고정된 정수 배율(예: $\times 2, \times 4$)을 위해 설계되었습니다. 그러나 VFX 합성, 커스텀 해상도 렌더링, 포비에이티드(foveated) VR과 같은 실제 응용 분야에서는 임의의 비정수 배율로 업스케일링이 필요합니다. 기존의 임의 스케일 SR(Arbitrary-Scale SR, ASR) 접근 방식은 두 가지 주요 한계에 직면해 있습니다:

1. 연속적 표현의 비효소성: 암시적 신경 표현(Implicit Neural Representations, INR)은 MLP를 통해 연속적인 좌표를 디코딩하지만, 픽셀 단위의 전수 쿼리는 고해상도에서 심각한 계산 병목 현상을 초도합니다.
2. 균등한 자원 할당: 2D 가우시안 스플래팅(Gaussian Splatting, GS)을 ASR에 적용한 최근의 방식들(예: GaussianSR, GSASR)은 **균등 밀집 전략(uniform densification strategy)**을 적용합니다. 이들은 평탄한 배경에 할당되는 것과 동일한 가우시안 예산을 복잡한 질감에도 할당합니다. 이는 가우시안의 본질적인 적응성을 무시하며, 구조적 복잡성이 요구되는 곳에 자원을 집중시키지 못하는 동시에 불필요한 계산 오버헤드와 메모리 사용량을 초래합니다.

또한, GS를 피드포워드(feed-forward) ASR 모델로 전환하는 것은 간단하지 않습니다. 표준 GS 최적화는 프리미티브 성장을 유도하기 위해 고해 resolution의 정답(ground-truth) 그래디언트에 의존합니다. 피드포워드 ASR 환경에서는 추론 중에 이러한 고해상도 타겟을 사용할 수 없으므로, 네트워크는 저해상도(LR) 입력으로부터 필요한 가우시안 밀집도를 자율적으로 예측해야 합니다.

2. 방법론: QuADA-GS

저자들은 이미지의 국부적 복잡도와 타겟 스케일에 따라 가우시안 프리미티브를 동적으로 할당하는 프레임워크인 QuADA-GS(Quadtree Adaptive Gaussian Splatting)를 제안합니다. 이 아키텍처는 네 가지 주요 단계로 구성됩니다.

2.1 특징 추출 및 스케일 조건부 정제

입력 LR 이미지는 인코더 불가지론적 백본(encoder-agnostic backbone)에 의해 처리되어 특징을 추출합니다. 임의의 스케일을 처리하기 위해, 네트워크는 해상도 불변 가우시안 임베딩을 갖춘 **윈도우 기반 타일링(window-based tiling)**을 사용합니다. 이 임베딩은 두 단계 어텐션 메커니즘을 통해 정제됩니다:

• 스케일 조건부 교차 어텐션(Scale-Conditioned Cross-Attention): 역 타겟 스케일($1/s$)로부터 유도된 학습된 스케일 임베딩($e_s$)을 사용하여 임베딩을 변조하고, 윈도우 교차 어텐션을 통해 국부적 이미지 컨텍스트를 수집합니다.
• 가우시안 셀프 어텐션(Gaussian Self-Attention): 시프트 윈도우 분할(shifted-window partitioning)을 포함한 윈도우 셀프 어텐션을 통해 내부적으로 통신함으로써 공간적 일관성을 보장하고 중첩 아티팩트를 방지합니다.

2.2 뉴럴 라우팅 아키텍처 (동적 예산 할당)

균등한 업샘플링 대신, **미분 가능한 뉴럴 라우팅 아키텍처(Differentiable Neural Routing Architecture)**가 정제된 잠재 특징을 분석하여 각 픽셀의 최적 확장 계수를 결정합니다.

• 이산 라우팅(Discrete Routing): 라우터는 하나의 특징을 4개, 16개 또는 64개의 자식(가우시안)으로 분할하는 세 가지 업샘플링 레벨($L_0, L_1, L_2$)에 대한 확률 분포를 예측합니다.
• 미분 가능성: 그래디언트 흐름을 유지하면서 이산적인 라우팅 결정을 샘플링하기 위해 Gumbel-Soft-Max 트릭과 Straight-Through Estimator(STE)가 사용됩니다.
• 예산 제약(Budget Constraints): 과다 할당(모든 곳에 최대 밀도를 예측하는 것) 또는 과소 할당을 방지하기 위해, 모델은 훈련 중에 정답으로부터 계산된 **구조 텐서(Structure Tensor)**를 활용합니다. 이는 국부적 복잡도(에지 vs 질감)를 나타내는 "구조 맵"을 생성합니다. **예산 매칭 손실(budget-matching loss, $L_{budget}$)**은 라우터의 총 예측 비용이 타겟 이미지의 전역적 구조 복잡도와 일치하도록 강제하여, 렌더링 에러를 최소화하는 곳에 예산을 분배할 수 있는 공간적 자율성을 라우터에게 부여합니다.

2.3 계층적 포인터 컨볼루션 (Hierarchical Pointer Convolution, HPC)

동적 라우팅은 가변 밀도 및 비격자 토폴로지(쿼드트리와 유사)를 생성하며, 이는 표준 격자 컨볼루션을 깨뜨립니다. 밀집 연산의 메모리 오버헤드나 희소 해시 테이블의 복잡성 없이 효율적인 공간 통신을 가능하게 하기 위해, 저자들은 **계층적 포인터 컨볼루션(HPC)**을 도입합니다.

• 포인터 그리드(Pointer Grid): 경량화된 밀집 인덱스 그리드는 현재 계층 수준에서의 특징에 대한 스칼라 식별자를 저장합니다.
• $O(1)$ 룩업(Lookup): HPC는 적응형 오프셋을 사용하여 특징의 풋프린트 경계에서 포인터 그리드를 샘플링함으로써 위상적 이웃을 검색합니다. 이를 통해 시스템은 해상도 레벨에 관계없이 상수를 시간 복잡도로 이웃을 수집할 수 있습니다.
• 희소 업데이트(Sparse Update): 특징은 모은 이웃들을 융합하여 잔차 방식으로 업데이트되며, 이를 통해 거친 배경 특징과 미세한 디테일 간의 원활한 조율이 가능해집니다.

2.4 가우시안 예측 및 래스터화

조율된 특징들은 2D 가우시안 프리미티브(위치, 공분산, 불투명도, 색상)로 디코딩됩니다.

• 레벨 인식 변조(Level-Aware Modulation): 공유 MLP가 가우시안 파라미터를 예측하지만, 물리적 경계(표준 편차)는 레벨 인식 변조 계수($m_{l_i}$)를 통해 MLP 출력으로부터 분리되어 다양한 확장 레벨 간의 훈련을 안정화합니다.
• 연속적 래스터화: 프리미티브는 연속적인 정규화 공간에서 직접 래스터화되어, 임의의 출력 해상도에 대해 스케일 불변 렌더링을 가능하게 합니다.
• 손실 함수: 총 손실은 렌더링 에러, 예산 매칭 손실, 그리고 **라우팅 품질 손실($L_{rout}$)**을 결합합니다. $L_{rout}$는 공간적 재구성 에러가 높은 영역에 거친 레벨을 할당하는 것에 대해 라우터에 페널티를 부여하여, 필요한 곳에 미세한 디테일이 할당되도록 보장합니다.

3. 주요 기여

1. 뉴럴 라우팅 아키텍처: 균등한 밀집화를 대신하여, 입력 복잡도에 따라 2D 가우시안 예산을 동적으로 정의하고 공간적으로 할당하는 쿼드트리 기반의 토폴로지를 제공합니다.
2. 계층적 포인터 컨볼루션 (HPC): 토폴로지적 이웃 룩업을 위해 $O(1)$ 복잡도를 달성하는 새로운 연산자입니다. 이는 메모리 병목 현상 없이 가변 밀도 토폴로지 간의 효율적인 공간적 협업을 촉진합니다.
3. 최첨단 ASR 성능: QuADA-GS는 밀집형 경쟁 모델들에 비해 적은 메모리 점유율을 유지하면서도 우수한 질감 재구성과 지각적 충실도를 달고 달성합니다. 이는 밀집 그리드 모델에서 OOM(Out-of-Memory) 오류를 일으킬 수 있는 방대한 가우시안 수까지 확장할 수 있게 합니다.

4. 실험 결과

모델은 DIV2K 데이터셋으로 훈련되었으며, $\times 2$에서 $\times 30$ 사이의 스케일에 대해 표준 벤치마크(Urban100, Set5, Set14 등)에서 평가되었습니다.

• 재구성 품질: QuADA-GS는 특히 구조가 풍부한 Urban100 데이터셋에서 PSNR, SSIM, LPIPS, DISTS 지표에 대해 새로운 SOTA(State-of-the-Art)를 기록했습니다. 이는 암시적 방법(LIIF, Meta-SR) 및 다른 GS 기반 접근 방식(GaussianSR, GSASR)보다 뛰어납니다.
• 극한 스케일: 입력 신호가 심하게 저하되는 극한의 업샘플링 배율($\times 16, \times 24, \times 30$)에서도 QuADA-GS는 가장 경쟁력 있는 GS 기반 방법으로서, 암시적 베이스라인보다 우수한 구조적 정보를 추출합니다.
• 효율성:
  • 속도: "밀집 인덱스, 희소 연산" 패러다임을 채택함으로써, QuADA-GS는 밀집 업샘플링 베이스라인 대비 약 61% 빠른 추론 속도와 35%의 메모리 감소를 달성했습니다.
  • 비교: 높은 충실도를 위해 더 많은 총 가우시안 수를 필요로 하므로 엄격한 그리드 방식인 GSASR보다는 본질적으로 더 많은 VRAM을 사용하지만, 타겟 해상도에 따라 성능이 급격히 저하되는 암시적 방법들보다는 훨씬 빠릅니다.
• Ablation 연구:
  • 라우팅: 학습된 뉴럴 라우팅이 휴리스틱 구조 맵보다 우수합니다.
  • HPC: HPC 블록을 제거하면 공간적 협업이 방해받아 품질이 크게 저하됩니다.
  • 변조: 레벨 인식 변조는 다양한 확장 스케일 간의 안정적인 훈련에 필수적입니다.
  • 백본: RDN이 필요한 고주파 특징을 추출하는 데 EDSR보다 효과적임이 입증되었습니다.

5. 의의 및 주장

본 논문은 QuADA-GS가 가우시안 스플래팅의 연속적 표현 능력과 임의 스케일 초해상도의 효율성 요구 사항 사이의 간극을 성공적으로 메웠다고 주장합니다. 균등한 처리를 탈피함으로써, 이 모델은 인간의 시각적 주의력을 모방하여 구조적 복잡성이 요구되는 곳에만 계산 자원을 집중합니다.

저자들은 자신들의 접근 방식이 고정된 그리드 방식의 ASR의 경직성을 깨뜨린다는 점을 강조합니다. **계층적 포인터 컨볼루션(HPC)**의 도입은 가변 밀도 토폴로지에서 과도한 메모리 비용 없이 효율적인 공간 통신을 가능하게 하는 핵심적인 동력으로 강조됩니다. 이 방법이 밀집형 베이스라인에 비해 속도와 메모리 사용량을 크게 개선함에도 불구하고, 저자들은 쿼드트리 토폴로지가 우수한 충실도를 보장하기 위해 균등 그리드보다 더 많은 총 가우시안을 할당한다는 점을 고려할 때, 절대적인 메모리 오버헤드를 완화하는 것이 향후 연구의 과제로 남아 있음을 겸허히 언급하고 있습니다.