기술 요약: 암시적 신경 표현을 위한 스펙트럼 에너지 중심점

문제 제기

암시적 신경 표현 (INRs) 은 다층 퍼셉트론 (MLP) 을 활용하여 연속 신호를 모델링하며, 장면 모델링 및 이미지 재구성 등의 작업에 대해 컴팩트하고 미분 가능한 표현을 제공합니다. 그러나 표준 MLP 는 "스펙트럼 편향 (spectral bias)"을 나타내는데, 이는 신호의 고주파 성분에 비해 저주파 성분을 더 빠르게 학습하려는 경향입니다. 이러한 편향은 미세한 세부 사항의 포착을 방해하므로, Siren 의 $\omega_s$나 Fourier 의 $\sigma$와 같은 특정 하이퍼파라미터로 제어되는 고주파 입력 매핑 (임베딩) 의 사용이 필요합니다.

식별된 핵심 과제는 임베딩 주파수 파라미터를 최적화하여 선택하는 데 있는 어려움입니다. 이전 연구 (예: FreSh) 는 훈련되지 않은 모델의 출력 스펙트럼을 대상 이미지와 정렬함으로써 이를 자동화하려 시도했으나, 이러한 휴리스틱은 특히 깊이에 따른 모델 아키텍처의 상당한 영향을 고려하지 못했습니다. 기존 방법들은 종종 스펙트럼 편향이 서로 다른 모델 크기 전반에 걸쳐 정적이라고 가정하여, 더 깊은 모델은 용량에 비해 너무 낮은 주파수를 받아들이는 등 과소 구성되고, 더 작은 모델은 과대 구성되는 비최적 구성을 초래합니다. 또한, 전체 주파수 스펙트럼의 다차원적 특성으로 인해 이를 직접 비교하거나 최적화하는 데 어려움이 있습니다.

방법론

이러한 한계를 해결하기 위해 저자들은 대상 이미지의 주파수 내용과 INR 모델의 스펙트럼 편향을 모두 정량화하도록 설계된 스칼라 지표인 **스펙트럼 에너지 중심점 (Spectral Energy Centroid, SEC)**을 도입합니다.

1. 스펙트럼 에너지 중심점 (SEC)

SEC 는 이미지의 이산 푸리에 변환 (DFT) 에서 유도됩니다. 과정은 다음과 같습니다:

• 에너지 스펙트럼 계산: 푸리에 계수의 제곱 크기를 계산하고 반경 주파수 $r$별로 집계하여 에너지 스펙트럼 $E(A, r)$을 형성합니다.
• 정규화: 에너지 스펙트럼을 정규화하여 확률 분포 $\tilde{E}(A)$를 생성합니다.
• 중심점 계산: 이 분포 하에서 주파수의 가중 평균을 계산합니다:
  $$SEC(A) = \sum_{r=1}^{R} r \cdot \tilde{E}(A, r)$$
  이는 신호 전력으로 가중된 "평균 주파수"를 나타내는 단일 스칼라 값을 산출합니다. 저자들은 이 지표를 대상 이미지와 훈련되지 않은 모델의 출력 (스펙트럼 편향을 근사하기 위해) 을 모두 특징짓는 데 사용합니다.

2. SEC-Conf (데이터 기반 구성)

저자들은 작은 보정 집합을 활용하는 하이퍼파라미터 선택 전략인 SEC-conf를 제안합니다.

• 보정: 이미지 집합을 사용하여 그리드 검색을 통해 최적의 임베딩 주파수 파라미터를 찾습니다. 이러한 (이미지 SEC, 최적 파라미터) 쌍은 룩업 테이블을 형성합니다.
• 선택: 새로운 대상 이미지의 경우, 해당 이미지의 SEC 를 계산합니다. SEC 값을 기반으로 보정 집합에서 가장 가까운 이웃을 찾아 최적 파라미터를 검색합니다.
• 근거: 이 접근법은 유사한 SEC 점수를 가진 이미지들이 주어진 아키텍처에 대해 유사한 최적 구성을 공유한다고 가정하며, 스펙트럼 특성과 모델 행동 간의 관계를 효과적으로 학습합니다.

3. 주파수 정렬

다양한 INR 아키텍처 (예: Siren, Fourier, Finer, Wire) 간 공정한 비교를 가능하게 하기 위해 저자들은 **주파수 정렬 (Frequency Matching)**을 제안합니다. 이 방법은 SEC 값의 차이를 최소화하는 대상 파라미터 $F$를 찾아 대상 모델의 스펙트럼 편향을 기준 모델과 정렬합니다:
$$Fit_{Ref}(F) = \arg \min_F |SEC(Model_F) - SEC(Ref_{F_{ref}})|$$
이를 통해 연구자들은 모델들이 비교 가능한 스펙트럼 편향으로 시작하도록 보장함으로써 튜닝 효과와 아키텍처 효과를 분리할 수 있습니다.

주요 기여

1. 스펙트럼 편향의 정량화: 본 논문은 SEC 를 활용하여 모델 깊이와 스펙트럼 편향 간의 강력하고 이전에 간과되었던 의존성을 드러냅니다. 실험에 따르면 모델 깊이가 증가함에 따라 모델의 고유한 스펙트럼 편향이 더 높은 주파수로 이동하여 최적 성능을 유지하기 위해 더 높은 임베딩 파라미터가 필요함이 확인되었습니다.
2. SEC-conf 전략: 모델 크기를 고려함으로써 기존 휴리스틱 (FreSh 등) 을 능가하는 견고한 데이터 기반 임베딩 레이어 구성 방법입니다. 특히 더 큰 모델의 경우 최적 구성을 식별하는 데 있어 더 높은 적중률을 보여줍니다.
3. 복잡성 대리 지표로서의 SEC: 저자들은 SEC 가 신호 복잡성에 대한 신뢰할 수 있는 대리 지표임을 검증하여, SEC 값과 재구성 품질 (PSNR) 간의 강한 음의 상관관계를 보였습니다. 더 높은 SEC 값 (복잡한 질감과 미세한 세부 사항을 나타냄) 은 더 낮은 재구성 성능에 해당합니다.
4. 아키텍처 간 정렬: 서로 다른 아키텍처 간 스펙트럼 편향을 정렬하는 프레임워크를 제시하여, 스펙트럼 편향이 적절히 정렬되면 기존 또는 표준 모델이 Finer 와 같은 최신 모델의 성능과 대등해질 수 있음을 입증했습니다.

실험 결과

저자들은 LIU4K-v2 데이터셋의 100 개 이미지 벤치마크를 네 가지 아키텍처 (Siren, Fourier, Finer, Wire) 와 세 가지 모델 규모 (Small, Medium, Large) 에 걸쳐 평가했습니다.

• 성능 향상: SEC-conf 는 일관되게 기본값 및 FreSh 휴리스틱을 능가했습니다. 예를 들어, Large (L) Siren 구성에서 SEC-conf 는 34.49의 PSNR 을 달성한 반면, FreSh 은 34.07, 기본값은 32.06이었습니다.
• 아키텍처 통찰:
  • 깊이 vs. 너비: SEC 는 모델 깊이와 함께 크게 증가하여, 더 깊은 모델에 대해 주파수를 낮추는 FreSh 이 실패하는 이유를 설명합니다. 반면, 모델 너비는 대부분의 아키텍처에서 스펙트럼 편향에 미미한 영향을 미치며, 너비 확장 (width scaling) 은 더 예측 가능함을 시사합니다.
  • Wire 이상치: Wire 아키텍처는 모든 크기에서 극도로 높은 SEC 값을 보였으며, 이는 낮은 성능과 상관관계가 있어 기본 고주파 편향이 해롭다는 것을 시사합니다.
• 정확도: SEC-conf 는 FreSh 의 정적 편향 가정이 심각한 오류로 이어지는 더 큰 모델의 경우 특히 FreSh 보다 최적 파라미터를 예측하는 데 훨씬 높은 정확도를 보여주었습니다.
• 정렬: Siren 과 Fourier 모델을 Finer 아키텍처에 주파수 정렬했을 때, 대규모 설정에서 Finer 와 성능이 동등해졌으며, 이는 Finer 의 우위가 선천적인 아키텍처적 우수성보다는 더 공격적인 기본 스펙트럼 편향에 부분적으로 기인함을 증명했습니다.

중요성 및 주장

본 논문은 SEC 가 아키텍처 깊이를 무시하는 휴리스틱의 한계를 넘어 INR 행동을 분석하는 "더 명확한 렌즈"를 제공한다고 주장합니다. 복잡한 주파수 스펙트럼을 단일하고 해석 가능한 스칼라로 축소함으로써 SEC 는 신호 복잡성, 모델 용량, 그리고 재구성 품질 간의 관계를 더 깊이 이해하는 데 기여합니다.

저자들은 SEC-conf 가 데이터가 없는 FreSh 과 달리 오프라인 보정 집합에 의존하지만, 다양한 아키텍처와 깊이 전반에 걸쳐 스펙트럼 특성과 모델 행동 간의 일반화 가능한 관계를 포착하기 위해 이 교환이 필요하다고 강조합니다. 이 작업의 주요 가치는 특정 구성 전략 그 자체에 있는 것이 아니라, 향후 스펙트럼 편향 및 INR 설계 연구의 근본적인 도구로서 SEC 를 확립하는 데 있습니다.

인정된 한계:

• SEC 는 1 차원 요약이므로, 서로 다른 스펙트럼 모양이 동일한 중심점으로 매핑될 수 있습니다.
• SEC-conf 는 보정 집합을 생성하기 위한 사전 비용이 필요한 반면, FreSh 은 사전 데이터 없이 단일 이미지로 작동합니다.
• 이 방법은 유사한 SEC 점수가 유사한 최적 구성을 의미한다고 가정하며, 이는 근사치입니다.