기술 요약: 적응형 암시적 신경 표현을 위한 감쇠 진동 기반 스펙트럼 게이팅

1. 문제 정의

암시적 신경 표현(Implicit Neural Representations, INRs)은 연속적인 신호(이미지, 오디오, 형상 등)를 좌표 기반 신경망의 가중치로 인코딩한다. 이 분야의 근본적인 과제는 **스펙트럼 딜레마(spectral dilemma)**이다:

• 주기적 활성화 함수(예: SIREN)는 무한한 대역폭을 가져 고주파 세부 사항을 표현할 수 있다. 그러나 이는 모든 주파수를 통과시키는 올패스 필터(all-pass filter)로 작용하며 내재적인 정규화 기제가 없어, 노이즈를 기억하거나 수렴이 불안정해지는(오버슈팅) 현상이 발생하기 쉽다.
• 공간적으로 압축된 활성화 함수(예: 가우시안)는 내재적인 정규화와 매끄러움을 제공하지만, 강한 저주파 편향(low-frequency bias)을 가져 미세하거나 진동하는 콘텐츠를 포착하는 데 한계가 있다.
• 이러한 트레이드오프를 해결하려는 기존의 시도들(예: WIRE, FINER, Fourier Reparametrisation)은 종종 계산 오버헤드를 유발하거나, 작업별 하이퍼파라미터 튜닝이 필요하며, 노이즈에 대해 강건하게 대역폭을 적응시키는 공식적인 메커니즘이 부족하다.

저자들은 기존의 어떤 방법도 명시적인 정규화 없이 노이즈와 일관된 신호 콘텐츠를 구분하기 위해 네트워크의 스펙트럼 대역폭을 훈련 중에 동적으로 적응시키는 메커니즘을 제공하지 못한다고 주장한다.

2. 방법론: 강제 감쇠 조화 진동자 (Forced Damped Harmonic Oscillator, FDHO)

제안된 방법은 각 뉴런의 활성화를 **사인파로 강제된 감쇠 조화 진동자(sinusoidally-forced damped harmonic oscillator)**의 정상 상태 응답으로 모델링한다.

활성화 정의

학습 가능한 파라니미터 $\theta = (\omega, \omega_n, \xi, \varphi)$가 주어졌을 때 ($\omega$는 강제 주파수, $\omega_n$은 고유 주파수, $\xi$는 감쇠 계수), 활성화 함수 $\sigma: \mathbb{R} \to \mathbb{R}$는 다음과 같이 정의된다:
$$\sigma(z; \theta) = A(\omega, \omega_n, \xi) \sin(\omega z + \varphi)$$
진폭 $A$는 2차 선형 시스템의 전달 함수로부터 유도된다:
$$A(\omega, \omega_n, \xi) = \frac{\omega_n^2}{\sqrt{(\omega_n^2 - \omega^2)^2 + (2\xi\omega_n\omega)^2}}$$
결정적으로, 진폭은 자유 파라미터가 아니라 주파수 및 감쇠와 물리적으로 결합되어 있다. 네트워크는 표준 가중치 $(W, b)$와 함께 진동자 파라미터 $\theta$를 공동으로 최적화한다.

스펙트럼 게이팅 메커니즘

핵-이론적 기여는 감쇠 계수 $\xi$의 그래디언트 역학을 통한 **암시적 스펙트럼 정규화(implicit spectral regularisation)**의 유도이다.

• 그래디언트 분해: 재구성 손실 $\mathcal{L}$에 대한 $\xi$의 그래디언트는 두 개의 경쟁하는 항으로 분해된다:
  1. 자기 상호작용 항 ($T_{self}$): 항상 음수이며, $\xi$를 증가시켜 대역폭을 좁히도록 밀어낸다. 이는 정규화 힘으로 작용한다.
  2. 신호 항 ($T_{signal}$): 캐리어 주파수와 타겟 신호 사이의 상관관계에 비례한다. 타겟이 캐리어 주파수에서 일관된 에너지를 포함하는 경우에만 양수이며, $\xi$를 감소시켜 대역폭을 넓히도록 밀어낸다.
• 게이팅 조건: 스펙트럼 게이트는 오직 신호 상관관계가 자기 상호작용에 의해 결정된 임계값을 초과할 때만 열린다(고주파 콘텐츠를 허용한다).
  • 일관된 신호: 게이트가 열려 네트워크가 해당 주파수를 맞출 수 있게 한다.
  • 무작위 노이즈: 상관관계가 0에 가까우므로, 자기 상호작용 항이 지배하여 게이트를 닫힌 상태로 유지하고 노이즈 기억을 방지한다.
  • 불일치 주파수: 직교성(orthogonality)으로 인해 게이트가 닫힌 상태를 유지한다.

단계적 정밀 학습 커리큘럼 (Coarse-to-Fine Learning Curriculum)

이 방법은 시스템을 "정지 대역(stop-band)"(낮은 진폭, 높은 감쇠)에 위치시키는 파라미터로 초기화된다. 훈련이 진행됨에 따라 손실 함수가 더 풍부한 주파수 콘텐츠를 요구하면 대역폭이 자연스럽게 확장된다. 이는 명시적인 스케줄링 없이 단계적 정밀 학습 커리큘럼을 생성한다. 즉, 네트워크는 먼저 저주파 구조를 포착한 다음, 재구성 목적 함수에 의해 정당화될 때만 고주파 세부 사항을 수용한다.

다층 구성

심층 네트워크에서 이러한 층들을 연쇄적으로 구성하면 주파수 변조 신호가 생성된다. 레이어 $\ell$에서의 유효 변조 지수는 $\beta_\ell = \omega_\ell w_\ell \prod_{k=1}^{\ell-1} A_k$이다. $A_k$는 감쇠에 의존하는 학습 가능한 값이기 때문에, 네트워크는 각 깊이에서의 조화 대역폭에 대한 명시적인 제어권을 갖게 되며, 이는 SIREN에서 관찰되는 베셀 함수(Bessel-function)에 의해 제어되는 조화 성질을 학습 가능한 영역으로 확장한다.

3. 주요 기여

1. 물리 기반 활성화: 감쇠 조화 진동자의 정상 상태 응답에서 유도된 새로운 활성화 함수를 도입하여, 진폭과 주파수 사이의 물리적 결합을 구현하였다.
2. 암시적 스펙트럼 게이팅: 감쇠 계수의 그래디언트 역학이 명시적인 손실 페널티나 구조적 변경 없이도 노이즈와 일관된 신호를 자연스럽게 구분한다는 것을 입증하는 이론적 증명(Corollary 1)을 제시하였다.
3. 적응형 대역폭: 네트워크가 훈련 중에 스스로 스펙트럼 선택성을 조정하게 함으로써, 작업별 하이퍼파라미터 튜닝의 필요성을 제거하였다.
4. 통합 프레임워크: 단일 아키텍처와 파라미터 세트로 다양한 작업(신호 피팅, 디노이징, 인페인팅, 초해상도, CT 재구성)에서 수정 없이 경쟁력 있는 성능을 발휘한다.

4. 실험 결과

저자들은 다양한 작업에 대해 FDHO를 8개의 확립된 INR(SIREN, Gauss, WIRE, FINER, BACON, MFN, Fourier Features, FR)과 비교 평가하였다.

• 신호 및 오디오 피팅: FDHO는 테스트된 모든 1D 신호 및 오디오 클립(Bach, Counting)에서 가장 높은 최종 PSNR을 달取得했다. SIREN이 종종 피크 성능과 최종 성능 사이에 큰 격차를 보이는 것(불안정성/오버슈팅 지표)과 달리, FDHO는 안정적인 수렴을 보여주었다.
• 이미지 피팅: FDHO는 5가지 다양한 이미지에서 SOTA(State-of-the-art) 또는 경쟁력 있는 결과를 얻었으며, 종종 SIREN 및 FINER를 상당한 차이로 앞질렀다(예: "Bikers" 이미지에서 최대 10 dB). 또한 SIREN 특유의 "오버슈트 후 감쇠(overshoot-then-decay)" 동작을 제거하였다.
• 디노이징: 명시적인 디노이징 손실 없이도 이미지 디노이징 작업에서 FDHO는 모든 베이스라인을 크게 능가하였다. FDHO는 순수하게 자신의 유도 편향(inductive bias)을 통해 신호와 노이즈를 성공적으로 분리해냈으며, 반면 SIREN과 다른 모델들은 저주파 편향을 가진 방법들의 수준으로 성능이 저하되었다.
• CT 재구성: 노이즈가 많고 희소한 투영(sparse projections)으로부터의 CT 스캔 재구성에서 FDHO는 두 번째로 우수한 방법인 MFN보다 거의 3 dB 높은 PSNR을 달성하며 앞서 나갔다.
• 인페인팅 및 초해상도: FDHO는 인페인팅에서 SIREN과 대등하거나 이를 능가하는 경쟁력을 유지하였고, 초해상도에서 최상위 결과를 얻었으나, 매우 규칙적이고 반복적인 텍스처(variable-periodic methods인 FINER가 우수한 영역)에서는 다소 낮은 성능을 보이기도 했다.
• SDF 피팅: FDHO는 복잡한 기하학적 구조에서 SIREN보다 뛰어난 성능을 보이며 3D 형상 재구성에서 경쟁력 있는 결과를 나타냈다.

계산 비용: FDHO는 SIREN 대비 미미한 파라미터 오버헤드(0.007% 증가)를 도입하며, 주로 듀얼 옵티마이저 설정과 학습률 스케줄링으로 인해 약 1.4배의 훈련 시간 증가가 발생하지만, 이는 기존의 복잡한 INR 범위 내에 머문다.

5. 의의 및 주장

본 논문은 FDHO가 활성화의 미분 가능한 구조 안에 스펙트럼 제어를 내장함으로써 스펙트럼 딜레마를 해결한다고 주장한다. 주요 의의는 이 방법의 강건함과 적응성에 있다:

• 노이즈 제거: 이 방법은 고정된 스펙트럼 천장이나 명시적인 정규화 항에 의존하지 않고 노이즈를 거부하는 공식적인 메커니즘을 제공한다.
• 안정성: 진폭을 물리적 전달 함수를 통해 주파수와 결합함으로써, 파라미터가 분리된 "적응형 SIREN" 변형 모델에서 관찰되는 퇴보적 해(degenerate solutions)와 파라미터 드리프트 현상을 방지한다.
• 일반화: 이 접근 방식은 작업별 하이퍼파라미터 튜닝을 요구하지 않으면서도, 광범위한 역문제(inverse problems)와 신호 유형에 대해 SOTA 또는 경쟁력 있는 결과를 달성한다.

저자들은 활성화 설계와 훈련 역학 사이의 상호작용이 INR 성능의 핵심이며, 스펙트럼 게이팅 특성을 가진 물리 시스템으로부터 활성화를 유도하는 것이 원칙적인 경로를 제공한다고 결론짓는다. 그들은 이 방법이 노이즈가 있고 결정 불가능한(ill-posed) 환경에서 탁월한 성능을 보이지만, 깨끗하고 공간적으로 불완전한 관측값이나 매우 규칙적인 텍스처가 있는 시나리오에서는 이점이 적을 수 있음을 인정한다. 향후 연구로는 파라미터를 뉴런별로 확장하는 것과 다층 그래디언트 역학을 더욱 공식화하는 것이 포함된다.