기술 요약: 고충실도 암시적 신경 표현을 위한 랭크 최적화

1. 문제 정의

암시적 신경 표현(Implicit Neural Representations, INRs)은 형상, 이미지, 장면, 의료 데이터 등 다양한 신호 양식을 모델링하는 데 있어 다재다능한 프레임워크가 되었습니다. 그러나 표준 ReLU 활성화 함수를 사용하는 일반적인 다층 퍼셉트론(MLP)은 "스펙트럼 편향(spectral bias)"이라는 내재적인 구조적 한계로 인해 고주파 콘텐츠를 효과적으로 표현하지 못한다고 널리 알려져 있습니다.

결과적으로, 이 분야는 이러한 편향을 극복하기 위해 좌표 임베딩(예: Fourier Features)이나 특수 활성화 함수(예: SIREN, WIRE)와 같은 구조적 개입에 주로 집중해 왔습니다. 이러한 방법들은 표현력을 개선하지만, 새로운 과제를 유발합니다. 즉, 매우 표현력이 높은 구조는 암묵적 정규화(implicit regularization)가 부족하여 부적절하게 정의된 역문제(inverse problems)에서 진동 패턴을 유발할 수 있는 반면, 저주파 편향이 있는 구조는 미세한 디테일을 학습하는 데 실패할 수 있습니다.

본 논문은 저주파 편향이 내재적인 구조적 결함이라는 기존의 관점에 이의를 제기합니다. 대신, 저자들은 이것이 **안정적 랭크 저하(stable rank degradation)**의 증상이라고 주장합니다. 그들은 일반적인 MLP가 고주파 신호를 맞추지 못하는 원인이 네트워크 구조 자체가 아니라, 가중치 업데이트의 유효 차원이 붕괴되는 데 있다고 상정합니다.

2. 방법론: 안정적 랭크 관점

저자들은 초점을 구조적 설계에서 **최적화 역학(optimization dynamics)**으로 전환하며, 이를 통합하는 지표로서 안정적 랭크(stable rank) 개념을 활용합니다.

2.1 이론적 프레임워크

논문은 활성화와 가중치 업데이트 사이의 선형 대수적 연결을 확립합니다. 레이어 $l$에 대해, 가중치에 대한 그래디언트는 업스트림 그래디언트와 입력 활성화의 외적으로 정의됩니다: $\nabla W_l \mathcal{L} = G_{l+1} H_l^\top$.

• 랭크 제약: 가중치 업데이트의 행 공간(row space)은 배치 활성화의 스팬(span) 내에 포함됩니다 ($rowspace(\nabla W_l \mathcal{L}) \subseteq colspace(H_l)$).
• 저하: 좌표 기반 네트워크에서 입력 활성화는 종종 저차원 부분 공간에 존재합니다. 신호가 레이어를 통해 전파됨에 따라 비선형성이 국부적으로 랭크를 높일 수는 있지만, 특정 개입이 없다면 네트워크는 점진적으로 더 낮은 차원의 부분 공간에서 작동하는 경향이 있으며, 이는 "랭크 붕괴(rank collapse)"로 이어집니다.
• 안정적 랭크: 저자들은 이러한 업데이트의 유효 차원을 정량화하기 위해 안정적 랭크 $s(A) = \frac{\|A\|_F^2}{\|A\|_2^2}$를 사용합니다. 낮은 안정적 랭크는 업데이트가 몇 개의 특이 방향(singular directions)에 집중되어 있음을 나타내며, 이는 네트워크가 고주파 디테일을 학습하는 능력을 제한합니다.

2.2 기존 개입의 재해석

저자들은 일반적인 구조적 수정 사항들을 이 관점을 통해 재해석합니다:

• 입력 수준 (예: Fourier Features): 이들은 입력 배치 행렬 $H_0$를 확장하여 첫 번째 레이어 업데이트의 안정적 랭크 상한을 높입니다.
• 활성화 수준 (예: SIREN, BatchNorm): 이들은 네트워크 전체에서 활성화의 스팬 $H_l$을 유지하여, 깊이에 따라 랭크가 감소하는 것을 방지하는 것을 목표로 합니다.

2.3 제안된 솔루션: Muon 옵티마이저

논문은 가장 직접적인 해결책이 옵티마이저 수준에서 개입하는 것이라고 제안합니다. 저자들은 그래디언트 업데이트의 등방성(isotropy)을 명시적으로 강제하도록 설계된 직교화 옵티마이저인 Muon을 도입합니다.

• 메커니즘: 가중치 업데이트 행렬 $U$에 대해, Muon은 Newton-Schulz 반복(SVD 근사)을 통해 이를 가장 가까운 준직교 행렬 $Ortho(U)$로 매핑합니다. 이는 업데이트가 모든 특이 방향에 고르게 분포되도록 강제하여, 업데이트의 안정적 랭크를$\min(d_l, d_{l+1})$로 최대화합니다.
• 구현: Muon은 은닉 레이어 가중치 행렬에 적용되는 반면, 안정성과 효율성을 유지하기 위해 편향(bias) 및 입출력 파라미터에는 표준 Adam이 유지됩니다. 이 접근 방식은 모델 불가지론적(model-agnostic)이며 실제 단계별 그래디언트에 작동합니다.

3. 주요 기여

1. 통합 지표로서의 안정적 랭크: 본 논문은 안정적 랭크를 INR의 표현력을 측정하는 핵심 척도로 제안하며, 일반적인 MLP의 저주파 편향은 구조적 한계가 아니라 훈련 중 발생하는 랭크 저하가 주요 원인이라고 주장합니다.
2. 통합 프레임워크: 다양한 구조적 수정(좌표 임베딩, 대체 활성화 함수)의 효과를 안정적 랭크를 높이거나 보존하는 방법으로 설명하는 프레임워크를 제공합니다.
3. Muon 옵티마이저: 저자들은 구조적 변경 없이도 고충실도 신호 학습을 위한 자연스러운 해결책 역할을 하며, 랭크 붕괴를 명시적으로 방지하는 직교화 옵티마이저인 Muon을 제안합니다.
4. 실증적 검증: 광범에한 실험을 통해 Muon이 테스트된 모든 아키텍처(ReLU MLP, SIREN, FINER 등)와 모달리티(이미지, 오디오, 3D 형상, 의료 CT, NeRF)에서 성능을 크게 향상시킴을 입증했습니다.

4. 실험 결과

저자들은 네 가지 도메인에 대해 Adam(및 Lion) 대비 Muon을 평가했습니다:

• 이미지 오버피팅 (Kodak 데이터셋):

  • Muon은 일반 ReLU MLP의 PSNR을 약 7~8 dB 향상시켜 (~22.8에서 ~30.0 dB로), Adam으로 훈련된 Fourier Feature Networks(FFNs)와 대등한 수준으로 끌어올렸습니다.
  • Gaussian MLP, SIREN, FINER에서도 상당한 이득(2~4 dB)이 관찰되었습니다.
  • 안정적 랭크 분석 결과, Adam과 Lion은 상당한 랭크 붕괴를 보이는 반면, Muon은 은닉 레이어에서 높은 랭크를 유지함을 보여주었습니다.

• 오디오 오버피팅:

  • Muon은 모든 아키텍처에서 실질적으로 더 높은 신호 대 잡음비(SNR)를 달축했습니다. ReLU FFN의 경우, SNR이 +12.5 dB 향상되었습니다.
  • 일반 ReLU MLP는 Adam을 사용하여 긴 오디오 클립을 재구성하는 데 실패했으나, Muon을 사용하면 성공했습니다(짧은 세그먼트에 대해). 이는 실패의 원인이 용량 제한보다는 최적화 불안정성에 있었음을 시사합니다.

• 부호 거리 함수 (SDF):

  • Armadillo 및 Thai Statue 데이터셋에서, Muon은 특히 작은 아키텍처(8x32)에서 Chamfer Distance를 줄이고 IoU를 개선했습니다.

• 역문제 (Inverse Problems):

  • CT 재구성: 희소 뷰(sparse-view) CT 재구성에서 Muon은 ReLU MLP의 PSNR을 최대 +7 dB까지 향상시켜, 이질적인 구조에서의 아티팩트를 줄였습니다.
  • 단일 이미지 초해상도 (SISR): Muon은 ReLU FFN을 특히 효과적으로 만들어, 일부 지표에서 강력한 고주파 편향을 가진 아키텍처(FINER 등)보다 우수한 성능을 보였는데, 이는 아마도 직교 업데이트와 결래된 ReLU의 유익한 저주파 편향 덕분일 것입니다.
  • 신경 복사장 (NeRF): Muon은 합성 장면(예: Chair, Hotdog)에서 재구성 아티팩트를 줄이고 PSNR을 최대 +9 dB까지 개선하여, 더 충실한 장면 재구성을 가능하게 했습니다.

5. 의의 및 주장

본 논문은 최적화가 입력 및 활성화 수준의 개입과 상호 보완적인, 아직 충분히 탐구되지 않은 INR 설계의 세 번째 축이라고 주장합니다.

• 구조적 결정론에 대한 도전: 결과는 구조적 변화가 INR 성능의 주요 동인이라는 인식을 뒤엎습니다. 저자들은 최적화만으로도 모델의 충실도를 크게 향提升할 수 있으며, 단순한 ReLU MLP가 고주파 신호를 높은 충실도로 표현할 수 있게 함을 입증합니다.
• 가산적 효과 (Additive Effects): 논문은 입력 수준, 활성화 수준, 그리고 최적화 수준의 개입이 서로 다른 보완적 축에서 작용한다고 주장합니다. 이들을 결합하는 것(예: Fourier Features와 함께 Muon 사용)이 가장 충실한 재구성을 얻는 방법입니다.
• 실무적 영향: Muon을 사용함으로써, 실무자들은 고도로 표현적이고 특화된 네트워크에서 흔히 보이는 진동 패턴에 덜 민가한, 더 단순하고 견고한 구조(예: ReLU MLP)를 사용하여 고충실도 결과를 얻을 수 있습니다.

6. 한계점

저자들은 다음과 같은 몇 가지 한계를 인정합니다:

• 목표 랭크: 안정적 랭크 프레임워크는 진단 도구 역할을 하지만 최적의 목표 랭크를 예측하지는 못합니다. 일부 부적절하게 정의된 역문제에서는 더 낮은 유도된 안정적 랭크가 유익한 암묵적 정규화 역할을 할 수도 있습니다.
• 근사화: Muon은 직교화를 위해 Newton-Schulz 근사를 사용합니다. 논문은 Muon을 최종적인 최적 솔루션이라기보다 더 넓은 설계 공간의 한 점으로 보고, 이 근사가 미치는 영향에 대해 깊이 있게 연구하지 않았습니다.
• 튜닝 복잡성: Muon은 학습률 스케줄(Muon과 보조 Adam 파라미터 간의 별도 비율)에 관한 추가적인 튜닝 복잡성을 도입합니다.
• 표현력 격차: Muon이 격차를 좁히기는 하지만, Muon으로 훈련된 ReLU MLP는 모든 설정에서 SIREN이나 FINER와 같은 특화된 아키텍처보다 여전히 표현력이 낮습니다.