A new initialisation to Control Gradients in Sinusoidal Neural network

기술 요약: 사인파 신경망의 기울기 제어를 위한 새로운 초기화

문제 제기
함수적 신경 표현 (INR), 특히 사인파 활성화 함수 (SIREN) 를 활용하는 모델은 이미지 복원, 신호 인코딩, 편미분 방정식 (PDE) 풀이와 같은 응용 분야에서 고주파 신호 근사에 효과적입니다. 그러나 표준 SIREN 아키텍처는 중요한 트레이드오프에 직면해 있습니다. 표준 멀티레이어 퍼셉트론 (MLP) 의 주파수 편향을 완화하고 고주파수를 학습함으로써 이점을 얻지만, 네트워크 깊이가 증가함에 따라 가짜 고주파 아티팩트가 발생하는 문제가 발생합니다. 이러한 현상은 일반화 능력을 저하시키고 기울기 폭발을 유발합니다. 반면, 표준 초기화 방식 (예: Xavier, Kaiming) 이나 원래의 SIREN 초기화는 심층 주기적 네트워크에서 기울기 안정성에 대한 이론적 보장을 제공하지 못해, 종종 훈련 동역학을 방해하는 기울기 소실 또는 기울기 폭발을 초래합니다.

방법론
저자들은 "혼돈의 가장자리 (Edge of Chaos, EOC)"에서 작동하도록 설계된 SIREN 네트워크를 위한 새로운 분석적으로 유도된 초기화 방식을 제안합니다. 이 체제는 네트워크 깊이가 증가함에 따라 사전 활성화 분산이 안정적으로 유지되고 기울기가 소실되거나 폭발하지 않도록 보장합니다.

이 방법론은 무한한 폭 ($N \to \infty$) 과 무한한 깊이 ($L \to \infty$) 의 극한에서의 이론적 분석에 기반합니다:

1. 사전 활성화 분포: 저자들은 람베르트 $W$ 함수를 사용하여 사전 활성화 분산 ($\sigma_a^2$) 의 고정점에 대한 폐쇄형 식을 유도합니다. 분산이 가중치 스케일링 매개변수 $c_w$ 와 편차 분산 $c_b$ 에 의해 결정되는 고정점으로 수렴함을 보여줍니다.
2. 기울기 안정성: 레이어 간 매핑의 야코비안을 분석함으로써 저자들은 기울기 안정성을 위한 조건을 유도합니다. 기울기 폭발이나 소실을 방지하기 위해 재조정된 기울기 분산 $\sigma_g$ 를 정의하고 $\sigma_g = 1$ 을 강제합니다. 이 제약 조건은 $c_w$ 와 $c_b$ 사이의 특정 관계를 확립합니다.
3. 주파수 제어: 저자들은 안정성 곡선을 따라 두 가지 특정 해를 식별합니다:
   • $\sigma_a = 1$: 원래 SIREN 직관 (사전 활성화가 $N(0,1)$ 을 따름) 에 해당하며, 저자들은 이것이 심층 네트워크에서 주파수 확장 및 에일리어싱을 초래함을 보여줍니다.
   • $\sigma_a = 0$ (제안된 방식): 사전 활성화 분산을 0 으로 설정합니다. 이 체제에서 심층 레이어는 거의 선형적으로 동작 ($\sin(z) \approx z$) 하여 푸리에 스펙트럼의 확장을 효과적으로 억제하고 나이퀴스트 한계를 초과하는 주파수의 출현을 방지합니다.
4. 신경 탄성 커널 (NTK) 분석: 이 논문은 초기화가 NTK 에 미치는 영향을 조사합니다. 제안된 초기화 ($\sigma_a=0$) 는 NTK 고유값이 깊이에 따라 선형적으로 스케일링되도록 하는 반면, 입력 기울기는 정규화된 상태를 유지함을 입증합니다. 이는 원래 SIREN 초기화와 대조되는데, 여기서는 NTK 고유값과 기울기가 깊이에 따라 기하급수적으로 폭발합니다.

주요 기여

• 폐쇄형 초기화: 레이어 간 불변 기울기 분포와 깊이 독립적 푸리에 스펙트럼을 보장하는 SIREN 을 위한 명시적 초기화 방식의 유도.
• $\sigma_a = 0$ 에 대한 이론적 정당성: 사전 활성화 분산을 0 으로 설정하는 것이 주파수 스펙트럼 제어, 에일리어싱 방지, 심층 아키텍처에서의 안정적 훈련 동역학 확보에 최적임을 규명.
• NTK 동역학: 초기화 시 기울기 전파를 제어하는 것이 NTK 고유값을 직접 형성하여 다양한 주파수 성분의 학습 속도를 결정하고 다른 심층 네트워크 구성에 내재된 주파수 편향을 방지함을 입증.

결과
제안된 초기화 ($\sigma_a = 0$) 는 원래 SIREN 방식, $\sigma_a = 1$ 변형, 그리고 다양한 작업에 대한 기타 최첨단 아키텍처 (예: FINER, WIRE, 푸리에 특징을 가진 Tanh, 위치 인코딩을 가진 ReLU) 와 비교하여 벤치마크되었습니다:

• 함수 피팅: 1 차원, 2 차원, 3 차원 다중 스케일 함수 근사에서 제안된 방법은 네트워크 깊이가 증가함에 따라 특히 베이스라인에 비해 일관되게 낮은 일반화 오차를 달성했습니다.
• 이미지 및 비디오 복원: 이미지 피팅 및 비디오 복원 작업 (ERA-5 대기 데이터셋 사용) 에서 제안된 방법은 원래 SIREN 및 기타 방법보다 더 선명한 특징과 현저히 적은 고주파 아티팩트를 생성했습니다.
• 물리 정보 신경망 (PINNs): 이 방법은 복잡한 기하학적 구조에서의 1 차원 버거스 방정식, 2 차원 정상 나비에 - 스토크스 방정식, 2 차원 열 방정식 풀이에 대해 테스트되었습니다. 제안된 초기화는 안정적인 해를 산출한 반면, 원래 SIREN 초기화는 제어되지 않은 고주파 성분으로 인해 나비에 - 스토크스 및 열 방정식 작업에서 노이즈가 많고 불안정한 결과를 초래했습니다.
• 잡음 제거: 이미지 잡음 제거 실험에서 제안된 초기화는 다른 방법들이 잡음에 과적합하는 경향이 있는 것과 달리, 고주파 잡음을 무시하면서 깨끗한 신호를 재구성하는 효과적인 암묵적 정규화제로 작용했습니다.

의의
이 논문은 이 연구가 경험적 튜닝을 넘어 동역학 시스템 이론에 기반한 원칙적인 접근 방식으로 INR 초기화에 대한 더 깊은 이론적 이해를 제공한다고 주장합니다. 기울기 전파를 안정화하고 초기화 시 주파수 스펙트럼을 제어함으로써 제안된 방법은 심층 사인파 네트워크가 가짜 아티팩트를 도입하지 않고 고주파 세부 사항을 학습할 수 있게 합니다. 이는 학습률이 깊이에 따라 선형적으로 스케일링되는 안정된 훈련 동역학을 가능하게 하여, SIREN 아키텍처를 과학적 컴퓨팅 및 다중 스케일 신호 복원과 같은 복잡하고 고차원적인 문제에 더 견고하고 적용 가능하게 만듭니다. 저자들은 동기가 INR 에서 비롯되었지만, 폐쇄형 초기화는 기울기 안정성과 주파수 제어가 필요한 주기적 활성화가 있는 모든 심층 아키텍처에 적용 가능하다고 지적합니다.