Neural Langevin Machine: a local asymmetric learning rule can be creative

기술 요약: 뉴럴 랑제빈 머신 (Neural Langevin Machine)

문제 정의
변이형 오토인코더(VAE), 생성적 적대 신경망(GAN), 확산 모델(Diffusion Models)과 같은 현재의 인공 신경망 기반 생성 모델들은 생물학적 타당성 및 학습 복잡성 측면에서 상당한 과제에 직면해 있다. 구체적으로, 이들은 다음과 같은 요소가 결여되어 있다:

1. 비대칭 재귀성 (Asymmetric Recurrence): 생물학적 신경망은 비대칭적인 시냅스 결합을 가지는 반면, 대중적인 많은 모델들은 대칭적인 구조에 의존하거나 전역적인 오차 신호를 필요로 한다.
2. 국소 학습 (Local Learning): 생물학적 회로는 국소적 신호를 통해 학습하지만, 대부분의 생성 모델은 전역적인 오차 역전파(backpropagation)에 의존한다.
3. 신경 역학의 활용 (Utilization of Neural Dynamics): 신경 반응의 가변성과 고정점(또는 카오스 끌개)이 예시를 저장하고 생성할 수 있음에도 불구하고, 생성적 샘플링에서 신경 반응 가변성의 잠재력은 충분히 탐구되지 않았다.
4. 열역학적 가역성 (Thermodynamic Reversibility): 랑제빈 역학(Langevin dynamics)을 사용하려는 이전의 시도들은 열역학적 가역성을 강제하는 경우가 많은데, 이는 생물학적 제약을 위반하며 뇌의 지각 및 상상 과정을 효과적으로 모델링하지 못한다.

방법론
저자들은 무작위 비대칭 결합을 가진 순환 신경망(RNN)의 고정점을 활용하는 생성 모델인 **뉴럴 랑제빈 머신(NLM)**을 제안한다.

• 역학 (Dynamics): 모델은 다음과 같은 확률 미분 방정식(랑제빈 역학)으로 정의된다:
  $$\frac{dx}{dt} = -\nabla_x E(x) + \sqrt{2T}\epsilon(t)$$
  여기서 $x$는 시냅스 전류 벡터, $T$는 온도 파라미터, $\epsilon(t)$는 가우시안 백색 잡음이다.
• 에너지 함수 (Energy Function): 포텐셜 에너지 $E(x)$는 카오스적 RNN에 내재된 지수적으로 많은 불안정한 고정점들을 안정화하도록 구성된다. 이는 에너지의 기울기에서 유도된 온사거 피드백(Onsager feedback) 항을 포함하며, 카오스적 변동을 안정화한다. 에너지 함수는 다음과 같은 형태를 갖는다:
  $$E(x) = \frac{1}{2} \sum_{i} \left( -x_i + b_i + \sum_{j} J_{ij}\phi(x_j) \right)^2$$
  여기서 $\phi(x) = \tanh(x)$는 발화율 함수, $b_i$는 바이어스, $J_{ij}$는 비대칭 신경 결합을 나타낸다.
• 학습 규칙 (Learning Rule): 모델은 모델 분포와 데이터 분포 사이의 쿨백-라이블러(KL) 발산을 최소화하도록 결합 파라미터 $\{J_{kl}\}$를 최적화한다. 이 최소화는 최소 엔트로피 원리를 따르며, 다음과 같은 국소적이고 비대칭적인 학습 규칙으로 이어진다:
  $$\frac{\partial L}{\partial J_{kl}} = \beta \left[ \langle (x_k - h_k)\phi(x_l) \rangle_{\text{model}} - \langle (x_k - h_k)\phi(x_l) \rangle_{\text{data}} \right]$$
  여기서 $h_k$는 통합된 시냅스 전류이다. $(x_k - h_k)$ 항은 예측 오차(포스트시냅스 활동의 속도를 줄이는 역할)로 해석되는 포스트시냅스 기여분을 나타낸다. 이 규칙은 국소적이며, 뉴런 인덱스에 대해 비대칭적이다.
• 학습 프로토콜 (Training Protocols): 저자들은 벗평형(out-of-equilibrium, OOE) 영역을 탐구하기 위해 몇 가지 학습 전략을 구현한다:
  • PCD-k (Persistent Contrastive Divergence): 파라미터 업데이트 사이에 $k$ 스텝 동안 지속적인 체인(persistent chains)을 업데이트한다.
  • Rdm-k: 매 경사도 추정 단계마다 무작위 구성으로부터 랑제빈 체인을 재초기화한다.
  • AE-NLM: 데이터를 잠재 공간(latent space)으로 압축하는 오토인코더를 훈련시킨 후, 그곳에서 NLM을 훈련시켜 계산 복잡성을 크게 줄인다.

주요 기여

1. 생물학적으로 타당한 생성 모델: NLM은 국소 학습, 신경 역학 기반 샘플링, 비대칭 재귀성이라는 세 가지 기준을 충족한다. 이는 속도 조절된 예측 학습으로 해석될 수 있는 학습 규칙을 도출한다.
2. 불안정한 고정점의 안정화: 본 연구는 에너지 함수의 온사거 피드백 항이 카오스적 RNN의 불안정한 고정점을 안정화하여, 이를 기억 및 생성에 사용할 수 있게 함을 입증한다.
3. 국소 비대칭 학습 규칙: 도출된 학습 규칙은 생성 모델링을 근본적인 물리 법칙(최소 엔로피)과 연결하며, "확률 없는 베이지안 뇌" 가설 및 얀 르쿤(Yann LeCun)의 에너지 기반 AI 경로와 일치한다.
4. 벗평형(OOE) 영역: 본 논문은 시스템이 열역학적 평형에 도달하기를 기다리지 않고도 최상의 생성 성능을 달내는 OOE 영역을 식별하며, 이는 확률적 잡음에 의해 구동되는 연속적인 뇌의 역학을 모사한다.

결과

• 생성 성능: MNIST(손글씨 숫자) 및 Fashion MNIST에 적용했을 때, NLM은 성공적으로 샘플을 생성한다. 시각화 결과, 확률적 잡음에 의해 서로 다른 숫자 클래스 간(예: '6'에서 '1'로)의 연속적인 상태 전이가 나타난다.
• 기억-일반화 전이: 학습 데이터의 크기가 증가함에 따라, 모델은 순수 기억(과적합)에서 일반화로 전이된다. 이 전이는 적대적 정확도 지표(AAI)를 사용하여 정량화된다.
  • 데이터가 부족한 영역에서는 모델이 훈련 샘플을 기억한다.
  • 특정 데이터 임계값을 넘어서면, 모델은 통계적으로 실제 데이터와 구별할 수 없는 샘플을 생성한다.
  • 과도한 데이터 크기는 결국 품질을 저하시킬 수 있으며, 이는 포화 지점이 존재함을 시사한다.
• 고유값 스펙트럼 (Eigenvalue Spectrum): 학습 과정 중 결합 행렬 $J$의 스펙트럼은 등방성(isotropic)에서 "앵커(anchor)" 모양으로 진화하며, 양의 실수 축 주변에 분포하는 고유값들이 일반화에 핵심적인 역할을 한다.
• 노이즈 제거 및 연상 기억: NLM은 연상 기억 네트워크로서 기능한다. 손상된 이미지(25% 픽셀 노이즈)가 주어졌을 때, 역학은 깨끗한 숫자 표현으로 수렴하며, 이는 비대칭 결합을 가진 새로운 유형의 연상 기억을 보여준다.
• 잠재 공간 강화: Fashion MNIST(10개 카테고리)에 AE-NLM 프로토콜을 사용하여 생성 품질을 개선하고, 저차원 잠재 공간에서의 샘플링을 가능하게 한다.

의의 및 주장
저자들은 NLM이 "상상의 창의적 활동 공간"을 동적으로 탐색할 수 있게 하는 신경 영감 생성 모델의 유망한 경로를 제공한다고 주장한다. 불안정한 고정점과 국소 비대칭 학습을 활용함으로써, 이 모델은 생물학적 신경 메커니즘과 공학적 목표 사이의 간극을 메운다. 본 연구는 뇌가 인지, 기억, 상상을 위해 유사한 메커니즘을 사용할 수 있으며, 위상 공간(phase space)의 연속적인 탐색이 기억에서 일반화로의 전이를 촉진한다고 제안한다. 이 논문은 이 프레임워크를 뇌의 주관적 지각과 상상을 이해하기 위한 단계로 위치시키는 동시에, 잠재 공간 훈련을 통해 현재의 지배적인 생성 모델들에 대한 계산 효율적인 대안을 제공한다.