An explicit operator explains end-to-end computation in the modern neural networks used for sequence and language modeling

논문 개요

이 논문은 시퀀스 및 언어 모델링에 사용되는 최신 신경망 아키텍처인 상태 공간 모델 (State Space Models, SSMs), 특히 **S4 (Structured State Space Sequence model)**의 내부 작동 원리를 수학적으로 완전히 해석 가능한 형태로 규명했습니다. 저자들은 SSM 을 **정확히 풀 수 있는 비선형 진동자 네트워크 (nonlinear oscillator network)**와 수학적으로 대응시킴으로써, S4 의 전체 순전파 (forward pass) 를 **명시적인 연산자 (explicit operator)**로 표현하는 데 성공했습니다. 이를 통해 SSM 이 어떻게 입력 시퀀스를 처리하고 분류하는지에 대한 물리적, 기계적 통찰을 제공합니다.

1. 문제 정의 (Problem)

• 트랜스포머의 한계: 트랜스포머는 '어텐션 (attention)' 메커니즘을 통해 장기 의존성을 포착하지만, 시퀀스 길이에 따라 계산 복잡도와 메모리 사용량이 2 차 (quadratic) 로 증가하여 긴 시퀀스 처리에 비효율적입니다.
• SSM 의 효율성과 해석 가능성 부재: SSM 은 시퀀스 길이에 대해 선형 (linear) 으로 확장되어 효율적이지만, 내부 동역학이 선형과 비선형 연산이 교차하는 구조라 종단 간 (end-to-end) 해석이 매우 어렵습니다.
  • 선형 동역학 자체는 수학적으로 풀 수 있으나, 성능을 높이는 비선형 디코더 (decoder) 가 추가되면 전체 입력 - 출력 매핑을 분석적으로 설명하는 것이 불가능해졌습니다.
  • 기존 해석 방법들은 사후 분석 (post-hoc) 에 의존하여 모델의 수학적 구조에서 원리 (first principles) 를 도출하지 못했습니다.

2. 방법론 (Methodology)

저자들은 다음과 같은 수학적 프레임워크를 구축했습니다.

1. 비선형 진동자 네트워크와의 대응 (Mathematical Correspondence):

   • 1 차원 링 (ring) 토폴로지를 가진 결합 진동자 네트워크의 동역학을 고려합니다.
   • 이 네트워크는 비선형 좌표 변환 ($x_i = e^{i\psi_i}$) 을 통해 **정확한 해 (exact solution)**를 가집니다. 이 해는 행렬 지수 함수 ($e^{Kt}$) 형태로 표현됩니다.
   • 이 진동자 네트워크와 대각 SSM (Diagonal SSM, 예: S4D-Lin) 사이의 수학적 대응 관계를 확립합니다. S4D 의 선형 재귀 연산자가 진동자 네트워크의 고유 진동 모드 (eigenmodes) 와 일치함을 보입니다.

2. 여행하는 파동 (Traveling Waves) 의 해석:

   • S4D 의 잠재 상태 (latent state) 를 **링 토폴로지를 따라 이동하는 파동 (traveling waves)**으로 해석합니다.
   • 입력 시퀀스는 네트워크의 특정 고유 모드 (eigenmodes) 를 여기시켜, 시간과 공간에 따라 전파되는 파동 패턴을 생성합니다.

3. 명시적 연산자 유도 (Explicit Operator Derivation):

   • Carleman 임베딩 (Carleman Embedding) 기법을 사용하여 비선형 활성화 함수 (GELU) 를 다항식 급수로 정확하게 표현합니다.
   • 이를 통해 S4 의 전체 순전파 과정을 입력에서 출력까지의 명시적인 연산자 식으로 유도합니다.
   • 이 식은 선형 응답 (1 차), 2 개의 파동 간 상호작용 (2 차), 그리고 고차 상호작용으로 계층화되어 있음을 보여줍니다.

3. 주요 기여 (Key Contributions)

• SSM 과 진동자 네트워크의 동등성 증명: S4D 와 같은 현대적인 SSM 아키텍처가 정확히 풀 수 있는 비선형 진동자 네트워크와 수학적으로 동등함을 보였습니다.
• 종단 간 해석 가능성 확보: SSM 의 전체 계산 과정을 **명시적인 연산자 식 (Eq. 32)**으로 표현하여, 입력이 어떻게 파동으로 인코딩되고 비선형 상호작용을 거쳐 분류되는지 수학적으로 설명했습니다.
• 계산 메커니즘의 물리적 해석:
  • 선형 단계: 입력 정보는 링 토폴로지를 따라 이동하는 여행하는 파동으로 인코딩됩니다.
  • 비선형 단계: 비선형 활성화 함수는 이 파동들 사이의 **상호작용 (interactions)**을 유도하여, 단순한 진폭 이상의 위상 (phase) 정보를 추출하고 분류 성능을 극대화합니다.

4. 결과 (Results)

• 합성 데이터 실험 (Sinusoid Classification):
  • 잡음이 포함된 서로 다른 주파수 (15Hz, 20Hz) 의 정현파를 분류하는 실험에서, S4D 는 입력 주파수에 공명하는 특정 여행하는 파동 모드를 선택적으로 활성화시킴을 확인했습니다.
  • 파동의 에너지 분포만으로도 간단한 분류가 가능함을 보였습니다.
• 실제 데이터 실험 (SelfRegulationSCP1):
  • 복잡한 실제 시계열 데이터 분류에서, **선형 동역학 (여행하는 파동) 만으로도 분류 성능의 약 83%**를 설명할 수 있었습니다.
  • **비선형 상호작용 (2 차 Carleman 근사)**을 추가하면 설명력이 **94%**까지 상승했습니다.
  • 이는 SSM 이 단순한 파동 저장뿐만 아니라, 파동 간의 **비선형 상호작용 (wave-wave interactions)**을 통해 정보를 처리함을 의미합니다.
• 수렴성: Carleman 임베딩을 2 차까지 자르는 것만으로도 전체 GELU 활성화 함수의 성능을 거의 완벽하게 (94% 이상) 재현할 수 있음을 보였습니다.

5. 의의 및 시사점 (Significance)

• 새로운 수준의 해석 가능성 (Interpretability):
  • 기존 트랜스포머나 SSM 의 해석이 경험적 (empirical) 인 사후 분석에 의존했다면, 이 연구는 **수학적 원리 (first principles)**에서 출발하여 모델의 입력 - 출력 매핑을 예측 가능하게 만듭니다.
  • 모델의 동작을 "여행하는 파동"과 "파동 간 상호작용"이라는 물리적 개념으로 명확히 설명합니다.
• 설계 원칙의 제시:
  • SSM 의 성능이 파동 동역학과 비선형 상호작용의 기하학에서 비롯됨을 밝힘으로써, 향후 더 효율적이고 해석 가능한 아키텍처를 설계하는 데 이론적 기반을 제공합니다.
  • 예를 들어, 파동의 감쇠율이나 위상 지연을 조절하여 장기 의존성을 더 효과적으로 포착하는 새로운 SSM 변형을 설계할 수 있습니다.
• 제어 가능한 언어 모델:
  • 입력과 출력을 명시적인 수학적 식으로 연결함으로써, 모델의 출력을 실시간으로 제어하거나 안전성을 보장하는 새로운 접근법 (eigenvector 기반 전략 등) 을 가능하게 합니다.

결론

이 논문은 현대의 고성능 시퀀스 모델 (SSM) 이 단순한 블랙박스가 아니라, 여행하는 파동과 그 비선형 상호작용을 통해 정보를 처리하는 해석 가능한 물리 시스템임을 수학적으로 증명했습니다. 이는 머신러닝 모델의 내부 작동 원리를 이해하는 데 있어 획기적인 전환점을 제공하며, 향후 더 투명하고 제어 가능한 AI 모델 개발의 토대가 될 것입니다.