Language as a Wave Phenomenon: Semantic Phase Locking and Interference in Neural Networks

1. 연구 배경 및 문제 제기 (Problem)

• 기존 Transformer 의 한계: 표준 Transformer 아키텍처에서 의미적 중요도 (semantic importance) 는 주로 활성화의 **크기 (magnitude)**에 의해 결정됩니다. 이는 중요한 특징을 노이즈와 구분하기 위해 신호를 증폭하는 방식을 사용함을 의미합니다.
• 핵심 질문: 만약 활성화의 크기를 정보 전달 채널에서 제거하고 **위상 (phase)**만 남긴다면, 위상 각도 (phase angles) 만으로 의미 정보를 인코딩할 수 있을까요?
• 현재의 문제점: 기존 복소수 신경망 (Complex-valued Neural Networks) 은 훈련 과정에서 여전히 크기 기반 휴리스틱에 의존하는 경향이 있어, 위상의 역할을 명확히 규명하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 위상 각도만이 정보를 전달하도록 강제하기 위해 **PRISM (Phase-Rotating Interference Spectral Model)**이라는 새로운 아키텍처를 제안했습니다.

2.1. 핵심 제약 조건: 단위 노름 (Unit-Norm Constraint)

• 모든 활성화 벡터 $z$에 대해 $|z| = 1$인 단위 노름 제약을 적용합니다.
• 이로 인해 신호의 크기는 고정되고, 모든 의미 정보는 **위상 각도 ($\theta$)**에 인코딩되어야 합니다.
• 이는 Unitary RNN 에서의 기울기 안정화 목적을 넘어, 위상만을 정보 채널로 격리하기 위한 실험적 통제 수단으로 재해석되었습니다.

2.2. PRISM 아키텍처 구성 요소

1. Rotary Semantic Embeddings (RoSE):
   • 기존 RoPE 는 위치 정보만 위상으로 인코딩하지만, PRISM 은 전체 표현이 복소수이며 크기가 고정된 상태에서 위치와 의미 정보를 모두 위상 공간에 곱셈적으로 인코딩합니다.
   • $E(w_t) = z_t \cdot e^{i\omega t}$ 형태로, 토큰 간의 상대적 거리가 주파수 영역에서 일정한 위상 이동으로 유지됩니다.
2. Gated Harmonic Convolution (게이트된 조화 컨볼루션):
   • Attention 메커니즘을 제거하고 주파수 도메인의 스펙트럼 필터링으로 대체합니다.
   • FFT 를 통해 주파수 영역으로 변환 후 학습 가능한 글로벌 필터 $H$를 적용하고, 역변환 (IFFT) 후 실수부와 허수부에 독립적인 게이트를 적용하여 위상 각도를 조정합니다.
   • 복잡도는 $O(N \log N)$으로 Attention 의 $O(N^2)$보다 효율적입니다.
3. 위상 보존 비선형성 및 정규화:
   • ModReLU: 크기는 비선형적으로 조절하지만 위상 각도는 보존합니다.
   • Phase-Preserving Dropout/Normalization: 실수/허수 성분을 독립적으로 드롭하거나 정규화하지 않고, 복소수 벡터 전체를 처리하여 위상 일관성을 유지합니다.

2.3. 실험 설정

• 작업: WMT14 (독일어 - 영어 번역) 및 WikiText-103 (마스크 언어 모델링, MLM).
• 비교 모델: 표준 Transformer, FNet(실수형 푸리에 혼합), PRISM(단일 위상), PRISM 기반 하이브리드 모델 (Wave-Particle Transformer).
• 측정 지표: 신호 이득 (Signal Gain), 위상 회전 (Phase Rotation), 위상 간섭도 (Phase Coherence, $R$).

3. 주요 기여 및 발견 (Key Contributions & Findings)

3.1. 위상 일관성과 의미 관계의 상관관계

• 발견: 동의어 (synonym) 쌍과 반의어 (antonym) 쌍은 무작위 단어 쌍에 비해 **유의미하게 높은 위상 일관성 (Phase Coherence)**을 보입니다.
  • 동의어: $R \approx 0.198$
  • 반의어: $R \approx 0.133$
  • 무작위: $R \approx 0.072$
• 의미: 위상 구조가 단어의 의미적 유사성뿐만 아니라 **의미적 관련성 (semantic relatedness, 예: 같은 주제 영역)**을 반영함을 입증했습니다.

3.2. 위상 회전을 통한 어휘적 모호성 해결

• 발견: 다의어 (polysemous tokens, 예: 'bank') 는 문맥에 따라 위상 공간 내 다른 영역으로 회전하여 의미를 구분합니다.
• 증거: 모호한 토큰은 모호하지 않은 토큰보다 특정 레이어에서 더 큰 위상 회전 ($\Delta \theta$) 을 겪지만, 신호 이득 (Signal Gain) 은 1.0 에 근사합니다.
• 결론: 모델이 크기를 증폭하는 것이 아니라, 위상 각도를 회전시켜 모호성을 해결함을 확인했습니다.

3.3. 스펙트럼 밀도 임계값 (Spectral Density Threshold)

• 발견: 단일 토큰 ($L=1$) 이나 매우 짧은 시퀀스 ($L=2$) 에서는 모델이 일관된 출력을 생성하지 못합니다.
• 이유: FFT 시 단일 토큰은 DC 성분만, 쌍은 나이퀴스트 한계 내의 두 주파수 밴드만 생성하여 조화 필터가 신호와 노이즈를 구분할 충분한 스펙트럼 해상도를 얻지 못하기 때문입니다.
• 의미: 위상 기반 계산은 최소 시퀀스 길이가 필요하며, 이는 파동 간섭 (interference) 패턴 생성에 필수적입니다.

3.4. 크기 불변성 (Magnitude Invariance)

• 발견: 모든 표현의 크기를 일관되게 감쇠 (attenuation) 시켜도 번역 품질이 97% 수준으로 유지됩니다.
• 의미: 의미 정보가 크기가 아닌 위상 각도에 인코딩되었음을 강력하게 시사합니다.

4. 결과 및 성능 (Results)

• WMT14 번역: PRISM 은 FNet 과 Transformer 의 성능을 약간 밑돌지만 (COMET 0.799 vs 0.805/0.821), 파라미터 효율성이 뛰어납니다.
• WikiText-103 (MLM, 33M 파라미터):
  • Wave-Particle Transformer (WPT): PRISM 인코더와 표준 Attention 디코더를 결합한 하이브리드 아키텍처는 Perplexity 4.94를 기록하여, 동일한 크기의 표준 Transformer(5.28) 보다 우수한 성능을 보였습니다.
  • 파라미터 효율: WPT 는 임베딩 및 리파이너 계층을 제외한 핵심 파라미터 수를 18% 줄이면서도 더 나은 성능을 달성했습니다.
  • FNet 의 한계: 실수형 푸리에 혼합 (FNet) 은 위상이 $\{0, \pi\}$로 제한되어 장문맥에서 콘텐츠 선택 능력이 떨어지는 것으로 확인되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

1. 위상의 기능적 증명: 복소수 신경망에서 위상 각도가 단순한 수학적 부가물이 아니라, 의미 정보를 인코딩하고 모호성을 해결하는 기능적 요소임을 통제된 실험을 통해 입증했습니다.
2. 새로운 계산 패러다임: 언어 처리를 "파동 간섭"의 관점에서 접근할 수 있음을 보여주었습니다. 이는 크기 증폭에 의존하는 기존 방식과 구별되는 새로운 인덕티브 바이어스 (inductive bias) 를 제공합니다.
3. 하이브리드 아키텍처의 가능성: 위상 기반 처리 (전체 구조, 선형 복잡도) 와 크기 기반 처리 (국소적 상호작용, Attention) 를 결합한 하이브리드 모델이 파라미터 효율성과 성능 면에서 경쟁력 있음을 보였습니다.
4. 한계 및 향후 방향: 현재는 소규모 모델 (33M~128M) 에서 검증되었으며, 대규모 언어 모델로 확장 시 위상 제약이 제한적일 수 있습니다. 또한, 시계열 예측이나 통신 신호 처리 (I/Q 데이터) 와 같이 본질적으로 주파수 구조를 가진 도메인에서 더 큰 잠재력을 가질 것으로 예상됩니다.

이 연구는 언어 모델링에서 **위상 (Phase)**이 의미 구조의 핵심적인 구성 요소일 수 있음을 보여주며, 신경망 아키텍처 설계에 파동 역학적 관점을 도입하는 중요한 이정표가 됩니다.