Phase-Associative Memory: Sequence Modeling in Complex Hilbert Space

논문 개요: 위상 연관 기억 (Phase-Associative Memory, PAM)

이 논문은 자연어 처리의 의미 해석이 고전적인 분리 가능성 (separability) 가정을 벗어날 수 있음을 지적하며, **복소수 힐베르트 공간 (Complex Hilbert Space)**에서 작동하는 순차 모델인 **위상 연관 기억 (PAM)**을 제안합니다. PAM 은 모든 표현을 복소수로 처리하고, 외적 (outer product) 을 통해 행렬 상태에 연관성을 누적하며, 켤레 내적 (conjugate inner product) 을 통해 검색을 수행합니다.

1. 문제 제기 (Problem)

• 고전적 가정의 한계: 기존 언어 모델 (Transformer 등) 은 단어의 의미를 실수 벡터 공간의 고정된 점으로 가정하고, 구성 요소가 독립적으로 분석 가능하다는 '분리 가능성'과 '결정론'에 기반합니다.
• 맥락성 (Contextuality) 과 비분리성: 양자 역학의 벨 부등식 위반 실험과 유사하게, 인간의 언어 이해와 대규모 언어 모델 (LLM) 의 의미 해석은 맥락에 따라 결정되는 '비고전적 맥락성'을 보입니다. 이는 의미 표현이 해석 전까지 불확정적이며, 자연어가 의미적으로 퇴화 (semantic degeneracy) 되어 있음을 시사합니다.
• 기존 모델의 결함:
  • 할루시네이션 및 보안 취약점: 의미의 불확정성을 고려하지 않은 모델은 할루시네이션과 프롬프트 인젝션에 취약합니다.
  • 기계적 해석의 실패: 신경망의 내부 표현을 분리 가능한 구성 요소로 분해하려는 시도 (Sparse Autoencoders 등) 는 구조적 한계에 부딪혀 재현성이 낮고, 90% 이상의 성능 저하를 초래합니다.
  • 벡터 상태 모델의 용량 한계: 기존 홀로그래픽 축소 표현 (Holographic Reduced Representations) 이 벡터 상태 ($C^d$) 에서 작동할 때, 중첩된 연관성으로 인해 $O(1/\sqrt{n})$의 용량 저하가 발생하여 성능이 떨어집니다.

2. 방법론 (Methodology)

PAM 은 양자 의미론 프레임워크를 계산적으로 구현한 모델로, 다음과 같은 핵심 기술을 사용합니다.

• 복소수 힐베르트 공간 기반:
  • 모든 임베딩, 상태, 키, 쿼리, 값을 **복소수 (Complex-valued)**로 표현합니다.
  • 상태 표현: 연관성을 단일 벡터가 아닌 **복소수 행렬 상태 ($S_t \in \mathbb{C}^{d \times d}$)**에 외적 ($V_t K_t^*$) 을 통해 누적합니다. 이는 벡터 상태의 용량 한계 ($O(d)$) 를 행렬 상태 ($O(d^2)$) 로 해결하여 중첩 간섭을 방지합니다.
  • 검색 메커니즘: 표준 내적이 아닌 **켤레 내적 (Conjugate Inner Product, $K^* \cdot Q$)**을 사용합니다. 이는 저장된 키와 쿼리 간의 위상 (Phase) 정렬에 따라 검색 강도를 결정하며, 위상이 불일치하는 연관성은 상쇄 간섭을 통해 적극적으로 억제됩니다.
• 아키텍처 구성:
  • ComplexGatedUnit (CGU): 복소수 공간에서 채널 혼합을 수행하며, 크기와 위상을 모두 제어하는 게이트를 사용합니다.
  • PAM 레이어: 시퀀스 혼합을 담당하며, 외적 누적과 켤레 내적 검색을 수행합니다.
  • 위치 임베딩: 복소수 회전 위치 임베딩 (Complex RoPE) 을 사용하여 위상에 절대/상대 위치 정보를 인코딩합니다.
  • 손실 함수 및 활성화: 크기에만 영향을 주고 위상은 보존하는 modReLU 와 ComplexNorm 을 사용하여 위상 정보를 유지합니다.
• 계산 효율성:
  • 훈련: $O(T^2)$ 시간 복잡도로 병렬화 가능 (지수 감쇠 행렬 사용).
  • 추론: KV 캐시가 필요 없으며, 상태 크기가 시퀀스 길이에 무관하게 고정되어 있어 토큰당 $O(1)$ 비용으로 동작합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 아키텍처 제안: 양자 논리와 의미론 프레임워크를 기반으로 한 완전한 복소수 기반 순차 모델 (PAM) 을 설계하고 구현했습니다.
2. 벡터 상태의 한계 극복: 홀로그래픽 바인딩이 벡터 상태 ($C^d$) 에서 실패하는 이유 ($O(1/\sqrt{n})$ 용량 저하) 를 규명하고, 이를 행렬 상태 ($C^{d \times d}$) 로 업그레이드하여 해결했습니다.
3. 위상과 크기의 중요성 증명: 검색 메커니즘이 작동하려면 크기와 위상 모두 자유로워야 함을 실험적으로 증명했습니다. (단위 크기 정규화는 생성을 반복으로 붕괴시킴)
4. 효율적인 구조: 추가적인 어텐션 메커니즘 없이도 복잡한 연관성을 효과적으로 포착하여, 희소 윈도우 어텐션을 추가할 필요가 없음을 보였습니다.

4. 실험 결과 (Results)

• 데이터셋 및 설정: WikiText-103 데이터셋에서 약 1 억 (100M) 파라미터 크기로 훈련되었습니다. (RTX 4090 단일 GPU, 10 Epochs)
• 성능 비교:
  • PAM: 검증 손실 (Perplexity) 30.0 달성.
  • 매칭된 Transformer: 동일한 조건에서 27.1 달성.
  • 결과 해석: PAM 은 Transformer 대비 약 10% 의 퍼플렉시티 격차를 보였으나, 이는 복소수 연산으로 인한 4 배의 산술 오버헤드와 커스텀 CUDA 커널 부재에도 불구하고 매우 경쟁력 있는 수치입니다.
• 생성 품질: 문법적 일관성과 구조적 인식을 보여주었으며, 3-gram 반복률은 0.034 로 낮았습니다.
• 추론 효율성: Transformer 는 KV 캐시로 인해 시퀀스 길이에 비례하여 메모리가 증가하는 반면, PAM 은 고정된 상태 크기로 인해 긴 시퀀스에서도 $O(1)$ 토큰당 비용을 유지합니다.

5. 의의 및 결론 (Significance)

• 계산 형식주의의 전환: 언어 모델링에 실수 기반의 확률적 접근 대신, 복소수 힐베르트 공간을.native 형식 (native formalism) 으로 사용하는 것이 의미의 비분리성과 맥락성을 더 자연스럽게 표현할 수 있음을 시사합니다.
• 양자 - 고전적 유사성: Transformer 가 파라미터를 늘려 복소수 상관관계를 실수 공간에 투사하여 근사하는 방식이라면, PAM 은 해당 구조를 본질적으로 복소수 공간에서 직접 처리합니다. 이는 할루시네이션을 '오류'가 아닌 '해석 과정의 자연스러운 결과'로 재해석하게 합니다.
• 미래 전망: PAM 은 기계적 해석 가능성 (Mechanistic Interpretability) 의 새로운 길을 열 수 있으며, 양자 의미론 프레임워크와 결합하여 언어 모델의 내부 구조를 더 깊이 이해하는 데 기여할 것으로 기대됩니다.

이 연구는 언어 모델의 아키텍처 설계에 있어 물리학 (양자 역학) 의 수학적 틀을 적용함으로써, 기존 모델의 한계를 극복하고 더 효율적이고 해석 가능한 모델을 만들 수 있음을 보여주는 중요한 시도입니다.