Entanglement as Memory: Mechanistic Interpretability of Quantum Language Models

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 양자 언어 모델 (QLM) 은 순차적 작업에서 경쟁력 있는 성능을 보이지만, 훈련된 양자 회로가 진정으로 양자 자원 (얽힘 등) 을 활용하는지, 아니면 단순히 양자 하드웨어에 고전 계산을 임베딩한 것인지에 대한 의문이 남아있습니다.
• 문제: 기존 연구는 주로 최종 성능 지표 (정확도 등) 에만 의존하여 모델을 평가했습니다. 고전 언어 모델 (LSTM 등) 에서는 내부 기억 전략을 기계적으로 해석 (Mechanistic Interpretability) 하는 연구가 활발하지만, 양자 모델에 대해서는 이러한 내부 메커니즘에 대한 연구가 전무합니다.
• 핵심 질문: 훈련된 양자 언어 모델이 기억을 위해 실제로 양자 자원을 사용하는가, 아니면 고전적인 계산만 수행하는가?

2. 방법론 (Methodology)

저자들은 Parity-Switch Grammar라는 통제된 장기 의존성 (Long-range dependency) 작업을 설계하여 양자 모델의 내부 기억 메커니즘을 분석했습니다.

• 작업 설계 (Task):
  • 문맥 토큰 (A 또는 B) 이 먼저 입력되고, 그 뒤에 임의의 수의 '방해 토큰 (Distractor)'이 이어진 후, 문맥 토큰의 정체성을 예측해야 하는 작업입니다.
  • 이는 문법적 일치 (agreement) 와 같은 장기 의존성 문제를 가장 단순한 형태로 추상화한 것입니다.
• 모델 아키텍처 비교 (Model Zoo):
  • 단일 큐비트 모델 (1Q): 얽힘이 불가능한 모델. (공유 파라미터 vs 분리 파라미터)
  • 이중 큐비트 모델 (2Q): CNOT 게이트 (얽힘 생성) 포함 여부에 따라 구분.
  • 고전적 베이스라인: SO(3) 회전 행렬을 사용하는 고전 모델 및 tanh-RNN. 양자 모델과 정확히 동일한 파라미터 수로 매칭하여 용량 (capacity) 을 통제했습니다.
• 기계적 해석 도구:
  • 블로흐 구체 (Bloch Sphere) 프로빙: 1~2 큐비트 시스템의 내부 상태를 기하학적으로 시각화.
  • 인과적 게이트 제거 (Causal Gate Ablation): CNOT 게이트를 제거하여 모델이 기억 전략을 어떻게 변경하는지 관찰.
  • 얽힘 추적 (Entanglement Tracking): 폰 노이만 얽힘 엔트로피를 계산하여 문맥이 큐비트 간 상관관계에 인코딩되는지 확인.
  • 밀도 행렬 교환 개입 (Density-matrix Interchange): 한 계산의 상태 벡터를 다른 계산에 삽입하여 (Activation Patching 의 양자 버전) 문맥 정보가 상태 자체에 인코딩되었는지 검증.
• 실험 환경: 시뮬레이션 및 IBM Eagle 세대 양자 프로세서 (ibm fez, ibm marrakesh) 를 활용한 실제 하드웨어 테스트.

3. 주요 기여 및 발견 (Key Contributions & Results)

연구는 네 가지 주요 발견 (C1-C4) 을 도출했습니다.

C1. 얽힘 기반 기억 전략의 발견 (Two-qubit Models)

• 결과: CNOT 게이트를 가진 2 큐비트 모델은 문맥 정보를 큐비트 간의 **얽힘 엔트로피 (Entanglement Entropy)**에 인코딩하는 고유한 전략을 학습했습니다.
• 증거:
  • 문맥 A 와 B 는 방해 토큰을 거치더라도 얽힘 엔트로피 수준에서 명확히 분리되어 유지됩니다.
  • 인과적 테스트: CNOT 게이트를 제거 (Ablation) 하면 모델은 얽힘 전략을 잃고 고전적인 기하학적 전략으로 회귀하며, 정확도가 유의미하게 떨어집니다 ($p < 0.0001$).
  • SWAP 제어: CNOT 을 얽힘을 생성하지 않는 SWAP 게이트로 교체하면 얽힘 전략은 사라지고 고전적 전략만 남습니다.

C2. 단일 큐비트 모델의 고전적 시뮬레이션 가능성 (Single-qubit Models)

• 결과: 단일 큐비트 모델은 **SU(2) → SO(3) 이중 피복 (Double cover)**을 통해 정확히 고전적으로 시뮬레이션 가능합니다.
• 메커니즘: 양자 모델과 고전 SO(3) 모델 모두 **기하학적 전략 (Geometric Strategy)**을 학습합니다. 즉, 문맥 A 는 블로흐 구체의 북반구, B 는 남반구에 위치시키고, 방해 토큰은 Z 축을 중심으로 회전시켜 위도 (Latitude) 를 유지합니다.
• 의미: 단일 큐비트 수준에서는 양자 우위가 없으며, 고전 모델과 동일한 전략을 공유합니다.

C3. 공유 파라미터 트레이드오프 정리 (Shared-Parameter Tradeoff)

• 이론: 문맥 토큰과 방해 토큰에 동일한 파라미터를 공유하는 아키텍처는 '문맥 인코딩'과 '방해 토큰 불변성'을 동시에 만족할 수 없습니다.
• 해결: 파라미터를 분리 (Decoupled) 해야만 방해 토큰에 영향을 주지 않으면서 문맥을 유지할 수 있습니다. 이는 공유 파라미터 모델이 낮은 성능 (76%) 을 보이는 이유를 설명합니다.

C4. 노이즈 - 표현력 트레이드오프 (Noise-Expressivity Tradeoff)

• 실제 하드웨어 결과 (IBM Eagle):
  • 기하학적 전략 (1Q): 노이즈에 강건하여 100% 정확도를 유지했습니다.
  • 얽힘 전략 (2Q): CNOT 게이트가 포함된 2 큐비트 회로는 실제 하드웨어에서 **우연 수준 (Chance, ~40%)**으로 성능이 급격히 저하되었습니다.
• 원인: 현재 NISQ (Noisy Intermediate-Scale Quantum) 시대의 하드웨어 노이즈 (특히 T1 relaxation) 가 다중 큐비트 간 결맞음 (Coherence) 을 파괴하여 얽힘 기반 기억이 불가능해지기 때문입니다.

4. 의의 및 결론 (Significance & Conclusion)

• 기계적 해석의 확장: 양자 언어 모델 연구에 '기계적 해석 (Mechanistic Interpretability)' 방법론을 처음 적용하여, 모델이 내부적으로 무엇을 계산하는지 규명했습니다.
• 양자 우위의 조건:
  • 단일 큐비트에서는 양자 우위가 없으며 고전 모델과 동등합니다.
  • 다중 큐비트 (얽힘) 에서는 고전 모델과 표현적으로 구별되는 (Representationally distinct) 새로운 기억 전략이 존재합니다.
  • 그러나 현재 하드웨어의 노이즈 수준에서는 이러한 얽힘 전략이 생존하지 못합니다.
• 향후 방향: 양자 머신러닝의 실용화를 위해서는 하드웨어의 노이즈 감소 (오류 완화 기술 등) 가 필수적이며, 얽힘 기반 전략이 유효한 '노이즈 - 표현력 임계점'을 찾는 것이 중요합니다.
• 핵심 통찰: 훈련된 양자 모델이 양자 자원을 사용하는지 여부는 아키텍처 (큐비트 수, 게이트 종류) 에 달려 있으며, 얽힘은 기억 메커니즘으로서의 잠재력을 가지지만 현재는 하드웨어 한계로 인해 활용되지 못하고 있습니다.

이 연구는 양자 언어 모델이 단순히 고전 알고리즘을 양자 하드웨어에 실행하는 것이 아니라, 특정 조건 (얽힘 가능) 에서 고유한 양자적 기억 전략을 학습할 수 있음을 증명했으나, 그 전략이 실제 하드웨어에서 작동하려면 노이즈 내성이 해결되어야 함을 시사합니다.