🤖 machine learning

The Quantum Shortcut: Complex Phase-State Dynamics Reduce the Optimization Steps of Sequence Models

이 논문은 표준적인 실수 값 은닉 상태 기질을 복소수 기반의 양자 영감을 받은 대안으로 교체하는 것이 상태 공간 모델과 어텐션 기반 시퀀스 모델 모두의 훈련 수렴을 상당히 가속화하지만, 장기적인 성능 우위는 상태 공간 구조에서만 지속된다는 것을 입증한다.

원저자: Ahmed Nebli, Hadi Saadatdoorabi, Christopher Keibel, Kevin Yam

게시일 2026-08-18

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Ahmed Nebli, Hadi Saadatdoorabi, Christopher Keibel, Kevin Yam

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 인공지능, 특히 텍스트를 쓰고, 언어를 번역하며, 문장에서 다음 단어를 예측하는 시스템들은 특정한 종류의 수학적 엔진에 의존합니다. 이 엔진들은 정보를 일련의 층(layer)을 통해 이동시키며 정보를 처리하는데, 이는 마치 신호가 긴 전선을 통과해 이동하는 것과 같습니다. 수십 년 동안 이러한 엔진을 구축하는 표준적인 방법은 우리가 일상생활에서 사용하는 친숙한 정수와 소수인 실수(real numbers)를 사용하는 것이었습니다. 이 표준 설정에서 엔진은 내부 신호의 크기를 강하게 유지함으로써 과거의 정보를 기억합니다. 그러나 정보가 시간상으로 더 멀리 이동함에 따라, 이 신호들은 긴 복도에서 메아리치는 속삭임처럼 자연스럽게 약해지는 경향이 있습니다. 신호가 너무 작아지면, 기계는 문장의 시작 부분에서 일어났던 일을 효과적으로 잊어버리게 되어, 긴 데이터 시퀀스로부터 학습하는 데 어려움을 겪습니다. 이러한 약화 현상은 현재 설계의 근본적인 한계이며, 이로 인해 연구자들은 기계가 기억하는 법을 가르치기 위해 방대한 양의 데이터와 시간을 투입해야만 합니다.

연구팀은 기계가 사고하는 방식에 사용하는 숫자 체계 자체를 바꿈으로써 이 약화 문제를 우회할 수 있는 방법을 발견했습니다. 실수에만 의존하는 대신, 그들은 복소수(complex numbers)를 사용하는 버전의 언어 모델을 구축했습니다. 실수는 단 하나의 값만을 가지지만, 복소수는 크기와 방향(각도)이라는 두 가지 뚜렷한 정보를 담고 있습니다. 연구진은 중요한 정보를 크기가 아닌 각도에 저장함으로써, 기계가 기억을 잃지 않고 훨씬 더 멀리까지 나아갈 수 있다는 것을 발견했습니다. 정보의 크기가 네트워크를 통과하며 줄어들더라도, 각도는 완벽하게 선명하고 변함없이 유지됩니다. 이를 통해 기계는 신호가 결코 침묵 속으로 사라지지 않고 문장의 시작부터 끝까지 맥락을 유지할 수 있습니다.

연구진은 이 새로운 접근 방식을 테스트하기 위해 표준 설계와 더 새롭고 효율적인 설계를 기반으로 한 두 가지 유형의 언어 모델을 구축했습니다. 그들은 실수를 복소수로 교체하여 각 모델의 '복소수' 버전을 만들었고, 100메가바이트의 작은 컬렉션부터 15기가바이트의 거대한 데이터에 이르기까지 세 가지 서로 다른 텍스트 세트로 학습시켰습니다. 결과는 놀라웠습니다. 더 새로운 설계(state-space model)의 경우, 복소수 모델은 표준 모델과 동일한 정확도에 도달하는 데 약 3분의 1의 학습 단계(training steps)만을 필요로 했습니다. 더 크고 전통적인 설계의 경우, 동일한 수준에 도달하는 데 약 절반의 단계가 걸렸습니다. 이는 새로운 모델이 훨씬 적은 데이터와 시간을 소비하면서도 동일한 양의 정보를 학습했음을 의미합니다.

이 발견이 특히 견고한 이유는 이 이점이 즉각적으로 나타났으며, 두 설계의 행동이 훈련이 진행됨에 따라 갈라졌기 때문입니다. 연구진은 복소수 모델이 훈련의 첫 100단계부터 앞서 나가기 시작했다는 점을 관찰했습니다. 결정적으로, 연구진은 이러한 속도 향상의 성격이 두 아키텍처 사이에서 서로 다르다는 것을 발견했습니다. 새로운 설계(상태 공간 모델)의 경우, 복-소수 모델과 표준 모델 사이의 격차는 훈련이 계속됨에 따라 오히려 더 넓어졌는데, 이는 이 이점이 과정의 시작 단계에서 나타나는 일시적인 현상이 아니라 새로운 설계의 영구적인 특징임을 시사합니다. 반면, 오래된 설계(어텐션 기반 모델)의 경우, 이점은 초기에 가장 강력했다가 훈련이 진행됨에 따라 서서히 감소하여 제로(0)를 향해 감쇠했습니다. 이러한 감쇠에도 불구하고, 초기의 상승 폭은 해당 아키텍처의 훈련 시간을 절반으로 줄일 만큼 충분히 컸습니다.

연구진은 이 속도 향상이 단순히 더 많은 컴퓨팅 파워를 추가하거나 모델의 크기를 키워서 발생한 것이 아님을 확실히 하기 위해 주의를 기울였습니다. 그들은 각 모델의 조정 가능한 부분(adjustable parts)의 개수가 100분의 1 퍼센트 미만으로 차이가 나도록 두 버전을 매우 정밀하게 일치시켰습니다. 또한 동일한 훈련 일정과 컴퓨터 하드웨어를 사용했습니다. 이러한 엄격한 통제를 통해 차이점이 오로지 복소수로의 전환과 기계가 이를 처리하는 방식에서 비롯되었음을 확인했습니다. 또한 연구진은 복소수 모델이 단순히 초기 조건 덕분에 운이 좋았던 것이 아니라는 점을 입증했습니다. 다양한 크기의 텍스트와 서로 다른 모델 아키텍처 전반에서 나타난 일관된 이점은 기계가 학습하는 방식의 근본적인 개선을 가리켰습니다.

이 연구의 가장 흥러운 측면 중 하나는 기계가 상충하는 정보를 처리하는 방식을 어떻게 바꾸느냐 하는 것입니다. 표준 모델에서 만약 기계가 일련의 숫자가 연도를 나타내는지 혹은 가격을 나타내는지 확신하지 못한다면, 기계는 내부 신호를 사라질 때까지 줄임으로써 한 가지 가능성을 능동적으로 억제해야 합니다. 하지만 복소수 모델에서 기계는 대신 신호의 각도를 회전시킬 수 있습니다. 두 가지 가능성이 충돌할 때, 기계는 노이즈 캔슬링 헤드폰이 소음의 정확히 반대되는 파동을 만들어 소음을 상쇄하는 것과 유사한 '간섭(interference)' 과정을 통해 두 가능성을 서로 상쇄하도록 회전시킬 수 있습니다. 이를 통해 기계는 올바른 정보의 강도는 유지하면서 잘못된 아이디어를 폐기할 수 있으며, 이는 표준 모델은 수행할 수 없는 능력입니다.

연구진은 복소수 모델이 더 빠르게 학습하는 반면, 몇 가지 실질적인 트레이드오프(trade-offs)가 있다는 점에 주목했습니다. 현재 이 작업에 사용되는 컴퓨터 칩들은 실수에 최적화되어 있기 때문에, 복소수 모델을 실행하는 데는 단계당 약간 더 많은 처리 능력이 필요했습니다. 새로운 모델 설계의 경우, 이 추가 비용으로 인해 모델을 훈련하는 총 시간은 표준 버전과 거의 비슷했지만, 적은 단계만으로도 목표에 도달했습니다. 그러나 복소수 모델은 여전히 훨씬 적은 데이터를 소비하여 동일한 품질에 도달했으므로, 데이터가 부족한 특수 작업에서 큰 장점이 됩니다. 오래된 모델 설계의 경우, 연구진은 비교할 수 있는 최적화된 버전의 표준 모델을 가지고 있지 않았기에, 복소수 버전이 실제 작동 시간(clock time) 측면에서 더 빠를지는 아직 단정 지을 수 없으나, 데이터 효율성 측면에서의 이득은 명확했습니다.

이 연구는 모델의 아키텍처 자체만큼이나 선택한 숫자 체계가 중요하다는 것을 시사합니다. 수년 동안 연구자들은 기계가 정보를 전달하는 경로를 바꾸는 데 집중해 왔지만, 본 연구는 기계가 생각하는 언어를 바꾸는 것이 훨씬 더 큰 이점을 가져다줄 수 있음을 보여주었습니다. 복소수 모델은 단순히 조금 더 빨리 학습한 것이 아니라, 학습 과정의 효율성을 근본적으로 변화시켜 아주 적은 양의 데이터만으로도 높은 수준의 성능에 도달했습니다. 연구진은 현재의 버전이 이론의 엄격한 수학적 규칙을 완화한 실용적인 적응 형태이지만, 복소수 접근 방식이 대규모에서도 작동한다는 것을 증명하기에는 충분하다고 결론지었습니다. 그들은 모든 코드와 훈련 로그를 공개하여 다른 이들이 결과를 검증하고, 이 새로운 사고 방식이 차세대 인공지능을 어떻게 개선할 수 있는지 탐구할 수 있도록 했습니다.

기술 요약: 시퀀스 모델에서의 양자 지름길 (The Quantum Shortcut in Sequence Models)

1. 문제 정의

시퀀스 모델은 전통적으로 정보를 위치 간에 전달하는 "백본"(예: 어텐션 또는 순환 구조)에 의해 정의됩니다. 그러나 현재 거의 모든 모델은 그 기질(substrate), 즉 상태를 표현하는 수 체계와 상태에서 예측으로 가는 사상(map)의 함수적 형태에 관한 사전 설계 선택을 공유합니다. 지배적인 기질은 실수 값 상태 벡터( $\mathbb{R}^d$ )와 아핀 변환(affine transformation) 및 소프트맥스 출력(softmax readout)을 사용합니다.

본 논문은 실수의 아핀-소프트맥스 기질이 가지는 두 가지 근본적인 한계를 식별하며, 이는 백본과는 독립적인 문제입니다:

계수 병목 현상 (The Rank Bottleneck): 아핀 사상과 소프트맥스는 최대 $d+1$ 의 계수를 갖는 로그 확률 행렬을 생성합니다. 만약 데이터의 조건부 구조가 이보다 높은 계수를 가진다면, 상태가 어떻게 계산되느와 상관없이 모델은 잘못 설정된 것입니다.
기울기 소실/망각 트레이드오프 (The Vanishing Gradient/Forgetting Trade-off): 스펙트럼 반경 $\rho < 1$ 인 실수 선형 순환 구조는 $T$ 스텝 동안 기울기를 $\rho^T$ 만큼 감쇠시킵니다. 안정성을 유지하면서 망각을 허용하기 위해 모델은 상태를 감쇠시켜야 하며, 이는 동시에 초기 위치로부터의 신호를 침식시킵니다.

저자들은 이러한 한계가 백본이 아닌 기질 자체에서 비롯된다고 제안합니다. 이들은 **복소수 기질(complex-valued substrate)**이 양자 이론(특히 위상 역학 및 본 법칙(Born rule))의 수학을 활용할 때, 이러한 문제를 극복하고 목표 손실에 도달하는 데 필요한 최적화 단계를 줄일 수 있는지 조사합니다.

2. 방법론

배포 가능한 복소수 기질 (The Deployable Complex Substrate)

본 논문은 이전에 직접적인 배포를 방해했던 이상적인 양자 영감 모델(Nebli et al. [10])의 두 가지 속성을 완화한 "배포 가능한" 버전의 복소수 기질을 도입합니다:

엄격한 유니터리성(Unitarity)의 완화: 엄격한 노름 보존(unitary) 순환 구조(이는 망각을 금지함) 대신, 저자들은 **수축적이고 입력 의존적인 순환 구조(contractive, input-dependent recurrence)**를 사용합니다. 상태 진화는 $|\psi_{t+1}\rangle = a_t \odot |\psi_t\rangle + b_t$ $∣ ψ_{t + 1} ⟩ = a_{t} ⊙ ∣ ψ_{t} ⟩ + b_{t}$ 로 정의되며, 여기서 전이 계수 $a_{t,k}$ $a_{t, k}$ 는 실수 게이트 $\alpha_{t,k} \in (0,1)$ $α_{t, k} \in (0, 1)$ 와 단위 모듈러스 위상 $\lambda_{t,k}$ $λ_{t, k}$ 의 곱입니다.
- 메커니즘: 게이트 $\alpha$ 는 망각(크기 수축)을 처리하고, 위상 $\lambda$ (대각 케일리 변환을 통해 생성됨)는 왜곡 없이 정보를 전달합니다. 이는 망각과 정보 전달을 분리합니다.
본 어휘 출력(Born Vocabulary Readout)의 완화: 전체 어휘에 적용되는 이상적인 본 법칙( $p_v = |\langle e_v | \psi \rangle|^2$ )은 계산 비용이 매우 높습니다($O(NV)$). 저자들은 본 법칙을 **선형 어텐션의 스코어링 함수(quadratic form $|\langle q | k \rangle|^2$ )**로만 적용하고, 최종 어휘 출력에는 표준적인 타이드-소프트맥스 헤드(tied-softmax head)를 유지합니다.

실험 설계

기질의 효과를 격리하기 위해 저자들은 두 가지 서로 다른 백본에 복소수 기질을 구현했습니다:

H-Mamba: 맘바 상태 공간 모델(Mamba SSM)의 복소수 구현체.
H-Transformer: 본 법칙 스코어링을 사용하는 선형 어텐션 기반 트랜스포머의 복소수 구현체.

대조군:

파라미터 매칭: 복소수 모델과 실수 모델의 총 파라미터를 0.02% 이내로 일치시켰습니다.
프로토콜: 모든 모델에 대해 per-model 튜닝 없이 동일한 고정 훈련 프로토콜(AdamW, cosine schedule, 750-step warmup)을 적용했습니다.
코퍼스: 크기가 150배 차이 나는 세 가지 바이트 레벨 코퍼스를 사용했습니다: enwik8 (100 MB), OpenWebText (3 GB), FineWeb (15 GB).
지표: 주요 지표는 단순히 최종 손실이 아니라, 특정 검증 손실 목표(문자당 비트, bpc)에 도달하기 위한 최적화 단계 수입니다.

3. 주요 기여

배포 가능한 복소수 기질의 정의: 본 논문은 (단위 모듈러스 케일리 변환을 통한 위상 간섭 특성을 유지하면서도 선택적 망각(시그모이드 게이트를 통해)과 효율적인 어휘 출력(소프트맥스를 통해)을 허용하는) 기질을 공식화합니다.
"양자 지름길" (The Quantum Shortcut): 이 기질이 동일한 크기의 실수 모델과 비교했을 때, 목표 손실에 도달하는 데 필요한 최적화 단계를 상태 공간 모델에서는 약 3배, 어텐션 모델에서는 약 2배 가량 단축한다는 경험적 증거를 제시합니다.
메커니즘 분석:
- 위상 전달 (Phase Transport): 이론적 분석(Lemma 6.2)에 따르면, 상대적 위상은 수축 게이트와 무관하게 단위 감도(unit sensitivity)로 순환을 통해 전달되는 반면, 실수의 크기는 감쇠합니다.
- 간섭 (Interference): 이차 형식의 본 스코어(quadratic Born score)는 선형 실수 출력에는 없는 기능인 가설의 상쇄(destructive interference/cancellation)를 가능하게 합니다.
- 분해 (Decomposition): 저자들은 상태 공간 가속이 주로 개선된 기울기 컨디셔닝(위상 전달) 때문이며, 어텐션 가속은 간섭과 컨디셔닝의 혼합 결과라고 주장합니다(단, 실수가 이미 잘 컨디셔닝되어 있다면 후자의 영향은 줄어듭니다).

4. 결과

최적화 효율성

세 가지 코퍼스와 세 가지 손실 목표(2.5, 2.2, 2.0 bpc) 전체에 걸쳐:

H-Mamba는 실제 Mamba보다 약 1/3의 단계만으로 목표에 도달했습니다.
H-Transformer는 실제 트랜스포머보다 약 1/2의 단계만으로 목표에 도달했습니다.
이러한 이점은 훈련 초기(첫 200 스텝 이내)에 확립되었으며, 하강하는 손실 곡선을 따라 안정적으로 유지되었습니다.

학습률 웜업 이후의 동작

논문은 초기 훈련 효과와 지속적인 이점을 구분합니다:

상태 공간 (Mamba): 학습률 웜업이 끝난 후에도 성능 격차가 확대되었습니다(예: OpenWebText에서 0.321에서 0.354 bpc로). 이는 이 이점이 웜업 스케줄의 산물이 아니라 순환 구조의 구조적 이점임을 시사합니다.
어텐션 (Transformer): 웜업 이후 성능 격차가 0에 가깝게 감소했습니다. 이는 이 이점이 주로 초기 훈련 효과임을 나타냅니다.

최종 성능 및 데이터 한계

대규모 웹 코퍼스(OpenWebText, FineWeb)에서 복소수 모델은 실수 모델보다 낮은 최종 검증 손실을 달 Achieved 했습니다.
작은 규모의 enwik8 코퍼스(100 MB)에서 복소수 모델은 실수 모델보다 더 빨리 데이터 한계에 도달하고 더 빨리 과적합되기 시작했는데, 이는 높은 샘플 효율성의 결과입니다.

계산 비용

토큰: 단계 수의 감소는 직접적으로 소비된 토큰의 감소로 이어집니다 (예: FineWeb에서 2.0 bpc에 도달하기 위해 H-Mamba가 약 0.57B 토큰을 절약함).
실제 실행 시간 (Wall-Clock Time): 어텐션 쌍의 경우, 현재의 퓨즈드 커널 오버헤드(실제 대응 모델의 절반 속도로 실행됨)가 단계 이점을 상쇄하여 실행 시간 측면에서는 동등한 수준을 보입니다. 상태 공간 쌍의 경우, 최적화된 실수 베이스라인 커널에 대한 공정한 비교가 남아 있으나, 단계 이점은 커널이 개발될 경우 잠재적인 시간 절감이 가능함을 시사합니다.

5. 의의 및 주장

본 논문은 기질(수 체계와 출력 형태)이 백본만큼이나 중요한 설계 축이라고 주장합니다. 주요 의의는 복소수 기질을 (완화된 배포 가능 형태로라도) 사용하면 시퀀스 모델링을 위한 최적화 단계를 실질적으로 줄일 수 있음을 입증했다는 점입니다.

저자들은 명시적으로 다음과 같이 밝힙니다:

"양자 지름길"은 반드시 실제 실행 시간의 단축을 의미하는 것이 아니라, 최적화 단계의 단축을 의미합니다 (현재의 커널 비효율성 때문).
이 이점은 초기 단계에서는 백본에 독립적이지만, 상태 공간 백본의 경우에만 지속적입니다. 이는 메커니즘이 위상을 감쇠 없이 전달하는 순환 구조의 능력에 뿌리를 두고 있다는 가설을 뒷받렵합니다.
결과는 파라미터 수의 차이나 튜닝의 산물이 아닙니다 (엄격한 매칭과 동일한 프로토콜을 통해 검증됨).
본 논문은 어휘 수준의 계수 병목 현상을 해결한다고 주장하지 않습니다 (소프트맥스 헤드는 그대로 유지됨). 대신, 복소수 기질이 기존 백본의 최적화 궤적과 샘플 효율성을 개선함을 보여줍니다.

결론적으로, 모델이 계산을 수행하는 영역(field)을 결정하는 것은 근본적인 설계 결정이며, 복소수 역학이 시퀀스 모델의 더 효율적인 훈련을 위한 유효한 경로를 제공한다는 것을 이 논문은 보여줍니다.