⚛️ quantum physics

A Quantum Roadmap for Softmax Attention: Exact Born-Rule Analogs for Softmax Attention on the Probability Simplex

이 논문은 확률 심플렉스(probability simplex) 상의 소프트맥스 어텐션(softmax attention)이 지수 소프트맥스부터 가치 집계(value aggregation)에 이르는 모든 연산이 특정 양자 게이트 회전 및 Born-rule 측정으로 매핑되는 정밀한 구성 요소별 구현을 허용함을 보여주는 기계 검증된 양자 로드맵을 제시한다.

원저자: Eric A. F. Reinhardt, Adam J. Hauser

게시일 2026-08-12

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Eric A. F. Reinhardt, Adam J. Hauser

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

양자 놀이터: AI와 확률이 만나는 곳

당신이 로봇에게 세상을 이해하는 법을 가르치고 있다고 상상해 보세요. 이를 위해 로봇은 수많은 단서들을 살펴보고 그중 어떤 것이 가장 중요한지 결정해야 합니다. 현대 인공지능의 세계에서 로봇이 사용하는 이 도구는 "어텐션(attention, 주의 집중)"이라고 불립니다. 이것은 AI가 문장이나 이미지의 가장 관련 있는 부분에 비추는 스포트라이트와 같으며, 나머지 부분은 무시합니다. 하지만 이 스포트라이트가 올바르게 작동하려면, 로봇은 모든 추측의 합이 완벽한 전체가 되도록 보장해야 합니다. 마치 모든 조각의 합이 반드시 100%가 되어야 하는 파이와 같습니다. 수학에서는 이를 "확률 심플렉스(probability simplex)"라고 부릅니다.

이제 다른 종류의 컴퓨터를 상상해 보세요: 바로 양자 컴퓨터입니다. 켜져 있거나 꺼져 있는 일반적인 스위치를 사용하는 대신, 양자 컴퓨터는 확률의 파동으로 설명되는 여러 상태에 동시에 존재할 수 있는 아주 작은 입자들을 사용합니다. 우리가 이 파동을 측정할 때, 파동은 하나의 결과로 붕괴하며, 이 붕괴를 지배하는 수학을 "본 법칙(Born rule)"이라고 합니다. 여기서 매혹적인 반전이 일어서는 지점은 다음과 같습니다: 본 법칙은 AI의 확률 파이처럼 모든 결과의 합이 1이 되도록 자연스럽게 강제한다는 것입니다. 이 논문은 거대한 질문을 던집니다: 우리는 숫자의 합을 맞추기 위해 통상적으로 필요한 복잡한 수학 과정을 건너뛰고, 이 양자 파동으로부터 AI의 "어텐션" 메커니즘을 직접 구축할 수 있을까요? 앨라배마 대학교의 물리학자들인 저자들은 그렇다고 답합니다. 다만 몇 가지 매우 구체적인 규칙과 AI가 "생각하는" 방식에 대한 놀라운 새로운 관점을 전제로 합니다.

양자 로드맵: AI 어텐션을 파동의 춤으로 바꾸기

현대 AI의 "어텐션" 메커니즘을 매우 정교한 "따뜻함과 차가움(Hot and Cold)" 게임이라고 생각해 보세요. 당신은 질문("쿼리", Query)을 가지고 있고, 일련의 가능한 답변들("키", Keys)이 있습니다. AI는 각 키가 질문과 얼마나 잘 맞는지 계산하고, 그 일치도를 스포트라이트("소프트맥스", Softmax)로 변환한 다음, 최종 답변을 만들기 위해 추가적인 세부 정보("값", Values)를 혼합합니다. 보통 이 과정은 많은 양의 헤비한 수학을 사용하여 스포트라이트의 백분율이 정확히 100%가 되도록 보장하며 클래식 컴퓨터에서 일어납니다.

이 논문은 이와 똑같은 게임을 수행하는 "양자 로드맵"을 제시합니다. 다만 헤비한 수학 대신 양자 물리학의 자연 법칙을 사용하는 방식입니다. 저자들은 AI 프로세스의 모든 단계를 양자 움직임으로 번역하는 사전을 만들었습니다. 그 결과물인 양자 회로는 단순히 AI의 어텐션을 근사하는 것이 아니라, 무한한 측정의 한계 내에서 그것과 정확히 동일한 것이 되며, 동시에 멋진 새로운 초능력들을 갖게 됩니다.

스포트라이트: 지수 함수에서 코사인으로

클래식한 세상에서 AI는 원시 점수를 백분율로 바꾸기 위해 "소프트맥스(Softmax)"라고 불리는 함수를 사용합니다. 이는 숫자 리스트를 가져와서, 그것들을 거듭제곱(지수)하고 전체로 나누는 것과 같습니다. 이 방식은 매우 훌륭하지만, 점수가 무한히 음수이지 않는 한 결코 완벽한 '0'을 만들어낼 수 없습니다.

저자들은 양자 트릭을 발견했습니다. 양자 세계에서 입자를 측정할 때 특정 결과를 볼 확률은 파동 높이의 제곱(본 법칙)입니다. 만약 당신이 양자 파동을 적절하게 설정한다면, 특정 결과를 볼 확률은 코사인 제곱(cosine-squared) 패턴을 따르게 됩니다.

마법 같은 점: 저자들은 이 코사인 제곱 패턴이 모든 "일반적인" 경우에 대해 클래식한 지수 소프트맥스와 수학적으로 동일하다는 것을 증명했습니다.
초능력: 하지만 핵심은 이것입니다. 클래식한 지수 소프트맥스는 0에 접근할 수만 있을 뿐, 유한한 숫자로 실제 0에 도달할 수는 없습니다. 반면, 양자의 코사인 버전은 특정하고 유한한 설정에서 정확한 0에 도달할 수 있습니다. 이는 양자 AI가 무한한 수학 없이도 정보를 완전히 무시하기로(희소 어텐션, sparse attention) 자연스럽게 결정할 수 있음을 의미합니다. 이는 마치 아주 어두워지기만 할 뿐 결코 꺼지지 않는 조명이 아니라, 즉각적으로 "꺼짐" 상태로 갈 수 있는 디머 스치(dimmer switch)를 가진 것과 같습니다.

온도: 반복 횟수 세기

AI에는 AI가 얼마나 "무작위적"인지 또는 "확신에 차 있는지"를 제어하는 "온도(temperature)"라는 노브(knob)가 있습니다. 높은 온도는 AI가 더 무작위로 추측하게 만들고, 낮은 온도는 AI가 최선의 옵션을 선택하게 만듭니다.

양자의 뒤틀림: 이 논문에서 온도는 컴퓨터에 입력하는 숫자가 아닙니다. 그것은 측정을 몇 번 반복하는지에 대한 물리적인 횟수입니다. 만약 당신이 양자 시스템을 $L$ 번 측정하고 모든 것이 완벽하게 작동한 결과만을 유지한다면, 수학은 자연스럽게 특정 온도의 효과를 만들어냅니다. 실험을 더 많이 반복할수록, AI는 더 "차갑고" 집중하게 됩니다. 이는 소프트웨어 설정을 물리적 행동으로 바꿉니다.

잔차(Residual): "건너뛰기" 버튼

현대 AI 모델은 종면 "잔차 연결(residual connection)"을 갖는데, 이는 일종의 안전망과 같습니다. 이는 원래의 입력이 복잡한 처리 단계를 건너뛰어 새로운 결과와 섞일 수 있게 해줍니다. 이는 AI가 더 잘 학습하도록 돕습니다.

양자 게이트: 저자들은 이 안전망을 하나의 추가적인 양자 비트("보조 큐비트", ancilla)를 사용하여 구축했습니다. 이 비트를 특정 혼합 상태(회전각)로 준비함으로써, 원래의 입력이 새로운 결과와 얼마나 섞일지를 제어할 수 있습니다.
- 각도가 한 방향으로 설정되면, 입력은 전체 과정을 건너뜁니다(항등 함수, identity).
- 다른 방향으로 설정되면, 입력은 새로운 결과에 의해 완전히 대체됩니다.
- 중간 각도(특히 $\pi/2$ )로 설정되면, 클래식 AI가 사용하는 완벽한 50/50 혼합을 만들어냅니다.
- 가장 좋은 점은, 이 각도를 학습할 수 있다는 것입니다. 즉, AI가 스스로 최적의 "건너뛰기" 양을 찾아낼 수 있습니다.

함정: "측정 및 재로드(Measure-and-Reload)" 단계

"이렇게 완벽하다면, 왜 아직 우리 스마트폰에서 양자 AI가 돌아가지 않나요?"라고 의문을 가질 수 있습니다.
논문은 그 비용에 대해 매우 솔직합니다. 이 정확한 일치를 얻으려면, 양자 컴퓨터는 멈춰서 아주 작은 데이터를 측정하고, 그 숫자를 클래식 컴퓨터로 보내고, 클래식이 컴퓨터가 빠른 계산을 수행하게 한 다음, 그 결과를 새로운 설정으로서 양자 기계에 다시 "재로드(reload)"해야 합니다.

트레이드오프: 이 "측정 및 재로드" 단계는 완벽한 양자 파동의 흐름을 깨뜨립니다. 저자들은 (매우 복잡하고 근사적인 방법을 사용하지 않는 한) 이 과정을 완전히 양자 내부에서 수행하는 것은 불가능하다고 증명했습니다.
결론: 이 구성은 측정과 재로드를 수행하는 데 무한한 시간이 주어진다면 **정확(exact)**합니다. 만약 멈춰서 측정하고 재로드하는 과정 없이 한 번에 모두 수행하려고 한다면, 오직 근사적인 답만을 얻을 수 있습니다. 이 논문은 이 특정 유형의 문제에 대해, 완전한 결맞음(fully-coherent)을 가진 양자 버전은 현재의 방법으로는 수학적으로 불가능하다는 것을 증명합니다.

이것이 왜 중요한가

이것은 단순히 더 빠른 컴퓨터를 만드는 것에 관한 것이 아닙니다. AI가 작동하는 방식과 우주가 작동하는 방식 사이의 깊은 연결을 이해하는 것에 관한 것입니다.

정확성: 저자들은 확률을 다루는 AI 모델(예: 문장의 다음 단어를 예측하거나 이미지를 생성하는 모델)의 경우, 양자 버전이 클래식 버전의 완벽한 쌍둥이임을 증명했습니다.
새로운 능력: 양자 버전은 "하드 제로(hard zeros, 정보를 완전히 무시하는 것)"를 클래식 버전보다 더 잘 처리하며, 이는 어쩌면 클래식 AI도 양자 컴퓨터 없이도 이 "코사인" 수학을 시도해 봐야 함을 시사합니다.
물리적 실체: 이것은 "온도"와 같은 추상적인 설정을 "측정 횟수 세기"와 같은 물리적 행동으로 바꿈으로써, AI 파라미터가 어떻게 작동하는지에 대한 새로운 시각을 제공합니다.

저자들은 모든 단계가 논리적으로 빈틈이 없는지 확인하기 위해 Lean 4라는 컴퓨터 증명 시스템을 사용하여 수학적 검증까지 마쳤습니다. 이것이 당장 내일 양자 AI를 가질 수 있다는 뜻은 아닙니다(하드웨어는 아직 따라잡는 중입니다). 하지만 이는 클래식 AI와 양자 물리학이라는 두 세계가 서로 다른 언어를 사용하고 있을 뿐, 사실은 같은 것이 될 수 있다는 명확하고 정확한 청사진을 제공합니다.

기술 요약: 소프트맥스 어텐션을 위한 양자 로드맵

문제 정의
트랜스포머 아키텍처는 시퀀스를 처리하기 위해 도트 곱 어텐션(dot-product attention)과 그 뒤를 잇는 소프트맥스 비선형성을 포함한 어텐션 메커니즘에 의존한다. 양자 머신러닝(QML)은 본 규칙(Born rule)을 통해 복소 힐베르트 공간의 단위 구체 위에서 네이티브하게 작동하는 반면(여기서 확률의 합은 구조적으로 1이 된다), 고전적 어텐션은 명시적인 지수 소프트맥스 투영을 통해 이 확률 심플렉스(probability simplex) 구조를 강제한다. 본 논문은 입력과 출력이 확률 심플렉스에 묶여 있을 때, 단일 헤드 게이트 어텐션(single-head gated attention)에 대한 정확한 성분별 양자 구현이 존재하는지, 그리고 그 운영 비용은 어느 정도인지를 다룬다. 저자들은 특히 고전적 지수 소프트맥스와 양자 진폭 기반 연산 사이의 매핑, 잔차 연결(residual connections)의 처리, 그리고 온도(temperature)와 같은 하이퍼파라미터의 물리적 해석을 조사한다.

방법론
저자들은 입력이 행 정규화된 확률 분포(확률 심플렉스)라고 가정하고, 양자 진폭 인코딩(amplitude encoding)과 호환되는 단일 헤드 게이트 트랜스포머 어텐션 레이어를 구축한다. 이 구성은 고전적 연산을 특정 양자 회로로 매핑하는 6가지 프리미티브(primitive)로 구축된다:

인코딩: 입력은 본 규칙 진폭 인코딩( $|x_i\rangle = \sum \sqrt{x_{ij}}|j\rangle$ )을 통해 단위 구체로 리프팅된다.
쿼리/키 투영: 고전적 가중치 행렬 $W_Q$ 와 $W_K$ 는 블록 인코딩된 유니터리로 실현된다. 저자들은 진폭 리프트에 대한 선형 작용을 추출하기 위해 블록 인코딩 보조 큐비트를 포스트 셀렉션(post-selection)하여, 변분 하드웨어 효율적 회전-CRY 안사츠(rotation-CRY ansatz)를 사용하여 이 수축(contractions)을 근사한다.
어텐션 점수: 쿼리와 키 진폭 사이의 내적은 공유 데이터 레지스터를 통한 하다마르 테스트(Hadamard test)를 통해 계산된다. 결과값은 고전적 점수 $z_{ij}$ 이다.
소프트맥스 실현: 지수 소프트맥스는 "측정 및 재로드(measure-and-reload)" 단계를 통해 실현된다. 하다마르 테스트 결과 $z_{ij}$ 는 고전적으로 회전 각도 $\theta_{ij} = 2 \arccos(e^{z_{ij}/2})$ 로 변환된다. 이 각도는 어텐션 레지스터에 대한 $R_y$ 회전을 제어한다. 결과적인 본 규칙 측정 확률은 $\cos^2(\theta/2)$ 분포를 생성한다.
밸류 집계: 밸류 행렬 $W_V$ (열-스토캐스틱)는 제어된 컬럼 로딩을 통한 결정론적 양자 채널(Stinespring dilation)로 실현된다. 이는 진폭 수준에서 작동하는 블록 인코딩을 피하고, 확률 수준의 진폭을 직접 로드함으로써 이를 수행한다.
게이트 잔차: 가산적 잔차 연결(additive residual connection)은 단일 보조 큐비트를 사용하는 유니터리 선형 결합(LCU)으로 실현된다. 보조 큐비트는 서브레이어 유니터리에 의해 제어되는 중첩 상태 $\cos(\eta/2)|0\rangle + \sin(\eta/2)|1\rangle$ 로 준비되며, 포스트 셀렉션된다.

이 구성의 전체 대수적 핵심은 mathlib 라이库를 사용하여 Lean 4로 기계 검증되었다.

주요 기여 및 결과

무한 샷 한계에서의 정확한 등가성: 본 논문은 한 번의 측정 및 재로드 단계를 사용하는 구성된 양자 회로가 무한 샷 한계에서 고전적 단일 헤드 어텐션 레이어(잔차 연결 포함, 식 1–4)와 정확히 동일한 출력 확률 벡터를 생성함을 증명한다.
코사인 제곱 소프트맥스 동형성과 확장:
- 내부 동형성: 저자들은 $\cos^2$ -소프트맥스의 각도 파라미터와 지수 소프트맥스의 점수 사이의 쌍사 함수(bijection) $\theta = 2 \arccos(e^{z/2})$ 를 증명한다. 심플렉스의 내부(모든 확률이 엄격히 양수인 영역)에서 두 분포는 동일하다.
- 엄격한 경계 확장: 지수 소프트맥스는 정확한 0을 생성하기 위해 무한한 점수를 필요로 하는 것과 달리, $\cos^2$ -소프트맥스 패밀리는 유한한 파라미터 값( $\theta = \pi$ )에서 심플렉스의 경계(정확한 희소 어텐션)에 도달한다. 이는 고전적 표현력의 엄격한 확장을 나타낸다.
측정 반복으로서의 온도: 고전적 온도 하이퍼파라미터 $\beta$ 는 포스트 셀렉션된 측정 라운드의 반복 횟수( $L$ )로 물리적으로 실현된다. 본 논문은 $L$ 개의 동일한 포스트 셀렉션 라운드가 역온도 $\beta = L$ 에서 정확한 지수 소프트맥스를 생성함을 증명한다.
보조 큐비트 준비로서의 잔차 연결: 가산적 잔차는 매개변수화된 단일 보조 큐비트 LCU 회로의 특정 사례인 $\eta = \pi/2$ 로 식별된다. 이는 아이덴티티 바이패스( $\eta=0$ ), 풀 서브레이어( $\eta=\pi$ ), 가산적 잔차( $\eta=\pi/2$ )를 하나의 게이트 각도 패밀리로 통합한다.
결맞은 불가능 정리(Coherent No-Go Theorem): 본 논문은 아핀 인코딩된 점수로부터 정확하고 유한한 깊이의 완전 결맞은(fully-coherent) 지수 소프트맥스 실현이 QSVT 프레임워크 내에서 불가능함을 증명한다. 장애물은 비다항식 재매개변수화 $z \mapsto e^{z/2}$ $z \mapsto e^{z /2}$ 이다.
- 해결책: 측정 및 재로드 단계가 정확한 솔루션을 제공한다. 또는, QSVT 다항식 드레싱(polynomial dressing)을 통한 완전 결맞은 $\epsilon$ -근사 솔루션이 존재하며, 이때 깊이는 $O(\sqrt{\log(1/\epsilon)})$ 로 스케일링된다.

의의 및 주장
본 논문은 단순한 시뮬레이션이 아닌, 모든 고전적 메커니즘이 특정 양자 대응물을 갖는 구조적 등가성을 확립하는 "사전(dictionary)"을 제공한다고 주장한다.

구조적 정렬: 이 연구는 확률 심플렉스 설정이 양자 진폭 인코딩의 자연스러운 도메인임을 보여주며, 일반적인 특징 공간에서 발생하는 정규화 문제를 해결한다.
표현력: $\cos^2$ -소프트맥스는 유한한 파라미터에서 점근적 한계 없이 정확한 0(희소 어텐션)을 생성할 수 있기 때문에 지수 소프트맥스보다 엄격하게 더 높은 표현력을 가진다고 주장된다.
검증: 이들의 대수적 쌍사 관계, 경계 확장, 그리고 회로 항등식은 Lean 4를 통해 형식적으로 검증되었으며, 이는 구성의 유효성에 대한 유형론적 인증(type-theoretic certificate)을 제공한다.
실용성 및 스케일링: 저자들은 계산적 이점에 대해 겸허한 입장을 취한다. 그들은 고전적 데이터 입력을 사용하는 경우 이 구성이 속도 향상을 제공하지 않는다고 명시적으로 밝힌다. 유한 정밀도 추론에 필요한 샷 예산은 $\Omega(n^2/\epsilon^2)$ (또는 진폭 추정 시 $\Omega(n^2/\epsilon)$ )로 스케일링되며, 이는 총 게이트 수가 고전적 $O(n^2d)$ FLOPs보다 나쁜 $\Omega(n^3d/\epsilon^2)$ 가 됨을 의미한다. 이 구성의 가치는 구조적이고 이론적인 것으로 제시되며, 입력이 이미 양자 네이티브인 모델(예: 상위 양자 레이어의 출력)을 위해서나, $\cos^2$ -소프트맥스를 새로운 고전적 파라미터화로서 심플렉스 값 생성 모델에 탐구하기 위한 용도로 제시된다.

본 논문은 유한 깊이의 완전 결맞은 실현은 불가능하지만, 측정 및 재로드 접근 방식이 정확한 등가성을 제공하며, 식별된 프리미티브들(블록 인코딩, 하다마르 테스트, 게이트 LCU)이 확률 심플렉스 영역 내에서 양자 하드웨어에 어텐션을 구현하기 위한 완전한 로드맵을 형성한다고 결론짓는다.