💻 computer science

Quantum-Projected Semantic Retrieval: A Universal Low-Latency Backbone for Multi-Modal AI Systems

이 논문은 텍스트 임베딩을 힐베르트 공간 내의 복잡한 양자 상태로 매핑함으로써 표준 CPU 하드웨어에서 BERT 수준의 정확도를 달성하는 동시에 3.6배 빠른 추론 속도를 구현하며, 텍스트, 수학, 비디오와 같은 데이터 모달리티에 구애받지 않는 범용적이고 저지연인 검색 시스템인 QuantumRAG를 소개한다.

원저자: Amit Rana

게시일 2026-06-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Amit Rana

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 문제: 건초더미에서 바늘 찾기

당신이 고객을 위해 완벽한 책을 찾아주려는 사서라고 상상해 보세요. 당신에게는 수백만 권의 책이 있는 도서관이 있습니다.

과거의 방식 (고전적 검색): 당신은 책들을 살펴보며 이렇게 묻습니다. "이 책에 고객의 요청과 같은 단어가 들어 있는가?" 만약 고객이 "자동차(cars)"에 대해 묻고 책에는 "자동차(automobiles)"라고 적혀 있다면, 단순한 단어 개수 기반 시스템은 이를 놓칠 수 있습니다. 의미를 이해하는 스마트한 시스템들조차 대개 **거리(distance)**를 측정하는 데 그칩니다. 그들은 묻습니다. "이 책의 아이디어가 당신의 질문으로부터 얼마나 멀리 떨어져 있는가?"
한계점: 거리만으로는 충분하지 않습니다. 두 권의 책이 질문으로부터 똑같은 거리에 있더라도, 그 책들이 가진 "분위기"나 접근 방식은 완전히 다를 수 있습니다. 현재의 시스템들은 그 차이를 식용하지 못합니다.

해결책: QuantumRAG

저자인 Amit Rana는 QuantumRAG라는 새로운 시스템을 구축했습니다. 이 시스템은 실제 양자 컴퓨터(거대한 냉각탑이 있는 공상과학 영화 속의 그런 컴퓨터)를 필요로 하지 않습니다. 대신, 표준 컴퓨터에서 실행되도록 양자 역학의 수학을 사용하지만, 훨씬 더 빠르고 정확하게 정보를 찾아냅니다.

작동 원리는 다음과 같이 세 가지 간단한 단계로 나뉩니다.

1. GPS vs. 나침반 (인코딩)

도서관의 모든 문서를 거대한 지도 위의 한 점이라고 상상해 보세요.

고전적 시스템 (코사인 유사도): 이 시스템들은 오직 GPS 좌표만을 압니다. 그들은 문서가 어디에 위치해 있는지만 압니다. 만약 두 문서가 정확히 같은 지점에 있다면, 시스템은 두 문서가 동일하다고 생각합니다.
QuantumRAG: 이 시스템은 모든 문서에 나침반을 추가합니다. 문서가 어디에 있는지뿐만 아니라, 어느 방향을 향하고 있는지도 압니다.
- 비유: 공원의 같은 자리에 서 있는 두 사람을 상상해 보세요. 한 명은 북쪽(미래에 대해 이야기함)을 보고 있고, 다른 한 명은 남쪽(과거에 대해 이야기함)을 보고 있습니다. GPS는 두 사람이 같은 장소에 있다고 말합니다. 하지만 나침반은 그들이 서로 반대 방향을 향하고 있다는 것을 압니다.
- QuantumRAG는 모든 문서에 "위상(phase, 방향)"을 부여합니다. 이를 통해 비슷해 보이지만 의미가 다른 두 문서를 구별할 수 있게 해줍니다.

2. 스포트라이트 (검색)

질문을 던지면, 시스템은 도서관 전체를 한꺼번에 훑지 않습니다. 그렇게 하면 너무 느려지기 때문입니다.

비결: 시스템은 "양자 측정(Quantum Measurement)"을 사용합니다. 당신의 질문이 손전등이라고 상상해 보세요. 방 전체에 약한 빛을 비추는 대신, QuantumRAG는 질문의 가장 중요한 128개 부분에만 빛을 집중시키고 나머지는 무시합니다.
그런 다음 이 집중된 빛을 문서들과 비교합니다. 문서의 "방향(위상)"을 고려하기 때문에, 단순히 질문과 가장 가까운 것이 아니라 당신의 의도와 진정으로 일치하는 것을 골라낼 수 있습니다.

3. 소리굽쇠 (재순위화/Reranking)

최적의 후보들을 찾은 후, 시스템은 그로버 알고리즘(Grover's Algorithm)(유명한 양자 탐색 알고리즘)에서 영감을 받은 기술을 사용합니다.

비유: 소리가 나지 않는 소리굽쇠들이 가득한 방을 상상해 보세요. 당신은 당신의 질문과 주파수가 일치하는 하나를 때립니다. 시스템은 그 특정 소리굽쇠를 점점 더 크게 진동시키고, 나머지 것들은 서서히 사라지게 만듭니다.
시스템은 수학적으로 이 과정을 수행하여 최선의 답이 목록의 상단으로 올라오도록 보장합니다. 논문에서는 소리굽쇠를 얼마나 많이 진동시킬지에 대한 수학적 계산을 수정하는 것이 정확도를 크게 향상시킨 중대한 돌파구였다고 언급합니다.

결과: 더 빠르고 더 똑똑하게

저자는 어려운 수학 벤치마크(MATH 데이터셋, 12,500개 문제)를 통해 테스트를 진행했습니다.

정확도: 기존의 최고 시스템(BERT-cosine)과 대등한 수준으로 1순위 정답을 맞혔습니다.
순위 결정: 나머지 목록(2위부터 10위까지)의 순서를 정하는 능력은 약간 더 뛰어났습니다. 이는 "나침반 방향(위상)"이 매우 유사한 문서들 사이의 차이를 구별하는 데 도움을 주었기 때문입니다.
속도: 이것이 핵심적인 승리입니다. 기존 방식보다 3.6배 더 빨랐습니다.
- 기존 방식: 검색당 약 30밀리초(ms)
- QuantumRAG: 검색당 약 8.4밀리초(ms)
- 참고: 논문은 이 시스템이 양자 컴퓨터가 아닌 표준 CPU(일반 컴퓨터 칩)에서 실행된다는 점을 강조합니다.

왜 이것이 중요한가 (논문에 따르면)

이 논문은 이것이 "범용 백본(Universal Backbone)"이라고 주장합니다.

모든 것을 위한 하나의 시스템: 수학 문제, 텍스트 단락, 혹은 비디오 캡션 등 무엇을 검색하든, 시스템은 이들을 모두 동일하게 취급합니다. 이들을 모두 "양자 상태"(방향을 가진 점)로 변환하여 동일한 공간에서 검색합니다.
뉴로-심볼릭 AI (Neuro-Symbolic AI): 논문은 이 기술이 "신경망(Neural)" AI(데이터로부터 학습하지만 블랙박스 형태인 AI)와 "심볼릭(Symbolic)" AI(엄격한 규칙을 따르는 AI) 사이의 간극을 메운다고 주장합니다. 신경망 데이터를 구조화된 수학적 공간(힐베르트 공간, Hilbert space)으로 강제함으로써, 시스템은 더 빠르고, 해석 가능하며, 신뢰할 수 있게 됩니다.

한 문장 요요약

QuantumRAG는 일반 컴퓨터에서 실행되지만 양자 물리학의 수학을 사용하여 모든 문서에 위치뿐만 아니라 "방향"을 부여함으로써, 현재의 기술보다 3.6배 더 빠르게 답을 찾고 더 정확하게 순위를 매기는 새로운 검색 엔진입니다.

기술 요약: 양자 투영 의미론적 검색 (Quantum-Projected Semantic Retrieval, QuantumRAG)

1. 문제 정의

현대 AI 시스템은 검색 증강 생성(RAG)에 크게 의존하며, 여기서 문서 검색의 속도와 정확도는 핵심적인 병목 구간이다. 현재의 최첨단 밀집 검색 방식(예: BERT 기반 코사인 유사도)은 텍-텍스트를 평면적인 실수 좌표로 취급한다. 이러한 접근 방식은 벡터 공간 내에서 의미론적 개념의 방향성인 "위상(phase)" 정보를 버리게 된다. 결과적으로, 기존의 고전적 시스템은 동일한 크기(강도)를 공유하지만 의미적 방향이 다른 개념(예: 동일한 음량으로 진동하지만 서로 동기화되지 않은 두 개의 소리굽쇠)을 구별할 수 없다. 또한, 기존의 양자 영감을 받은 검색 방식들은 현대적인 신경망 임베딩 대신 상징적인 단어 빈도수에 작동하여, 밀집 벡터 검색을 위한 힐베르트 공간(Hilbert space)의 풍부한 기하학적 구조를 활용하지 못하고 있다.

2. 방법론: QuantumRAG

본 논문은 신경망 텍스트 임베딩을 힐베르트 공간 내의 복소수 양자 상태로 매핑하는 QuantumRAG를 제안한다. 결정적으로, 이 시스템은 물리적인 양자 컴퓨터를 필요로 하지 않고 표준 CPU 하드웨어에서 실행된다. 아키텍처는 다음 단계들로 구성된다:

2.1 양자 인코딩 파이프라인

문장 인코딩 (Sentence Encoding): 입력 텍스트(텍스트, 비디오 캡션, 수학 문제 등 모든 모달리티)는 표준 문장 인코더(SE-384)를 통과하여 단위 정규화된 실수 벡터 $e \in \mathbb{R}^{384}$ 를 생성한다.
구조적 무작위 투영 (Structured Random Projection): 해당 벡터는 고정된 행렬 $P$ 를 통해 512차원의 실수 공간( $z \in \mathbb{R}^{512}$ )으로 투영된다.
복소 상태 구축 (Complex State Construction): 512차원은 두 부분으로 나뉜다: 앞쪽 절반은 실수부를, 뒤쪽 절반은 허수부를 형성한다. 이는 단위 복소 양자 상태 $\psi \in \mathbb{C}^{256}$ $ψ \in C^{256}$ 를 생성한다.
- 중첩 (Superposition): 256개의 각 차원은 크기(의미적 특징이 얼마나 강하게 존재하는지)와 위상(복소 평면에서의 방향)을 모두 인코딩한다.
- 피셔 마스크 정규화 (Fisher-Masked Normalization): 의미론적 범주를 가장 잘 분리하는 차원을 증폭하고 노이즈를 억제하기 위해 사전 계산된 피셔 판별 마스크가 재정규화 전 요소별로 적용된다.

2.2 검색 메커니즘: Q-CSD

핵심 검색 지표는 **Q-CSD (Query-Collapsed Spectral Diagonal)**로, 양자 충실도(Quantum Fidelity) ( $|\langle \psi_q | \psi_d \rangle|^2$ )를 계산한다.

측정에 의한 붕괴 (Measurement Collapse): 비교 전, 쿼리 상태는 가장 표현력이 뛰어난 상위- $k$ (예: $k=128$ ) 차원만을 유지함으로써 "붕괴"된다. 이는 양자 측정 역할을 수행하며 의미론적 노이즈를 필터링한다.
유사도 점수: 점수는 희소 쿼리 상태와 전체 문서 상태 사이의 제곱 내적이다. 코사인 유사도가 실수 벡터 간의 각도만을 측정하는 것과 달리, 양자 충실도는 크기의 중첩과 위상의 정렬을 모두 포착한다.

2.3 적응형 진폭 증폭 (QAA) 리랭커

상위 50개의 후보를 정교화하기 위해, 시스템은 그로버(Grover)의 양자 진폭 증폭을 클래식하게 시뮬레이션한다.

오라클 (Oracle): 다기준 오라클이 높은 점수의 후보들을 위상 반전( $\times -1$ )으로 표시한다.
최적 반복 (Optimal Iteration): 시스템은 $t^* = \lfloor \frac{\pi}{4} \sqrt{N/M} \rfloor$ 번의 반복 횟수 동안 확산 연산자를 적용한다 (여기서 $N$ 은 풀 크기, $M$ 은 표시된 항목의 수). 본 논문은 이전 연구의 오류를 수정하는 중요한 사항을 언급한다: $M$ 을 포함하는 올}(\text{정확한 공식})을 사용함으로써 진폭 오버슈트를 방지하고 유의미한 정확도를 회복한다.

3. 주요 기여

힐베르트 공간 인코딩: 임의의 밀집 임베딩을 단위 복소 양자 상태로 매핑하여, 의미 표현을 위한 새로운 자유도로서 '위상'을 도입하는 방법.
Q-CSD 메트릭: 쿼리를 가장 표현력이 풍부한 차원으로 붕괴시킨 후 유사도를 계산하는 새로운 희소 양자 충실도 메트릭으로, 코사인 유사도에서는 보이지 않는 위상 정보를 활용한다.
피셔 판별 마스크: 인코딩 시점에 적용되어 변별력 있는 차원을 증폭하고 노이즈를 억제하는 규칙 기반의 비학습형 가중치 메커니즘.
교정된 QAA 리랭커: 정확한 반복 횟수 공식을 사용하는 적응형 그로버 알고리즘 기반 리랭커로, 이전 구현에서 발견된 9.2 퍼센트 포인트의 정확도 저하 문제를 해결함.
범용 멀티모달 백본: 아키텍처 변경 없이 수학, 자연어, 비디오 콘텐츠를 인덱싱하고 검색할 수 있는 단일 검색 파이프라인.

4. 실험 결과

시스템은 MATH 벤치마크(12,500개 문제, 7개 카테고리, 500개 테스트 쿼리)에서 BERT-코사인 베이스라인 및 기타 검색 방법들과 비교 평가되었다.

정확도:
- P@1 (Precision at 1): 양자 Q-CSD는 0.698을 달성하여 BERT-코사인 베이스라인(0.700)과 통계적으로 일치했다.
- NDCG@10 (Ranking Quality): 양자 Q-CSD는 0.825를 달성하여 코사인 베이스라인(0.823)을 능가했다. 논문은 이 0.2 퍼센트 포인트의 이득을 위상 정보가 2~10위 구간의 순위 결정력을 개선했기 때문이라고 설명한다.
- MRR: 두 시스템 모두 0.799를 기록했다.
지연 시간 (Latency):
- 엔드 투 엔드 (End-to-End): 양자 Q-CSD는 쿼리당 8.4 ms가 소요되었으며, 이는 코사인 베이스라인의 29.9 ms와 비교했을 때 3.6배 빠른 속도이다.
- 순 검색 속도 (Net Retrieval Speed): 공유된 BERT 인코딩 단계를 제외하면, 검색 계산 자체는 13.6배 더 빨랐다 (1.7 ms 대 23.2 ms).
확장성: 실험 결과, 힐베르트 공간 차원을 높임에 따라(64에서 256, 1,024로) 기초가 되는 문장 인코더의 한계치까지 정확도가 향상됨을 보여주었다. 현재의 $n=8$ (256차원) 설정이 CPU 하드웨어에 대한 실질적인 최적점으로 식별되었다.

5. 의의 및 주장

본 논문은 QuantumRAG를 신경-상징적(Neuro-Symbolic, NeSy) AI를 향한 기초적인 단계로 규정한다.

신경-상징적 가교: 이는 신경망적 지각(학습된 임베딩)과 상징적 추론(구조화된 수학적 규칙) 사이의 간극을 메운다. 힐베르트 공간의 엄격한 수학적 구조(단위성, 직교성, 위상)를 신경 임베딩에 부여함으로써, 검색 계층은 블랙박스가 아닌 해석 가능하고 규칙 기반적인 구조를 갖게 된다.
차원으로서의 위상: 주요 주장은 "위상"이 고전적 시스템이 간과하는 의미의 측정 가능한 차원이라는 것이다. 양자 충실도는 "강도는 비슷하지만 방향이 다른" 문서들을 구분할 수 있게 하여, 순위 결정 성능을 높인다.
하드웨어 불가지론 (Hardware Agnosticism): 이 시스템은 양자 강화 검색의 이점(위상 인식, 중첩)이 물리적 양자 컴퓨터를 기다릴 필요 없이, 수학적 시뮬레이션을 통해 일반적인 CPU 하드웨어에서도 실현될 수 있음을 입증한다.
미래 잠재력: 저자들은 이 아키텍처가 "양자 준비 완료(quantum-ready)" 상태라고 주장한다. 현재의 이득은 중첩과 위상만으로 발생하지만, 시스템은 향 만큼 고차적인 의미 상관관관계를 포착하기 위해 물리적 양자 하드웨어에서 얽힘(entanglement)을 활용하도록 설계되었다. 이는 이론적인 $O(\sqrt{N})$ 검색 속도 향상을 달 가능성을 열어둔다.

결론적으로, QuantumRAG는 멀티모달 AI를 위한 "범용 저지연 백본"을 제공하며, 코사인 유사도에 대한 수학적으로 엄밀한 대안으로서 더 빠르고, 더 해석 가능하며, 다양한 데이터 모달리티를 단일 인덱스 내에서 처리할 수 있음을 보여준다.