Improving Quantum Recurrent Neural Networks with Amplitude Encoding

이 논문은 근사 진폭 인코딩을 위해 EnQode를 통합하고, 일반화 성능을 향상시키기 위해 입력을 사전 정규화된 크기로 증강하는 전처리 기법을 도입하며, 수학적 동등성을 유지하면서 깊이를 크게 줄이는 새로운 회로 구조를 제안함으로써 양자 순환 신경망(QRNN)을 개선한다.

핵심

당신은 로봇에게 주식 시장을 예측하는 법을 가르치려 한다고 상상해 보세요. 당신에게는 **양자 순환 신경망(Quantum Recurrent Neural Network, QRNN)**이라는 매우 강력하고 미래적인 로봇 두뇌가 있습니다. 이 두뇌는 특별합니다. 과거의 사건을 기억할 수 있고(마치 사람이 어제의 날씨를 기억하여 오늘의 날씨를 예측하는 것처럼), 양자 물리학의 기묘한 법칙을 사용하여 정보를 처리할 수 있기 때문입니다.

하지만 이 로봇 두뇌를 만드는 것은 까다로운 일입니다. 잭 모건(Jack Morgan)과 그의 팀이 쓴 논문은 마치 "업그레이드를 위한 사용자 설명서"와 같습니다. 그들은 이 양자 두뇌를 더 똑똑하고, 빠르고, 고장이 덜 나게 만드는 세 가지 구체적인 방법을 찾아냈습니다.

다음은 이 세 가지 업그레이드에 대한 간단한 분석입니다.

1. "볼륨 조절 노브" 문제 (전처리)

문제점:
양자 컴퓨터에 데이터를 입력하려면 숫자를 "양자 파동"으로 변환해야 합니다. 표준적인 방식은 데이터를 정규화(normalize)하는 것인데, 이는 스테레오의 모든 볼륨 조절 노브를 다이얼에 딱 맞게 동일한 수준으로 맞추는 것과 같습니다.

• 비유: 여러분에게 두 곡의 노래가 있다고 상して 봅시다. 하나는 속삭이듯 아주 작게 재생되고, 다른 하나는 포효하듯 아주 크게 재생됩니다. 만약 여러분이 이를 정규화한다면, 양자 컴퓨터는 소리의 '모양'만 보기 때문에 두 노래를 동일하게 듣게 됩니다. 즉, 소리의 "크기(진폭)"에 대한 정보를 잃어버리게 됩니다.
• 해결책: 저자들은 데이터를 양자 컴퓨터에 넣기 전에 "볼륨 조절 노브" 기능을 추가할 것을 제안합니다. 그들은 데이터의 원래 크기를 가져와 새로운 숫자로 압축한 뒤, 이를 추가적인 재료로서 함께 입력합니다.
• 결과: 이제 양자 두뇌는 속삭임과 포효를 구분할 수 있게 되었습니다. 그들은 이 "볼륨"을 조절하는 특정 방식(MaxMin)을 사용하는 것이 금융 데이터에 대해 로봇이 더 나은 예측을 하는 데 도움이 된다는 것을 발견했습니다.

2. "완벽함 vs 적당히 괜찮음"의 딜레마 (EnQode)

문제점:
특정 데이터 세트에 딱 맞는 완벽한 양자 파동을 만드는 것은 매우 어렵습니다. 이는 마치 매장에 들어오는 모든 사람에게 딱 맞는 맞춤 정장을 제작하는 것과 같습니다. 그 과정에는 너무 많은 시간과 노력(회로 깊이)이 소통되어, 로봇이 작업을 마치기도 전에 지치거나 실수를 하게 됩니다(결어entanglement/결맞음 상실).

• 비유: 모든 사람을 위해 완벽한 맞춤 정장을 만드는 대신, 대부분의 사람에게 잘 맞는 몇 가지 "표준 사이즈"를 가지고 있다면 어떨까요?
• 해결책: 그들은 EnQode라는 도구를 사용했습니다. 매번 처음부터 완벽한 양자 상태를 만드는 대신, EnQode는 가장 가까운 "표준 사이즈"를 찾아 약간만 수정합니다. 이것은 근사치(approximation)입니다.
• 결과: 옷이 완벽하게 맞춤 제작된 것은 아니지만, 충분히 괜찮은 수준(약 94%의 정확도)입니다. 엄청난 이점은 이 작업이 훨씬 빠르게 끝난다는 것입니다. 실제 양자 컴퓨터에서는, 완벽하지만 느린 것보다 빠르고 단순한 것이 더 낫습니다. 왜냐하면 너무 오래 걸리면 컴퓨터가 작동을 멈춰버리기 때문입니다.

3. "조립 라인" 업그레이드 (회로 구조)

문제점:
기존 설계에서 로봇은 모든 일을 한 번에 하나씩 처리해야 했습니다. "오늘"의 데이터를 준비하는 것을 끝내고, 그것을 처리한 다음, "내일"의 데이터를 준비하고, 다시 처리하는 식이었습니다. 이는 교통 체증으로 인해 지연이 발생하는 단선 도로와 같았습니다.

• 비유: 공장을 상상해 보세요. 예전 방식은 "프레임을 만들고, 색을 칠하고, 말린 다음, 다음 프레임을 만드는 것"이었습니다. 새로운 방식은 2차선 조립 라인입니다. "오늘"의 프레임을 색칠하는 동안, 다른 팀은 이미 "내일"의 프레임을 만들고 있습니다.
• 해결책: 그들은 **교차 기능 레지스터(Alternating Feature Registers)**를 도입했습니다. 두 개의 서로 다른 "작업 공간(레지스터)"을 사용하여 교대로 작업합니다. 하나의 공간이 새로운 데이터로 채워지는 동안, 다른 하나는 처리 과정을 거칩니다.
• 결과: 이는 전체 "회로 깊이(assembly line의 길이)"를 훨씬 짧게 만듭니다. 이 덕분에 로봇은 더 빨라지고, 작업을 마치기 전에 기억을 잃어버릴(결맞음 상실) 가능성도 낮아집니다.

핵심 요약

저자들은 이 세 가지 업그레이드를 금융 데이터(주식 수익률 예측)에 테스트했습니다. 그 결과는 다음과 같습니다:

1. "볼륨" 기능을 추가하는 것이 모델이 데이터를 더 잘 이해하도록 도왔습니다.
2. "적당히 괜찮은" 근사치(EnQode)를 사용하는 것이 시스템을 실제로 하드웨어에서 실행할 수 있을 만큼 빠르게 만들어 주었으며, 정확도를 크게 떨어뜨리지 않았습니다.
3. 새로운 "조립 라인" 설계는 전체 과정을 더 짧고 효율적으로 만들었습니다.

이 세 가지 기술을 결합함으로써, 그들은 누구나 양자 순환 신경망을 구축하려고 할 때 사용할 수 있는 새로운 "최선의 관행(Best Practice)" 가이드를 만들었습니다. 이는 현재 우리가 가진 양자 컴퓨터들에게 훨씬 더 실용적인 방법입니다.

기술 요약

기술 요약: 진폭 인코딩을 통한 양자 순환 신경망(QRNN)의 개선

문제 정의

순환 신경망(RNN)은 시계열 의존성을 모델링하는 데 표준적인 방법이지만, 그 양자 대응물인 양자 순환 신경망(QRNN)은 하드웨어 구현 가능성과 일반화 측면에서 상당한 난관에 봉착해 있다. 매개변수화된 양자 회로(PQC)를 활용하는 QRNN은 표현력과 에너지 효율성 면에서 잠재적인 이점을 제공하지만, 기존의 구현 방식들은 종종 **각도 인코딩(angle encoding)**에 의존하며, 이는 특징 수에 따라 큐비트 수가 선형적으로 증가($O(N)$)하는 문제를 낳는다. **진폭 인코딩(amplitude encoding)**은 우수한 큐비트 효율성($O(\log N)$)을 제공하고 다른 양자 머신러닝 작업에서 더 높은 정확도를 입증했으나, 다음과 같은 두 가지 주요 제약으로 인해 완전한 양자 QRNN에서의 활용은 아직 미개척 영역으로 남아 있다:

1. 상태 준비 복잡성(State Preparation Complexity): 정밀한 양자 상태 준비(QSP)는 지수적인 깊이의 회로를 요구하므로, 근미래의 장치들에서는 실행이 불가능하다.
2. 정보 손실(Information Loss): 표준 진폭 인코딩은 입력 정규화를 요구하며, 이 과정에서 특징 벡터의 전역적 크기(진폭)가 소실된다. 이러한 크기 정보의 손실은 벡터의 방향은 동일하지만 크기가 다른 경우를 동일하게 인코딩하게 만들어, 시퀀스 모델링을 왜곡할 수 있다.

또한, 노이즈가 있는 하드웨어에서 QRNN을 실행하면 잠재 상태 레지스터(latent state register)에서 특히 코히어런스 오류(coherence errors)가 발생하여 성능이 저하된다.

방법론

저자들은 이러한 한계를 해결하기 위해 정형적인 QRNN 구조에 세 가지 구체적인 수정을 제안한다. 본 연구는 Yahoo Finance와 Oxford-Man Institute의 두 가지 금융 데이터셋을 사용하여 S&P 500의 일일 수익률을 예측하며, 8일간의 시퀀스를 사용한다. 모델은 Qiskit의 AerSimulator(무노이즈 및 IBM Torino Heron r1 노이즈 모델 적용)에서 시뮬레이션되었다.

1. 사전 정규화된 진폭 특징 증강 (Pre-normalized Amplitude Feature Augmentation)

진폭 인코딩에 내재된 크기 정보의 손실을 완화하기 위해, 저자들은 전처리 단계를 도입했다. 진폭 인코딩을 위한 특징 벡터를 정규화하기 전에, 원래 벡터의 $\ell_2$ 노름(사전 정규화된 진폭)을 나타내는 새로운 특징을 추가한다.

• 구현: 원래의 $N$개 특징은 MinMax 스케일링을 거친다. 그 후 새로운 진폭 특징은 전체 $N+1$ 차원 벡터가 정규화되기 전에 MinMax 또는 MaxMin 스케일러를 사용하여 스케일링된다.
• 가설: 진폭 특징에 대한 MaxMin 스케일링은 MinMax 스케일링보다 샘플 간의 상대적 관계를 더 잘 보존하여, 모델이 서로 다른 크기를 가진 벡터를 구분할 수 있게 한다.

2. EnQode 근사 진폭 인코딩 (EnQode Approximate Amplitude Encoding)

지수적인 깊이를 가진 정밀 QSP를 극복하기 위해, 본 논문은 근사 상태 준비를 위한 고전적 머신러닝 접근 방식인 EnQode를 통합한다.

• 메커니즘: EnQode는 정규화된 데이터셋에 k-means 클러스터링을 적용하여 중심점(centroids)을 식별한다. 이후 PQC 안사츠(Ansatz)를 기호적 표현(symbolic representation)과 역전파를 사용하여 클래식하게 학습시켜 각 중심점에 해당하는 양자 상태를 준비한다.
• 적용: 추론 단계에서는 새로운 샘플에 가장 가까운 중심점을 식별하고, 해당 중심점에 대해 사전 학습된 매개변수를 사용하여 근사된 진폭 인코딩 상태 $|\tilde{x}_t\rangle$를 생성한다. 이를 통해 회로 깊이와 큐비트 수를 로그 스케일로 조절할 수 있다.

3. 교대 특징 맵 레지스터 회로 (Alternating Feature Map Register Circuit)

회로 깊이와 결맞음 오류를 줄이기 위해, 저자들은 교대 특징 맵(F) 레지스터를 사용하는 새로운 회로 레이아웃을 제안한다.

• 메커니즘: 하나의 F 레지스터를 재사용하는 대신(이는 은닉 상태를 보존하면서 타임스텝 사이에 리셋 및 재인코딩을 요구함), 새로운 아키텍처는 두 개의 F 레지스터를 사용한다. 한 레지스터에서 Ansatz PQC가 타임스텝 $t-1$의 상태를 처리하는 동안, 다음 입력 상태 $|x_t\rangle$는 두 번째 레지스터에서 준비된다.
• 동등성: 정보를 버리고 큐비트를 리셋해야 하는 "Staggered QRNN(SQRNN)"과 달리, 이 교대 구조는 이상적인 프로세서 상의 정형 QRNN과 수학적으로 동등하면서도 회로 깊이를 크게 줄여준다.

주요 결과

성능 비교 (베이스 모델)

• 진폭 vs. 각도 인코딩: 수정되지 않은 진폭 QRNN은 테스트 평균 제곱 오차(MSE) 0.009를 달 기록하여, 각도 QRNN(0.015) 및 클래식 RNN(0.012)보다 낮은 값을 보였다. 이는 진폭 모델이 더 적은 학습 가능한 매개변수(44개 대비 28개)를 가졌음에도 불구하고 더 나은 일반화 성능을 제공함을 확인시켜 준다. 이는 진폭 인코딩이 이 작업에서 더 나은 일반화 능력을 갖추고 있음을 입증한다.

전처리의 영향

• 진폭 특징: 사전 정규화된 진폭 특징을 추가하는 것이 성능을 향상시켰다.
  • MinMax 스케일링: 훈련 데이터에 대해서는 빠르게 수렴했으나 일반화 성능은 낮았다.
  • MaxMin 스케일링: 가장 우수한 일반화 성능을 보였으며, 테스트 MSE를 0.0056으로 낮추어 베이스라인 진폭 QRNN 대비 36%의 개선을 달성했다.

근사 인코딩(EnQode)의 영향

• 충실도(Fidelity) vs. 깊이: EnQode는 평균 상태 준비 충실도 0.94를 달성했다.
• 무노이즈 시뮬레이션: 정밀 QSP와 비교했을 때, EnQode를 사용하면 상태 준비 오류로 인해 테스트 손실이 40% 증가했다.
• 노이즈 시뮬레이션: IBM Torino 노이즈 모델을 시뮬레이션했을 때, EnQode 모델이 정밀 QSP 모델보다 우수한 성능을 보였다. 즉, 회로 깊이 감소(및 그에 따른 결맞음 오류 감소)가 6%의 상태 준비 충실도 손실로 인한 페널티보다 더 컸다.

회로 구조의 영향

• 깊이 확장성: 교대 F 레지스터 아키텍처는 표준 아키텍처에 비해 회로 깊이를 줄였다.
• 확장성: 특징 집합이 작은 경우(4-8개 특징) 깊이 차이는 미미했으나, 본 논문은 스왑 게이트(swap gates)가 필요한 제한된 연결성을 가진 프로세서에서 특징의 수가 증가할수록 교대 구조의 깊이가 더 유리하게 확장됨을 보여준다.

의의 및 주장

본 논문은 근미래 하드웨어에서 QRNN을 구현하기 위한 새로운 최적의 관행(best practices)을 제시한다. 저자들의 주장은 다음과 같다:

1. 일반화: 진폭 인코딩된 입력에 사전 정규화된 진폭 특징을 증강하는 것(특히 MaxMin 스케일링 사용)은 크기 정보를 보존함으로써 모델의 일반화 성능을 크게 향상시킨다.
2. 실행 가능성: EnQode 근사 진폭 인코딩은 QRNN을 위한 유효한 전략이다. 이는 상태 준비 오류를 유발하지만, 결과적인 회로 깊이 감소가 노이즈 환경에서 정밀 인코딩보다 더 우수하다.
3. 효율성: 교대 F 레지스터 회로 구조는 수학적으로 동등하면서도 더 얕은 구현을 제공하며, 코히어런스 제약을 직접적으로 해결한다.

저자들은 이러한 기술들이 QRNN에만 국한되지 않고, 유사한 잠재 레지스터 및 데이터 인코딩 구조를 공유하는 양자 레저보어 컴퓨팅(QRC), 양자 극한 학습 기계(QELM), 양자 숨겨진 마르코프 모델(QHMM)과 같은 다른 양자 시퀀스 학습 프레임워크에도 적용 가능하다고 결론짓는다.