Adaptive directional gradients for parameterised quantum circuits

이 논문은 기존의 기울기 추정 방법들을 통합하고 QUIVER 적응형 옵티마이저가 파라미터 시프트 규칙 및 기타 최신 옵티마이저들에 비해 측정 비용을 줄이면서도 현저히 더 효율적인 학습을 달성할 수 있게 하는 매개변수화된 양자 회로를 위한 순방향 기울기 프레임워크를 소개한다.

핵심

당신이 매우 복잡한 로봇(매개변수화된 양자 회로, Parameterised Quantum Circuit)에게 고양이 사진을 인식하거나 배달 트럭의 최적 경로를 찾는 것과 같은 문제를 해결하도록 가르치려 한다고 상상해 보세요. 이 로봇을 가르치기 위해서는 로봇이 더 나아지기 위해 움직여야 할 "방향"을 보여주어야 합니다. 수학적으로 이것은 **기울기(gradient)**를 계산하는 것이라고 불립니다.

문제는 현재의 양자 컴퓨터에서 이 방향을 계산하는 것이 엄청나게 비용이 많이 든다는 점입니다. 이는 마치 모든 거리 하나하나를 일일이 걸어 다니며 거대한 도시의 지도를 그리는 것과 같습니다. 만약 로봇에게 1,000개의 조절 나사(매개변수)가 있다면, 기존 방식은 이 방향을 알아내기 위해 1,000개의 별도 경로를 모두 걸어야 합니다. 이 과정은 너무 많은 시간과 에너지(이를 "측정 샷(measurement shots)"이라고 부릅니다)를 소모하며, 이로 인해 로봇이 커질수록 학습 자체가 불가능해집니다.

이 논문은 이 방향을 찾는 더 똑똑한 방법인 **포워드 그래디언트(Forward Gradients)**와, 이 과정을 관리하는 똑똑한 코치인 QUIVER를 소개합니다.

기존 방식: "모든 거리를 지도에 그리는" 문제

표준적인 방법(Parameter-Shift Rule이라 불림)은 꼼꼼한 측량사와 같습니다. 특정 지점의 경사도를 알기 위해, 그들은 왼쪽으로 가서 측정하고, 오른쪽으로 가서 측정하는 과정을 로봇의 1,000개 나사 각각에 대해 반복해야 합니다.

• 비용: 만약 1,000개의 나사가 있다면, 2,000번의 별도 여행을 떠나야 합니다. 로봇이 커질수록 이 비용은 선형적으로 증가합니다. 너무 느립니다.

새로운 방식: "나침반" 전략 (Forward Gradients)

저자들은 다른 접근 방식을 제 제안합니다. 모든 거리를 확인하는 대신, 도시 한가운데 서서 무작위 방향으로 다트를 던진다고 상상해 보세요. 그 방향으로 몇 걸음 걸어가서 경사를 확인한 다음, 다시 다른 무작위 방향으로 다트를 던지는 것입니다.

이 과정을 몇 번(예를 들어 10번 또는 20번) 수행하고 그 결과들을 평균 내면, 모든 거리를 일일이 걷지 않고도 가야 할 전체적인 방향에 대한 놀라울 정도로 좋은 추정치를 얻을 수 있습니다.

• 마법 같은 점: 당신은 무작위 방향을 몇 번이나 확인할지 선택할 수 있습니다.
  • 만약 1개의 방향만 확인한다면, 이는 기존의 "SPSA" 방식(빠르지만 노이즈가 많음)과 같습니다.
  • 만약 1,000개 전체의 방향을 확인한다면, 이는 기존의 "Parameter-Shift" 방식(완벽하지만 느림)과 같습니다.
  • 새로운 방식은 이 둘 사이의 "골디락스(Goldilocks)" 숫자(예: 20개의 방향)를 선택할 수 있게 해줍니다. 이는 1,000개를 모두 확인하는 것보다 훨씬 빠르면서도, 단 1개만 확인하는 것보다 훨씬 정확합니다.

똑똑한 코치: QUIVER

단순히 무작위로 다트를 던지는 것만으로는 부족합니다. 얼마나 많은 다트를 던져야 할지, 그리고 각 방향을 얼마나 주의 깊게 살펴봐야 할지 알아야 합니다. 여기서 QUIVER가 등장합니다.

QUIVER를 로봇의 학습을 지켜보는 똑똑한 코치라고 생각해보세요:

1. 학습 초기: 로봇이 정답에서 멀리 떨어져 있고 경로가 엉망인 상태입니다. 코치는 말합니다. "넓은 감을 잡기 위해 많은 다양한 방향을 빠르게 살펴보자." (많은 방향, 낮은 개별 노력)
2. 학습 후기: 로봇이 정답에 가까워진 상태입니다. 코치는 말합니다. "이제 많은 방향을 볼 필요는 없지만, 우리가 보는 방향에 대해서는 매우 정밀하게 살펴봐야 한다." (적은 방향, 높은 개별 노력)

QUIVER는 관찰되는 노이즈에 따라 이 균형을 실시간으로 자동 조정하여, 로봇이 에너지를 낭비하지 않고 가장 효율적으로 학습할 수 있도록 보장합니다.

이 논문의 연구 결과

저자들은 네 가지 다른 유형의 문제에 대해 이 아이디어를 테스트했습니다:

1. 심장 리듬 분류 (ECG 데이터).
2. 손글씨 숫자 인식 (MNIST 이미지).
3. 양자 시스템의 최저 에너지 상태 찾기 (VQE).
4. 최적화 퍼즐 해결 (MaxCut).

결과:

• 속도: 새로운 방법을 사용하여 최대 60 큐비트와 1,770개의 매개변수를 가진 로봇을 훈련할 수 있었습니다.
• 효율성: 기존의 "느린" 방법과 동일한 수준의 정확도에 도달하면서도, 훨씬 적은 **에너지(측정 샷)**를 사용했습니다. 어떤 경우에는 몇 배 이상의 효율성을 보여주었습니다.
• 비교: 이 방법은 기존의 인기 있는 "빠른" 방법들(SPSA, RCD 등)은 물론, 어디를 살펴볼지 영리하게 결정하여 에너지를 아끼려는 "적응형(adaptive)" 방법들(iCANS/gCANS)보다도 뛰어난 성능을 보였습니다.

핵심 요약

이 논문은 양자 컴퓨팅의 모든 문제를 해결했다고 주장하는 것이 아닙니다. 대신, 유연한 새로운 도구 세트를 제공합니다. 이 방식은 경직되고 비용이 많이 드는 규칙을 상황에 따라 높이거나 낮출 수 있는 조절 가능한 전략으로 대체합니다. 모든 경로를 확인할 필요 없이, 때로는 몇 개의 스마트한 무작위 경로를 확인하는 것만으로도 일을 훨씬 빠르게 완수할 수 있다는 것을 증명합니다.

요약하자면: 저자들은 수학적으로 입증된 "지름길"을 활용하여 양자 컴퓨터가 더 빠르게 학습할 수 있는 방법을 찾아냈으며, 이를 통해 엄청난 양의 시간과 자원을 절약했습니다.

기술 요약

기술 요약: 매개변수화된 양자 회로를 위한 적응형 방향성 그래디언트 (Adaptive Directional Gradients)

문제 정의
현재 근시-기기(near-term) 양자 하드웨어에서 매개변수화된 양자 회로(PQC)를 학습시키는 것은 그래디언트 추정의 측정 비용에 의해 병목 현상이 발생하고 있습니다. 표준 파라미터 시프트 규칙(parameter-shift rule) 하에서는, 단계당 전체 그래디언트를 추정하기 위해 $O(N)$의 회로 평가가 필요하며, 여기서 $N$은 학습 가능한 파라미터의 수입니다. 양자 모델이 규모를 키우고 과매개변수화(overparameterisation)의 이점을 얻음에 따라, 이러한 선형 스케일링은 총 샷 예산(shot budget)을 지배하게 되어 그래디언트 기반 학습을 비효율적으로 만듭니다. SPSA(Simultaneous Pertutation Stochastic Approximation)나 RCD(Random Coordinate Descent)와 같은 근사 추정기들은 단계당 비용을 줄여주지만, 각각 추정기 분산이나 수렴 속도 측면에서 $O(N)$의 페널티를 도입합니다. 또한, 기존의 적응형 샷 할당 방법(예: iCANS, gCANS)은 파라미터 시프트 규칙에 의존하며 측정 분산이 파라미터마다 크게 다를 것이라고 가정하는데, 이는 무작위 방향 추정기(random-direction estimators)의 경우 성립하지 않을 수 있는 가정입니다.

방법론
저자들은 자동 미분의 순방향 모드(forward mode)에서 유도된 **순방향 그래디언트(forward gradients)**를 기반으로 한 통합 프레임워크를 제안합니다. 이 프레임워크는 $V$개의 무작위 방향성 도함수를 평균함으로써 전체 그래디언트를 재구성하며, 여기서 $V$는 $N$과 독립적인 튜너블 파라미터입니다.

1. 순방향 그래디언트 추정기:
   그래디언트는 다음과 같이 추정됩니다:
   $$\hat{\nabla}^F f(\theta) = \frac{1}{V} \sum_{\ell=1}^V (\nabla_{v_\ell} f) v_\ell$$
   여기서 $v_\ell$은 무작위 방향(일반적으로 Rademacher 벡터)입니다. 방향성 도함수 $\nabla_{v_\ell} f$는 스텝 사이즈 $\epsilon$을 사용하는 중앙 유한 차분 근사(central finite-difference approximation)를 사용하여 계산되며, 이는 방향당 단 두 번의 회로 평가만을 요구합니다.

   • 통합: 이 프레임워크는 SPSA ($V=1$, Rademacher), RCD ($V=1$, 기저 벡터), 그리고 파라미터 시프트 규칙 ($V=N$, 기저 벡터)을 극한의 사례로서 복구합니다.
   • 비용: 단계당 비용은 $O(N)$이 아닌 $O(V)$로 스케일링되며, 단계당 총 측정 비용은 $2VM$ 샷입니다.

2. 수렴 분석:
   본 논문은 이 추정기를 사용하는 확률적 경사 하강법(stochastic gradient descent)에 대한 수렴 경계(convergence bound)를 확립합니다. 저자들은 볼록 손실 함수(convex losses)에 대해, $V$배 감소된 단계당 비용이 목표 정확도에 도달하기 위해 필요한 단계 수의 $V$배 증가에 의해 정확히 상쇄된다는 "공짜 점심은 없다(no-free-lunch)"는 결과를 증명합니다. 즉, 총 샷 예산은 $V$와 독립적입니다. 그러나 분석 결과, 유한 차분 스텝 사이즈 $\epsilon$이 샷 노이즈가 $1/\epsilon^2$에 의해 증폭되는 편향-분산 트레이드오프를 지배하는 주요 하이퍼파라미터임을 식별했습니다.

3. QUIVER 옵티마이저:
   고정된 $V$ 전략 및 기존 적응형 방법의 한계를 해결하기 위해, 저자들은 QUIVER(Quantum Iterative V-adaptive Estimator Rule)를 도출합니다.

   • 노이즈 집중: 저자들은 무작위 방향 추정기의 경우, 측정 노이즈가 방향에 따라 균일하게 집중된다는 것을 증립합니다(파라미터마다 노이즈가 변하는 파라미터 시프트 규칙과 달리). 이는 방향당 샷 할당(iCANS의 메커니즘)을 효과적이지 않게 만듭니다.
   • 결합 적응: 결과적으로, QUIVER는 방향의 수 $V$와 방향당 샷 수 $M$을 결합하여 적응시킵니다. 이는 목표 추정기 분산과 방향당 최소 샷 수를 제약 조건으로 하여 총 측정 비용을 최소화합니다.
   • 최적성: 도출된 업데이트 규칙은 Rademacher 방향을 사용하며, 이 방향들은 등방성 분포(isotropic distributions) 중에서 추정기의 2차 모멘트를 유일하게 최소화하는 것으로 증명되었습니다. 결과적으로 도출된 샷 예산은 샷 노이즈 오라클로부터의 비편향 그래디언트 회복에 대한 크라메르-라오 하한(Cramér–Rao lower bound)에 상수가 $N \to \infty$일 때 소멸하는 수준으로 부합합니다.

주요 결과
본 논문은 네 가지 문제 영역에서 수치적으로 접근 방식을 검증합니다:

• 분류: 최대 60 큐비트와 1,770개의 파라미터를 가진 ECG5000(시계열 데이터) 및 MNIST(이미지 데이터) 데이터셋에 대한 직교 양자 신경망 학습.
• 최적화 및 시뮬레이션: 횡방향 장 이징 모델(TFIM)에 대한 변분 양자 고유치 문제(VQE) 및 MaxCut에 대한 양자 근사 최적화 알고리즘(QAOA).

결과:

1. 효율성: 고정된 $V \ll N$을 갖는 순방향 그래디언트 추정기는 파라미터 시프트 규칙과 유사한 정확도를 훨씬 적은 총 샷 예산으로 달성합니다. 절감 효과는 파라미터 수 $N$이 증가함에 따라 커집니다.
2. 베이스라인과의 비교: 순방향 그래디언트는 단일 방향 방법들이 성능이 저하되는 큰 $N$의 영역에서 SPSA 및 RCD를 유의미하게 능가합니다.
3. 적응형 스케줄링: 휴리스틱 실험 결과, $V$를 훈련 과정 동안 감소시키는 방식(광범위한 탐색을 위해 높은 $V$에서 시작하여 정밀도를 위해 낮은 $V$로 종료)이 고정된 $V$ 엔드포인트를 사용하는 것보다 우수한 성능을 보입니다.
4. QUIVER 성능: QUIVER 옵티마이저는 VQE 및 QAOA 벤치마크에서 iCANS, gCANS, 그리고 Adam 최적화를 적용한 표준 파라미터 시프트를 능가합니다. 특히, iCANS/gCANS가 낮은 신호 대 잡음비로 인해 고정 샷 파라미터 시프트로 붕괴되는 영역에서도, QUIVER는 $V$와 $M$을 동적으로 조정함으로써 성능 격차를 유지합니다.

의의 및 주장
본 논문은 SPSA, RCD, 그리고 파라미터 시프트 규칙을 단일 무작위 방향성 추정기의 특수 사례로 취급하는 통합 이론적 프레임워크를 제공한다고 주장합니다. 튜너블 파라미터 $V$를 도입함으로써, 가장 저렴한(높은 분산) 전략과 가장 정밀한(정확한) 그래디언트 전략 사이를 보간할 수 있는 명시적인 레버를 제공합니다.

주요 기여는 순방향 그래디언트를 위해 특별히 설계된 최초의 적응형 방법인 QUIVER 옵티마이저입니다. 이는 노이즈가 균일하게 집중될 때 실패하는 기존의 샷 적응형 옵티마이저들의 구조적 한계를 극복하며, 단순히 샷 수를 조정하는 대신 방향의 수를 적응시킴으로써 이를 해결합니다. 저자들은 QUIVER가 거의 최적에 가까운 샷 효율성을 달성하며, 그래디언트 회복에 대한 크라메르-라오 하한을 충족한다는 점을 주장하며, 이를 통해 파라미터 시프트 규칙보다 몇 배나 낮은 측정 비용으로 대규모 양자 회로(최대 60 큐비트)를 학습할 수 있게 합니다.

이러한 이점들은 Ancilla 큐비트, 제어 게이트 또는 미드-서킷 측정 없이 달성되었으며, 이는 본 프레임워크가 현재의 NISQ 하드웨어에 즉시 적용 가능하다는 점을 강조합니다.