🤖 machine learning

DistributedEstimator: Distributed Training of Quantum Neural Networks via Circuit Cutting

이 논문은 더 작은 장치에서의 실행을 가능하게 하기 위해 회로 절단(circuit cutting)을 활용하는 양자 신경망용 분산 훈련 파이프라인인 DistributedEstimator를 소개하며, 고전적 재구성 오버헤드와 지수적인 하위 실험 증가가 확장성을 제한하지만, 이 접근 방식이 다양한 분류 작업 전반에서 모델의 정확도와 강건성을 보존함을 입증한다.

원저자: Prabhjot Singh, Adel N. Toosi, Rajkumar Buyya

게시일 2026-06-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Prabhjot Singh, Adel N. Toosi, Rajkumar Buyya

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: 거대한 퍼즐 조각 맞추기

당신에게 식탁 하나에는 도저히 다 담을 수 없을 만큼 크고 복잡한 거대한 직소 퍼즐이 있다고 상상해 보세요. 당신은 이 퍼즐을 풀고 싶지만, 식탁이 너무 작습니다.

**회로 절단(Circuit Cutting)**은 이 거대한 퍼즐을 관리 가능한 작은 조각들로 나누는 전략입니다. 당신은 각 조각을 서로 다른 식탁 위에서(또는 서로 다른 사람들이) 동시에 풀 수 있습니다. 일단 모두가 작업을 마치면, 당신은 최종 그림을 보기 위해 그 조각들을 다시 앉아서 하나로 붙여야 합니다.

**"DistributedEstimator"**라는 제목의 이 논문은 우리가 양자 신경망(양자 컴퓨터에서 실행되는 AI 모델)을 훈련할 때 이 "절단" 전략을 사용할 때 어떤 일이 발생하는지 조사합니다. 연구진은 다음과 같은 질문을 던졌습니다: 이 전략이 실제로 더 빠른가, 아니면 "붙이는(gluing)" 과정이 너무 오래 걸려서 속도 향상의 이점을 상쇄해 버리는가?

설정: 공장 조립 라인

연구진은 이를 테스트하기 위해 DistributedEstimator라는 시스템을 구축했습니다. 그들은 훈련 과정을 네 가지 특정 단계가 있는 공장 조립 라인처럼 취급했습니다:

계획 (분할, Partitioning): 퍼즐을 어디서 자를지 결정합니다.
조각 만들기 (부실험 생성, Subexperiment Generation): 작은 퍼즐 조각들을 위한 지침을 만듭니다.
풀기 (병렬 실행, Parallel Execution): 조각들을 팀원들(컴퓨터들)에게 보내 동시에 해결합니다.
붙이기 (고전적 재구성, Classical Reconstruction): 해결된 모든 조각을 가져와 수학적으로 재조립하여 최종 답을 얻습니다.

주요 결과

1. "붙이기" 병목 현상 (RQ1 & RQ2)

가장 놀라운 발견은 **붙이기 단계(재구성)**에 관한 것이었습니다.

비유: 100명의 사람이 병렬로 퍼즐 조각을 풀고 있다고 상상해 보세요. 작업이 매우 빠를 것이라고 생각할 것입니다. 하지만 조각들을 다 풀고 나면, 그들은 모두 한 줄로 서서 조각을 전달해야 하고, 한 명의 사람이 그 조각들을 하나로 붙여야 합니다.
결과: 연구진은 AI가 질문을 던질 때마다 "붙이기" 과정이 전체 시간의 절반 이상(약 53%)을 차지한다는 것을 발견했습니다. 조각을 더 빨리 풀기 위해 더 많은 작업자를 추가하더라도, 모두가 붙이기가 끝날 때까지 기다려야 하기 때문에 총 시간은 크게 줄어들지 않았습니다.
수학적 문제: 퍼즐을 한 번 더 자를 때마다 붙여야 하는 조각의 수가 폭발적으로 늘어납니다. 한 번 자르면 9배의 조각이 생기고, 두 번 자르면 81배가 됩니다. 이 "폭발"은 붙이기 작업을 믿기 힘들 정도로 무겁게 만듭니다.

2. "느린 작업자" 문제 (RQ3)

어떤 팀에서든 가끔 다른 사람들보다 느린 사람(낙오자, straggler)이 있기 마련입니다.

발견: "붙이기" 단계는 모두가 끝날 때까지 기다려야 하기 때문에, 느린 작업자가 전체 프로젝트를 지연시킬 수 있습니다. 하지만 연구진은 "붙이기"가 대부분의 시간을 차지할 때(실제 테스트에서 그랬듯이), 느린 작업자의 영향이 적다는 것을 발견했습니다. 느린 작업자로 인한 지연은 거대한 "붙이기 시간"이라는 양동이에 떨어진 아주 작은 물방울에 불과합니다.
교훈: 만약 붙이기가 병목 현상이라면, 느린 작업자를 고치는 것은 큰 도움이 되지 않습니다. 대신 붙이기 과정 자체를 고쳐야 합니다.

3. AI가 여전히 학습하는가? (RQ4 & RQ5)

큰 걱정은 이것이었습니다: 만약 퍼즐을 자르고 다시 붙인다면, 그림이 똑같이 보일까? AI가 여전히 올바르게 학습할까?

결과: 네. 연구진은 두 가지 표준 AI 작업(꽃 분류 및 손글씨 숫자 분류)을 통해 이를 테스트했습니다.
- 정확도: 절단 방법을 사용했을 때나 사용하지 않았을 때나 AI는 정확히 똑같은 정답을 얻었습니다.
- 강건성(Robustness): 또한 AI가 "노이즈"(라디오의 잡음 같은 것)나 "공격"(AI를 속이는 속임수)을 처리할 수 있는지 테스트했습니다. 절단 방법은 AI를 약하게 만들지 않았으며, 어떤 경우에는 AI를 약간 더 강건하게 만들기도 했습니다.
핵심 요점: 양자 회로를 자르는 것은 큰 모델을 실행하는 안전한 방법입니다. 이는 수학적 원리나 학습을 망가뜨리지 않습니다.

4. 실제 하드웨어 vs 시뮬레이션 (Section 7)

연구진은 실제 양자 컴퓨터(IBM의 ibm_kingston)에서도 이를 테스트했습니다.

반전: 실제 기기에서는 "풀기" 단계(양자 조각을 실행하는 부분)가 붙이기가 아닌, 실제 느린 부분이었습니다. 이는 실제 양자 컴퓨터가 느리고 사용하기 위해 대기 줄을 서야 하기 때문입니다.
결론: 병목 현상이 "붙이기"(빠른 시뮬레이터 상에서)이든 "풀기"(느린 실제 기기 상에서)이든, 핵심 문제는 동일합니다: 조각의 수가 너무 빠르게 증가하여 거대한 계산의 벽이 된다는 점입니다.

결론

이 논문은 **회로 절단(Circuit Cutting)**이 현재의 기계로는 감당할 수 없는 큰 양자 모델을 실행할 수 있게 해주지만, 그에 따른 막대한 대가가 따른다고 결론짓습니다.

좋은 소식: AI는 똑같이 잘 학습하며, 결과도 정확합니다.
나쁜 소식: "붙이기" 과정이 너무 무겁고 복잡해서, 더 많은 컴퓨터를 추가하더라도 훈련 속도를 크게 높일 수 없습니다. 이는 마치 1,000명의 요리사가 채소를 다지고 있지만, 냄비를 저을 사람은 단 한 명뿐인 상황과 같습니다. 냄비를 젓는 행위가 저녁 식사가 차려지는 속도를 제한하게 됩니다.

향후 과제: 이 기술을 더 큰 문제에 실용적으로 적용하려면, 단순히 더 많은 컴퓨터가 필요한 것이 아니라, 과정이 정체되지 않도록 조각들을 더 똑똑하게 "붙이는" 방법(더 나은 재구성 전략)이 필요합니다.

기술 요약: DistributedEstimator – 회로 커팅을 통한 양자 신경망의 분산 학습

문제 정의
하이브리드 양자-고전 워크로드, 특히 양자 기계 학습(QML)을 위한 변분 양자 알고리즘(VQA)은 알고리즘 자체의 문제보다는 시스템적 제약에 의해 점점 더 제약을 받고 있다. 실제 회로는 근시사 양자 장치(NISQ)의 폭, 깊이 또는 신뢰성을 초과하는 경우가 많으며, 이는 반복적인 기대값 추정이 필요한 반복적 학습 루프를 필요로 한다. 회로 커팅(또는 회로 니팅)은 큰 회로를 작고 독립적으로 실행 가능한 하위 회로들로 분해하는 원칙적인 방법을 제공하지만, 기존 연구들은 주로 점근적 하위 회로 수와 샘플링 복잡도 측면에서 오버헤드를 규명하는 데 그쳤다. 따라서 회로 커팅이 반복적인 에스티메이터(estimator) 기반 학습 파이프라인에 미치는 엔드 투 엔드(end-to-end) 시스템 영향을 이해하는 데에는 여전히 상당한 공백이 존재한다. 구체적으로, 커팅 오버헤드가 파이프라인 단계 전반에 어떻게 분포되는지, 병렬 실행 시 어디에서 병목 현상이 발생하는지, 그리고 커팅의 도입이 학습 역학, 정확도 및 모델 강건성에 영향을 미치는지 여부는 불분명하다.

방법론
저자들은 회로 커팅을 단계별 분산 워크로드로 취급하는 커트 인식형 에스티메이터 실행 파이프라인인 DistributedEstimator를 제안한다. 이 시스템은 Qiskit 머신러닝 스택(EstimatorQNN 및 TorchConnector 사용)과 통합되어, 순전파(forward pass) 및 매개변수 시프트 규칙(parameter-shift rule)을 통한 그래디언트 계산 과정 중 발생하는 에스티메이터 쿼리를 가로챈다.

이 파이프라인은 각 에스티메이터 쿼리에 대해 네 가지 뚜렷한 단계를 계측한다:

분할(Partitioning): 커트 플랜(cut plan)을 기반으로 회로와 관측 가능량(observable)을 하위 회로 및 하위 관측 가능량으로 분해한다.
하위 실험 생성(Subexperiment Generation): 구체적인 하위 실험들과 재구성 계수(reconstruction coefficients)를 생성한다.
병렬 실행(Parallel Execution): 워커 풀(worker pool)에 하위 실험들을 할당한다.
고전적 재구성(Classical Reconstruction): 측정된 결과들을 집계하여 타겟 기대값을 재구성한다.

본 연구는 로그 기반의 런타임 트레이스와 두 가지 이진 분류 워크로드(Iris 및 MNIST)에서의 학습 결과를 사용하는 측정 중심의 접근 방식을 채택한다. 평가는 다음 사항에 초점을 맞춘다:

오버헤드 귀속(Overhead Attribution): 각 단계( $T_{part}, T_{gen}, T_{exec}, T_{rec}$ )에서 소요되는 시간을 측정한다.
확장성(Scalability): 워커 수가 증가함에 따라 발생하는 속도 향상(speed-up)의 한계를 분석한다.
스트래글러 민감도(Straggler Sensitivity): 합성 지연(synthetic delays)을 주입하여 꼬리 지연 시간(tail latency)에 대한 민감도를 테스트한다.
학습 결과(Learning Outcomes): 일치된 학습 예산 하에서 테스트 정확도와 가우시안 노이즈 및 FGSM 섭동(perturbation)에 대한 강건성을 평가한다.

주요 방법론적 차별점은 **구조적 비용의 분할 상환(amortization of structural costs)**이다. 분할 및 하위 실험 템플릿 생성은 매개변수가 아닌 회로 구조에만 의존하므로, 한 번 계산되어 캐싱된다. 이를 통해 매 쿼리당 오버헤드는 매개변수 바인딩, 실행 및 재구성에 의한 것만을 반영하게 된다.

주요 기여

측정 중심의 파이프라인 정식화: 회로 커팅을 분산된 단계별 파이프라인으로 바라보는 시스템 수준의 관점을 확립하였으며, 커팅, 실행 및 재구성에 걸친 오버헤드를 명시적으로 계측하여 이를 QML 학습 루프에 통합하였다.
경험적 확장성 분석: 단계별 로그를 통해, 고전적 재구성이 주요 병목 지점이 되어 증가하는 병렬성의 이득을 제한한다는 것을 확인하였다.
스케줄링 및 스트래글러 분석: 실행 정책(eager, batched, staggered)을 평가하고, 스트래글러 민감도가 임계 경로(critical path) 구조에 의해 조절됨을 입증하였다. 즉, 재구성이 지배적인 파이프라인은 실행 측 지연에 덜 민감하다.
엔드 투 엔드 학습 평가: 회로 커팅이 일관된 학습 프로토콜 하에서 예측 정확도와 모델 강건성을 보존함을 입증하여, 성능 향상이 최적화 동작의 변화가 아닌 커팅의 효과임을 구분하였다.
계산 장벽 특성화: CNOT 기반 커트 $c$ 에 대해 $O(9^c)$ 로 기하급수적으로 증가하는 재구성 오버헤드가 실질적인 반복 학습을 적은 큐비트 수로 제한하는 근본적인 장벽임을 문서화하였다.

결과

오버헤드 및 병목 현상: 재구성은 쿼리당 시간의 지배적인 부분을 차지하며, 3개의 커트에서 중앙값 53%, **95 백분위수 58%**에 달한다. 이러한 직렬 장벽은 암달의 법칙(Amdahl's Law)에 따라 증가하는 병렬성 하에서의 달성 가능한 속도 향상을 제한하며, 왜 워커를 추가해도 수익 체감이 발생하는지를 설명한다.
확장성 한계: 1개 워커 대비 16개 워커의 속도 향상 비율이 1에 가깝거나 그 미만임을 확인하였으며, 이는 재구성 오버헤드가 임계 경로를 지배함을 확증한다.
스트래글러 민감도: 재구성이 지배적인 구성은 재구성 시간이 실행 지연의 영향을 받지 않기 때문에 실행 측 스트래글러에 대한 상대적 민감도가 낮다. 반대로, 실행이 지배적인 구성은 꼬리 지연 시간을 증폭시킨다.
정확도 및 강건성:
- Iris: 모든 커트 구성에서 테스트 정확도가 완전히 보존되었다.
- MNIST: 체계적인 저하 없이 정확도가 유지되었으며, 일부 커트 구성은 암시적 정규화(implicit regularization) 효과로 인해 커팅되지 않은 베이스라인과 일치하거나 이를 상회하기도 했다.
- 강건성: 가우시안 노이즈 및 FGSM 섭동에 대한 강건성이 보존되었으며, 일부 커트 구성은 대등하거나 개선된 강건성을 보였다.
하드웨어 검증: IBM Quantum ibm_kingston (Heron r2) 프로세서에서의 표적 검증을 통해, 물리적으로 측정된 결과로부터의 재구성이 정확도와 강건성을 보존함을 확인했다(테스트 셋 정확도 100%). 주목할 점은 실제 하드웨어에서 단계 간 균형이 역전된다는 것이다. 즉, 실행 시간(대기열 및 장치 지연 포함)이 지배적인 비용이 되며 재구성은 전체 시간의 작은 부분만을 차지한다. 그러나 하위 실험의 기하급수적 증가는 두 단계 모두를 팽창시켜 구조적 병목을 유지한다.

의의 및 주장
본 논문은 학습 워크로드를 위한 회로 커팅의 실질적인 확장을 위해서는 재구성과 집계를 일급 시스템 문제(first-class systems problems)로 취급해야 한다고 주장한다. 저자들은 $O(9^c)$ 의 하위 실험 수의 기하급수적 증가가 현재의 반복 학습을 적은 큐비트 수로 제한하는 근본적인 계산 장벽임을 논한다.

연구의 결론은 다음과 같다:

재구성이 주요 확장 제한 요소이며, 시뮬레이터 환경에서는 이 단계를 줄이거나 중첩시키는 전략(예: 점진적 재구성, 분산 트리 감소)이 필요하다.
정확도와 강건성이 보존됨으로써, 회로 커팅이 모델 품질을 은밀하게 저하시키지 않는 유효한 시스템 수준의 실행 전략임을 입증하였다.
향후 연구는 회로 커팅을 더 큰 규모의 실제 QML 워크로드에 적용 가능하게 만들기 위해, 근사 방법, 분산 감소(distributed reduction) 및 더 효율적인 커팅 기법을 통해 재구성 오버헤드를 줄이는 데 집중해야 한다.

본 논문은 회로 커팅이 더 큰 양자 장치의 필요성을 제거하거나 배리언트 플레이토(barren plateau) 문제를 해결한다고 주장하는 것이 아니라, 오늘날 커팅 기반 학습 파이프라인을 실행할 때 내재된 트레이드오프와 병목 현상을 이해하기 위한 재현 가능한 프레임워크를 제공하는 데 목적이 있다.