EFaaS: A Quantum-Classical Serverless Entangled Scheduler for Hybrid Variational Algorithms

본 논문은 고전적 및 양자 작업을 얽힌 세션 인식 이벤트로 처리하여 레이턴시를 극적으로 줄이고 하드웨어 드리프트 페널티를 제거하며, 교정 인식 라우팅과 예측 실행을 통해 수렴을 가속화함으로써 하이브리드 변분 양자 알고리즘을 최적화하는 새로운 서버리스 미들웨어인 EFaaS 를 소개합니다.

핵심

거대한 복잡한 퍼즐을 풀려고 한다고 상상해 보세요. 이를 위해 두 명의 조력자가 있습니다: 한 명은 뛰어난 인간 전략가(고전적 CPU)이고, 다른 한 명은 매우 빠르지만 매우 fragile 한 마법의 수정구(양자 프로세서, 또는 QPU)입니다.

문제는 이 두 조력자가 끔찍한 루프에서 작동한다는 점입니다.

1. 전략가가 한 수를 생각합니다.
2. 그들은 그 수를 수정구에게 외칩니다.
3. 수정구는 잠시 살펴본 후 결과를 속삭여 답합니다.
4. 전략가는 다음 수를 생각합니다.

현재의 "클라우드" 시스템에서는 이 과정이 고장 나 있습니다. 전략가가 매번 한 수를 외칠 때마다, 수정구의 주의를 끌기 위해 길고 혼란스러운 줄 (배치 큐) 에 서서 기다려야 합니다. 기다리는 동안 수정구는 "차가워져" 설정을 잊어버립니다. 전략가가 마침내 말할 수 있을 때쯤이면, 수정구는 멈추고 재보정해야 한 다음에야 답을 줄 수 있습니다. 이로 인해 전체 과정이 몇 분 대신 며칠이 걸리게 되며, 수정구가 조율에서 벗어나기 때문에 답변의 정확도도 떨어집니다.

EFaaS는 이 고장 난 루프를 해결하도록 설계된 새로운 스마트한 "중개자"입니다. 간단한 비유를 들어 작동 방식을 설명해 보겠습니다:

1. "얽힌" 세션 (줄 서기 없음)

EFaaS 는 각 수를 큐에 던져지는 별도의 작업으로 취급하는 대신, 전략가와 수정구를 밀접하게 결합된 팀으로 취급합니다.

• 구식 방식: 우편물을 우체국으로 보내는 것과 같습니다. 상자에 넣고 분류되기를 며칠 기다린 후, 수신자가 깨어 있을지 모릅니다.
• EFaaS 방식: 화상 통화와 같습니다. 전략가가 생각하기만 하면 수정구는 이미 기다리고 있어 경청할 준비가 되어 있습니다. "중개자"가 수정구의 설정을 "따뜻하게" 유지하고 활성화하여 줄 서는 시간이 없고 재보정이 필요 없도록 합니다.

2. "따뜻한 캐시" (수정구를 조율된 상태로 유지)

양자 컴퓨터는 섬세한 악기와 같습니다; 몇 분 동안 연주하지 않으면 조율이 맞지 않게 됩니다 (이를 양자 드리프트라고 합니다).

• 문제: 전략가가 생각하는 데 너무 오래 걸리면 수정구의 조율이 맞지 않게 됩니다. 마침내 답을 요청할 때 악기가 고장 나 있어 결과는 쓸모없게 됩니다.
• EFaaS 해결책: 중개자는 튜닝 포크처럼 행동합니다. 현재 퍼즐에 필요한 정확한 주파수로 수정구를 조율된 상태로 유지합니다. 전략가가 얼마나 걸릴지 정확히 알고, 전략가가 끝나는 순간 수정구가 준비되도록 보장합니다. 이렇게 하면 기계를 멈추고 스스로 고쳐야 하는 "콜드 스타트" 페널티를 방지합니다.

3. "미래 대비" 트릭 (두 가지 일을 동시에 수행)

보통 전략가는 수정구가 현재 계산을 끝낼 때까지 완벽하게 가만히 앉아 다음 수를 생각할 수 없습니다.

• EFaaS 혁신: 그들은 **"EF-QuantumFuture"**라는 트릭을 도입했습니다. 이는 전략가가 수정구가 현재 작업을 수행하는 동안 다음 수를 초안 작성하기 시작하는 것과 같습니다.
• 수정구가 끝나자마자 전략가는 다음 단계의 절반 정도를 이미 마친 상태입니다. 이 "추측적" 작업은 대기 시간을 숨겨 전체 과정을 즉각적으로 느끼게 합니다.

4. "공정하지만 빠른" 교통 경찰

이 시스템은 특정 퍼즐이 풀리는 동안 다른 사람들이 수정구를 사용하길 기다리는 것을 무시하지 않도록 해야 합니다.

• 해결책: EFaaS 는 스마트한 교통 경찰(Dual-Resource Fair Queuing) 을 사용합니다. 현재 풀리고 있는 "뜨거운" 퍼즐에 줄을 건너뛰게 하는 녹색 신호를 주지만, 이는 동일한 활성 세션의 일부일 때만 해당됩니다. 그 퍼즐이 끝나면 수정구는 즉시 다음 사람을 위해 사용 가능해집니다. 이렇게 하면 전략가가 생각하는 동안 비싼 수정구가 유휴 상태로 방치되지 않도록 보장합니다.

결과: 왜 중요한가

이 논문은 이 시스템을 기존 방식 (줄 서기, 또는 수정구를 독점적으로 예약하기 위해 비용을 지불하는 방식) 과 비교하여 테스트했습니다.

• 속도: 수 사이의 시간을 **11% 에서 94%**까지 단축했습니다.
• 효율성: 다른 방법들에 비해 수정구를 바쁘게 유지하고 작동하는 시간을 2% 에서 15% 더 늘렸습니다.
• 정확도: "드리프트" 오류를 거의 완전히 제거하여 답변이 훨씬 더 신뢰할 수 있게 되었습니다.
• 비용: 비싼 독점 예약 없이 표준 방법보다 퍼즐을 83% 에서 98% 더 빠르게 해결했습니다.

간단히 말해: EFaaS 는 느리고 고장 나며 멈추고 시작하는 과정을 인간과 기계 사이의 매끄럽고 지속적인 대화로 바꾸어, 기계가 조율된 상태를 유지하고 인간이 기다릴 필요가 없도록 보장합니다.

기술 요약

기술 요약: EFaaS

문제 정의

양자 컴퓨팅이 "유틸리티 시대"에 진입함에 따라, 단기간의 이점을 실현하는 것은 변분 양자 고유값 솔버 (VQE) 와 양자 근사 최적화 알고리즘 (QAOA) 과 같은 하이브리드 변분 양자 알고리즘 (VQA) 에 크게 의존합니다. 이러한 알고리즘은 고전 CPU 최적화기가 양자 처리 장치 (QPU) 가 수행한 비용 함수 평가를 기반으로 매개변수를 업데이트하는 긴밀하게 결합된 반복 루프를 통해 작동합니다.

현재의 양자 클라우드 접근 모델은 분리된 배치-대기 시스템에 의존하여 이러한 워크플로우에 치명적인 병목 현상을 초래합니다. 식별된 주요 문제는 다음과 같습니다:

1. 다음 샷까지의 시간 (TTNS) 지연: 반복 루프는 대기 시간 ($t_{queue}$) 으로 인해 단절됩니다. 이 시간은 수 초에서 수 분까지 이어질 수 있습니다. 수천 번의 반복이 필요한 알고리즘의 경우, 이로 인해 수렴 시간이 몇 분에서 며칠로 늘어납니다.
2. 양자 하드웨어 드리프트: 반복 간의 긴 지연 ("콜드 스타트") 은 QPU 보정 데이터가 구식화되게 합니다. 이러한 드리프트는 측정 충실도를 저하시키고 최적화 지형의 일관성을 파괴하여, 비용이 많이 드는 재보정을 강요하거나 알고리즘 실패를 초래합니다.
3. 자원 비효율성: 기존 솔루션은 이분법적이고 비효율적입니다. 정적 QPU 예약은 대기 지연을 제거하지만 고전 계산 단계 동안 희귀한 QPU 자원을 낭비합니다. 반면, 상태 없는 함수형 서비스 (FaaS) 모델은 콜드 스타트와 드리프트를 방지하는 데 필요한 세션 컨텍스트를 유지하지 못합니다.

방법론

저자들은 고전 매개변수 최적화와 양자 회로 실행을 "얽힌, 세션 인식 이벤트"로 공동 일정 관리하도록 설계된 새로운 서버리스 미들웨어인 EFaaS(Entangled Function-as-a-Service) 를 제안합니다. 이 아키텍처는 고전 클라우드 오케스트레이터와 양자 제어 플레인 사이에 위치하여 두 도메인 간의 관계를 근본적으로 재정의합니다.

이 시스템은 세 가지 핵심 기술 혁신에 의존합니다:

1. 세션 인식 및 보정 캐싱

EFaaS 는 QPU 샷과 CPU 함수를 분리된 작업이 아닌 연속적인 세션으로 취급하는 세션 인식 엔진을 도입합니다.

• 메커니즘: 하이브리드 알고리즘이 제출되면, 미들웨어는 양자 제어 플레인과 우선 순위가 높은 시간 창을 협상합니다. 이는 제어 플레인이 보정 데이터 ($C_q$) 를 로컬 캐시에 보유하도록 지시하는 세션 플래그 ($E_s = 1$) 를 설정합니다.
• 논리: 스케줄러는 반복 간의 시간 ($\Delta t$) 이 양자 일관성/드리프트 임계값 ($\tau_{drift}$) 내에 유지되도록 보장합니다. 고전 CPU 가 이 시간 창 내에 다음 회로를 반환하는 한, QPU 는 재보정 없이 즉시 실행되어 $t_{queue} \to 0$ 및 $\delta \to 0$ (여기서 $\delta$는 콜드 스타트를 나타냄) 를 유도합니다.

2. 보정 인식 배치 전략

컨테이너 활성과 같은 소프트웨어 불변성에 기반한 표준 애너티 정책과 달리, EFaaS 는 물리적 일관성 시간 임계값에 기반한 배치 전략을 사용합니다.

• 스케줄러는 물리 하드웨어의 보정 상태를 추적합니다.
• 활성 "핫 반복기"(CPU 가 다음 매개변수를 계산 중인 세션) 의 경우, 배치 엔진은 유효하고 따뜻한 보정 데이터를 보유한 특정 QPU 로 회로를 라우팅합니다.
• 드리프트 임계값을 초과하면 세션을 재개하기 전에 로컬 부분 재보정이 트리거되어 전체 시스템 재보정을 방지합니다.

3. 이중 자원 공평 대기열 (DRFQ) 및 EF-QuantumFuture

다른 워크로드를 고사시키지 않으면서 양자 작업 비율 (QDC) 을 극대화하기 위해 EFaaS 는 이중 자원 공평 대기열 스케줄러를 구현합니다.

• 우선순위 점수화: 스케줄러는 작업에 동적 우선순위 점수 ($\rho_i$) 를 부여하며, 활성 세션 ($\alpha$) 과 보정 시간 창 ($\beta$) 의 긴급성을 크게 반영합니다. 이를 통해 활성 루프에서 반환되는 회로가 표준 배치 작업을 선점하도록 보장합니다.
• EF-QuantumFuture 추상화: 고전 계산 지연을 숨기기 위해 시스템은 예측 실행 원시 기능을 도입합니다. 미들웨어는 회로 제출 시 즉시 비동기 "Future" 객체를 반환합니다. 이를 통해 고전 최적화기는 QPU 가 현재 샷을 실행하는 동안 비의존적 작업 (예: 하이퍼파라미터 업데이트) 을 예측적으로 실행할 수 있습니다.
• 지연 감소: 유효 반복 지연은 $L_{ent} = \max(t_{cpu} - t_{async}, 0) + t_{qpu} + t_{net}$로 감소되어 고전 및 양자 실행이 효과적으로 겹쳐집니다.

주요 기여

본 논문은 다음과 같은 구체적인 기여를 주장합니다:

1. EFaaS 실행 모델: 양자 회로와 고전 최적화를 세션 결합 이벤트로 공동 일정 관리하는 하이브리드 서버리스 모델로, TTNS 를 극적으로 감소시킵니다.
2. 보정 인식 배치: 유효하고 반복별 보정 데이터를 보유한 QPU 로 회로를 라우팅하여 콜드 스타트를 방지하는 라우팅 전략으로, 애너티 유효성을 소프트웨어 불변성에서 물리적 드리프트 역학으로 재형식화합니다.
3. 이중 자원 공평 대기열 (DRFQ): 한 자원 (QPU 샷) 이 물리적 구식화 제약에 노출되는 환경으로 지배적 자원 공평성 (Dominant Resource Fairness) 을 확장한 스케줄링 정책으로, QDC 를 극대화하면서 고전 워크로드에 대한 공평성을 유지합니다.
4. EF-QuantumFuture: 고전 최적화기 상태에 대한 비차단 디스패치와 정의된 예측/커밋/중단 계약을 가능하게 하는 예측 실행 원시 기능으로, 이전 하이브리드 프레임워크에는 존재하지 않는 기능입니다.

실험 결과

저자들은 EFaaS 를 표준 배치-대기 (SBQ), 순수 FaaS(PF), 정적 예약 (SR), 파일럿-양자 (PQ) 의 네 가지 기준선과 비교 평가했습니다. 평가는 VQE 스타일 워크로드를 실행하는 31 개의 벤치마크 회로 (2~16 큐비트) 를 사용하는 이산 이벤트 시뮬레이터로 수행되었습니다.

• TTNS 감소: EFaaS 는 평균 TTNS 를 3.6 초로 달성하여 SBQ(48.4 초) 대비 92.5%, PF(54.5 초) 대비 93.4% 감소했습니다. SR 및 PQ 와 비교하여 EFaaS 는 예측 실행을 활용하여 CPU-블록 대기 시간을 줄임으로써 11.4%~14.9% 의 작지만 일관된 개선을 보였습니다.
• 양자 작업 비율 (QDC): EFaaS 는 평균 QDC 를 **23.4%**로 달성하여 SBQ 및 PF 보다 14% 포인트 이상 우위를 점했습니다. 또한 SR 보다 2.2% 포인트 초과하여, SR 의 독점 잠금이 고전 최적화 단계 동안 QPU 를 유휴 상태로 만드는 반면, EFaaS 는 이러한 단계를 겹쳐 실행합니다.
• 수렴 가속화: 벤치마크 전체에서 엔드투엔드 수렴 시간이 83.2%~98.3% 감소했습니다. EFaaS 는 평균 22.9 초에 수렴한 반면, SBQ 는 213 초, PF 는 320 초가 소요되었습니다.
• 드리프트 페널티: EFaaS 는 전체 벤치마크 suite 에서 드리프트 이벤트가 0 건이었습니다 (복잡한 회로에서 최대 시뮬레이션 시간에 통계적 이상치 하나 제외). 반면, SBQ, PF, PQ 는 각각 95 건, 69 건, 89 건의 드리프트 이벤트를 누적하여 비용이 많이 드는 재보정을 강요했습니다. SR 은 드리프트가 0 이었으나 자원 효율성 측면에서 대가가 있었습니다.
• 확장성: 회로 복잡성이 2 에서 16 큐비트로 증가함에 따라 성능 우위가 지속되었으며, TTNS 는 일정하게 유지되었고 QDC 는 22% 이상을 유지했습니다.

중요성 및 주장

본 논문은 스케줄링 레이어가 현재 하이브리드 양자 워크로드의 지배적인 병목 현상이라고 주장합니다. EFaaS 의 중요성은 경제적 확장성이 없는 독점 QPU 예약 관행 없이 저지연과 보정 무결성을 동시에 달성할 수 있는 능력에 있습니다.

고전 및 양자 자원을 얽힌 세션 인식 개체로 취급함으로써, EFaaS 는 VQA 가 효과적으로 확장되는 것을 현재 방해하는 "시스템 수준의 마찰"을 해결합니다. 저자들은 그들의 접근 방식이 능동적인 TTL 인식 캐시 갱신을 통해 드리프트 페널티를 "정상 작동 조건 하에서 메커니즘적으로 불가능하게" 만든다고 주장하며, 서버리스 탄력성과 멀티 테넌트 공평성을 유지합니다. 결과는 보정 인식 서버리스 스케줄링이 양자 컴퓨팅의 "유틸리티 시대"에 필수적인 진화임을 시사합니다.