HPC-vQPU: A Service-Export Architecture for Virtual QPUs on Batch-Scheduled HPC Systems

본 논문은 아웃바운드 조정과 불변의 보정 인식 장치 스냅샷을 사용하여 클라우드 지향 제어 평면과 HPC 거주 실행 평면을 분리함으로써 배치 스케줄링 HPC 시스템에서 안전하고 장치 충실한 가상 QPU 시뮬레이션을 가능하게 하는 서비스 수출 아키텍처인 HPC-vQPU를 제시합니다.

핵심

HPC-VQPU 논문을 쉬운 언어와 일상적인 비유를 사용하여 설명합니다.

큰 문제: 두 개의 다른 세계

상상해 보세요. 수천 명의 사람을 한 번에 위한 거대한 요리를 할 수 있는 매우 강력하고 첨단 기술이 적용된 주방 (슈퍼컴퓨터) 이 있습니다. 하지만 이 주방에는 엄격한 규칙이 있습니다:

1. 방문 금지: 요리하러 그냥 들어와서 주문할 수 없습니다. 양식을 작성하고 줄을 서야 하며, 주방 스태프는 오븐이 비었을 때만 요리를 시작합니다.
2. 직접 접촉 금지: 음식이 주방에서 조리되는 동안 셰프들은 격리되어 있습니다. 그들은 당신에게 전화를 걸어 질문을 하거나 진행 상황을 알릴 수 없습니다. 그들이 일을 마쳤을 때만 메모를 보낼 수 있습니다.

이제 당신은 양자 과학자라고 가정해 보세요. 당신은 특정 재료와 특정 조리 방식 (보정 및 토폴로지) 이 필요한 매우 구체적이고 섬세한 실험 (양자 회로) 을 수행하고자 합니다. 당신은 "IBM Fez 오븐에서 이 요리를 만들어 주세요"라고 말하면 즉시 결과를 받을 수 있는 서비스를 기대합니다.

갈등: 과학자는 상호작용이 가능한 '주문하고 기다리는' 경험을 원합니다. 반면 슈퍼컴퓨터는 '양식 작성하고 줄 서서 기다리는' 경험만 제공합니다. 만약 주방이 당신과 직접 대화하도록 강요하면 주방의 보안 규칙이 위반됩니다.

해결책: HPC-VQPU

저자들은 이 격차를 해소하기 위해 HPC-VQPU라는 시스템을 구축했습니다. 이는 규칙을 위반하지 않고 과학자와 주방 모두와 정확히 대화하는 방법을 아는 스마트 웨이터와 같습니다.

다음은 단계별 작동 방식입니다:

1. 두 부분으로 나뉜 팀

시스템은 레스토랑이 **프론트 오브 하우스 (고객 접점)**와 **백 오브 하우스 (주방)**로 나뉘는 것처럼 두 가지 명확한 역할로 나뉩니다.

• 제어 플레인 (프론트 오브 하우스): 이것이 과학자가 대화하는 부분입니다. 일반적이고 친근한 앱처럼 보입니다. 주문을 받고 재료가 유효한지 확인하며 영수증을 발급합니다. 이는 안전한 주방 외부에 위치합니다.
• 실행 플레인 (백 오브 하우스): 이는 안전한 주방 내부에 있는 부분입니다. 주방 입구 데스크에 상주하는 겸손한 '러너 (대리인)'입니다. 프론트 오브 하우스에게 전화를 걸 수는 없지만, 일을 요청하기 위해 프론트 오브 하우스에게만 질문할 수 있습니다.

2. '아웃바운드 전용' 규칙 (일방통행 문)

주방에는 엄격한 보안 정책이 있습니다: 내부에서 외부 세계로 대화를 시작하기 위해 전화를 걸 수 있는 사람은 아무도 없습니다. 외부 세계도 안으로 전화를 걸 수 없습니다.

• HPC-VQPU 의 해결 방법: 주방 내부의 러너는 문을 계속 두드리며 (폴링) "저를 위한 주문이 있나요?"라고 묻습니다.
• 프론트 오브 하우스는 러너에게 전화를 걸지 않습니다. 오직 러너가 질문할 때까지 기다릴 뿐입니다. 이는 '뒷문'이 열리지 않기 때문에 주방을 안전하게 유지합니다.

3. '스냅샷' 계약 (얼어붙은 레시피)

이것이 이 논문의 가장 중요한 부분입니다.

• 문제: 양자 컴퓨터는 살아있는 생물과 같습니다. 그들의 '맛' (보정) 은 매일 변합니다. 오늘 요리를 주문하더라도 주방이 내일이 될 때까지 요리를 시작하지 않는다면 재료가 변했을 수 있고, 요리의 맛이 달라질 수 있습니다.
• 옛날 방식: 단순히 요청을 보내면, 주방은 요리를 시작할 때 레시피를 찾아볼 수 있습니다. 하지만 그때까지 레시피가 변했거나, 주방이 레시피를 찾기엔 너무 바쁠 수 있습니다.
• HPC-VQPU 방식: 러너가 주문을 요청할 때, 프론트 오브 하우스는 단순히 "이 요리를 하세요"라고 말하지 않습니다. 대신 **얼어붙은 레시피 카드 (스냅샷)**를 건네줍니다.
  • 이 카드에는 러너가 주문을 받은 정확한 순간의 재료 상태, 오븐 설정, 조리 지시가 포함되어 있습니다.
  • 러너는 이 카드를 받아 격리된 주방으로 들어가, 오직 그 카드만을 사용하여 요리합니다. 다시 레시피를 찾아볼 필요가 없습니다.
  • 왜 이것이 중요한가: 한 시간 후에 주방의 주요 레시피 책이 변하더라도, 당신의 요리는 당신이 받은 '얼어붙은 레시피'를 사용하여 조리됩니다. 그 결과는 당신이 요청한 특정 '가상 양자 컴퓨터'와 일관된 것이 보장됩니다.

4. '청구' (소유권 행사)

두 명의 러너가 있는 분주한 주방을 상상해 보세요.

• 위험: 두 러너가 동시에 같은 주문을 요청하면, 둘 다 요리를 시도하여 재료를 낭비하고 서로 다른 결과를 얻을 수 있습니다.
• 해결책: 프론트 오브 하우스에는 특별한 잠금 장치가 있습니다. 러너가 일을 요청하면 프론트 오브 하우스는 "좋아, 이제 이 주문은 너의 것이다"라고 말합니다. 즉시 주문을 '취소됨'으로 표시하고 그 특정 러너에게 얼어붙은 레시피 카드를 건네줍니다.
• 만약 다른 러너가 그 다음 초에 같은 주문을 요청하면, 프론트 오브 하우스는 "죄송합니다, 이미 가져갔습니다"라고 말합니다. 이를 통해 작업이 정확히 한 번만 수행되도록 보장합니다.

5. '하트비트' (상태 확인)

주방 러너들은 전화를 걸 수 없으므로, 프론트 오브 하우스는 그들이 여전히 살아있는지 어떻게 알까요?

• 러너는 몇 초마다 "여전히 여기 있습니다"라는 작은 신호 (하트비트) 를 보냅니다.
• 러너가 충돌하거나 사라지면 프론트 오브 하우스는 하트비트가 멈추는 것을 알아차립니다. 당황하지 않고 인간 관리자가 "좋아, 그 주문을 다른 러너에게 주자"라고 말할 때까지 기다립니다. 이는 시스템이 멈추거나 데이터를 잃는 것을 방지합니다.

그들이 증명한 것

저자들은 실제 슈퍼컴퓨터 (Setonix) 에서 이 시스템을 테스트하여 다음을 증명했습니다:

1. 충분히 빠름: '웨이터'가 요리를 늦추지 않습니다. 추가된 시간은 미미하며 요리가 어려워질수록 더 나빠지지 않습니다.
2. 정확함: '얼어붙은 레시피'가 작동합니다. 변화하는 실제 세계 데이터를 사용할 때, 시스템은 오래된 것이 아닌 주문한 순간의 '현재' 레시피를 사용하여 요리를 했습니다.
3. 안전함: 러너가 충돌하더라도 시스템은 정확히 무엇을 발생했는지 알고 있으며, 주문을 잃거나 두 번 요리하지 않고 복구할 수 있습니다.
4. 보안성: 대화 시작을 위해 내부에서 외부로 전화를 거는 등 슈퍼컴퓨터의 보안 규칙을 결코 위반하지 않고 완벽하게 작동합니다.

요약

HPC-VQPU는 과학자들이 강력하고 안전한 슈퍼컴퓨터를 친근하고 상호작용이 가능한 양자 컴퓨터처럼 사용할 수 있게 해주는 영리한 방법입니다. 이는 일을 요청하는 '러너'를 사용하고, 일관된 조리를 위해 '얼어붙은 레시피 카드'를 배포하며, 주방의 엄격한 보안 규칙을 위반하는 사람이 없도록 함으로써 이를 달성합니다. 이는 경직되고 관료적인 시스템을 매끄럽고 신뢰할 수 있는 서비스로 바꿉니다.

기술 요약

기술 요약: HPC-VQPU

문제 정의

본 논문은 장치 인식 양자 시뮬레이션의 요구사항과 안전하고 배치 스케줄링된 고성능 컴퓨팅 (HPC) 시스템의 운영 제약 조건 사이의 근본적인 불일치를 다룹니다. 현대 양자 연구는 특정 장치 토폴로지, 네이티브 게이트 세트, 그리고 보정에서 유도된 노이즈 매개변수를 모델링하는 시뮬레이터에 점점 더 의존하고 있지만, HPC 인프라는 상호작용적이고 장치 지향적인 서비스보다는 스케줄러 매개 실행을 위해 설계되었습니다.

양자 시뮬레이션을 HPC 환경에서 서비스로 직접 내보내는 것을 방해하는 세 가지 주요 과제는 다음과 같습니다:

1. 연결성 역전: 안전한 HPC 클러스터는 일반적으로 컴퓨팅 노드로의 인바운드 연결을 금지합니다. 양자 개발자는 이름이 지정된 백엔드에 회로를 제출하고 결과를 상호작용적으로 검색하기를 기대하지만, HPC 보안 모델은 로그인 노드에서의 아웃바운드 통신만 허용합니다. 서비스가 워크플로우에 작업을 배포하는 표준 "푸시" 모델은 구조적으로 사용할 수 없습니다.
2. 의미 보존: "가상 QPU"는 단순히 회로 실행기가 아닙니다. 이는 토폴로지, 보정, 그리고 노이즈 제약을 노출하는 소프트웨어 정의 엔드포인트입니다. 배치 시스템에서 작업은 장치의 보정 상태가 변경되는 동안 몇 시간 동안 대기열에 머무를 수 있습니다. 실행 의미론이 특정 시점에 묶이지 않으면, 결과가 요청된 가상 장치에 더 이상 대응하지 않게 되어 컴파일러 개발이나 라우팅 연구에 대해 시뮬레이션이 과학적으로 무효화될 수 있습니다.
3. 운영 복잡성: 배치 매개 실행은 단순한 애플리케이션 오류를 넘어 스케줄러 지연, 노드 고장, 에이전트 소멸, 그리고 잘못된 아티팩트와 같은 실패 표면을 도입합니다. 실행 가능한 서비스는 상호작용적인 수명 주기 의미론 (제출, 모니터링, 검색) 과 부분적 관찰 가능성 및 HPC 작업 스케줄링의 비동기적 특성을 조화시켜야 합니다.

방법론 및 아키텍처

저자들은 서비스 권한과 스케줄러 지배 실행을 분리하는 서비스 내보내기 아키텍처인 HPC-VQPU를 제안합니다. 이 시스템은 오직 아웃바운드 에이전트 주도 메시지만을 통해 통신하는 두 개의 구별된 평면으로 구성되며, HPC 보안 경계를 유지합니다.

1. 이평면 분해

• 제어 평면 (클라우드 지향): HPC 클러스터 외부에 호스팅되며, 이 평면은 API, 작업 수명 주기, 장치 식별자, 그리고 이벤트 프로젝션을 관리합니다. 이는 작업 상태에 대해 권위적이지만 클러스터에 대한 스케줄러 지향 기능이나 인바운드 연결성을 포함하지 않습니다.
• 실행 평면 (HPC 거주): HPC 로그인 노드에서 실행되는 비특권 vqpu_agent에 의해 구현됩니다. 이 에이전트는 모든 조정을 시작합니다. 제어 평면에서 작업을 폴링하고, 작업을 청구하며, 스케줄러 (예: Slurm) 에 작업을 제출하고, 결과를 보고합니다. 이는 영구적인 서비스 진실을 소유하지 않으며 재시작 시 재구성 가능합니다.

2. 스냅샷 계약

핵심 추상화는 토폴로지, 네이티브 게이트, 그리고 보정 매개변수 (결맞음 시간, 오류율) 를 포함하는 가상 장치의 그래프 구조 표현인 장치 스냅샷($\Delta$)입니다.

• 청구 시점 바인딩: 대기열 지연과 보정 신선도 사이의 긴장을 해결하기 위해, 스냅샷은 제출 시가 아닌 청구 시점에 원자적으로 바인딩됩니다. 에이전트가 작업을 청구할 때, 제어 평면은 소유권을 이전하고 불변의 스냅샷 ($\delta_i$) 을 실행 계약의 일부로 제공합니다.
• 밀폐형 실행: 컴퓨팅 노드 런너는 회로와 바인딩된 스냅샷을 포함하는 로컬 페이로드를 수신합니다. 이는 제어 평면과 접촉 없이 스냅샷에서 노이즈 모델을 유도하여 완전히 오프라인으로 시뮬레이션을 실행합니다 (예: Qiskit-Aer/cuQuantum 사용). 이는 청구 후 발생하는 장치 상태 변화에 대해 실행 의미론이 불변임을 보장합니다.

3. 작업 수명 주기 및 프로토콜

시스템은 제어 평면에서 관리하는 5 상태 작업 자동화기 ($\{QUEUED, RUNNING, COMPLETED, FAILED, CANCELLED\}$) 를 사용합니다.

• 비대칭 프로토콜: 에이전트는 CLAIM, HEARTBEAT, REPORT 작업을 시작합니다. 제어 평면은 절대 상태를 내부로 푸시하지 않습니다.
• 원자적 소유권: CLAIM 작업은 소유권의 선형화 지점입니다. 이는 작업을 QUEUED에서 RUNNING으로 원자적으로 전환하고 고유한 소유자를 할당하여 동시 에이전트에 의한 중복 실행을 방지합니다.
• 복구: 에이전트가 실패하면 작업은 구식 소유자와 함께 RUNNING 상태로 남습니다. 복구는 명시적인 관리 작업 (예: REQUEUE) 을 필요로 하며, 이는 모호함이 조용히 해결되지 않고 실행 계보가 보존되도록 보장합니다.

주요 기여

본 논문은 네 가지 주요 기여를 제시합니다:

1. 서비스 내보내기 아키텍처: 아웃바운드 전용 조정을 통해 연결성 역전을 해결하는 제어/실행 평면 분해로, 안전한 HPC 시스템이 보안 태세를 약화시키지 않고 장치 인식 시뮬레이션을 내보낼 수 있게 합니다.
2. 장치 스냅샷 추상화: 청구 시점에 토폴로지 및 보정 의미론을 원자적으로 바인딩하는 이식 가능한 그래프 구조 실행 계약으로, 스케줄링된 작업이 요청된 가상 장치 상태에 충실하도록 보장합니다.
3. 스케줄러 인식 수명 주기: 상호작용 서비스 의미론과 배치 매개 실행 및 부분적 관찰 가능성을 조화시키는 비대칭 청구/보고/하트비트 프로토콜을 갖춘 5 상태 작업 자동화기.
4. 참조 구현 및 검증: Setonix GPU, Qiskit-Aer, 그리고 IBM Fez 보정 데이터를 사용하여 Pawsey Supercomputing Research Centre 에서의 프로덕션 배포로, 아키텍처의 실현 가능성을 입증합니다.

실험 결과

저자들은 회귀 테스트와 엔드투엔드 프로덕션 실험을 통해 아키텍처를 검증하였으며, 다음과 같은 결과를 도출했습니다:

• 유계 오버헤드: 서비스 내보내기 오버헤드는 가산적이고 유계입니다. 인터페이스 가시 지연 (입문 및 폴링) 은 회로 크기 (28–32 큐비트) 와 관계없이 일정하게 유지됩니다 (~0.4 초 입문, ~22-27 초 대기열-청구). 시뮬레이션의 지수적 확장성은 컴퓨팅 기질에 국한됩니다.
• 보정 충실도: 실제 IBM Fez 보정 데이터와 이상적인 (null) 스냅샷을 사용한 실험은 스냅샷 내용이 출력 분포를 직접 변경함을 보여줍니다. 시스템은 보정에서 유도된 노이즈 매개변수를 시뮬레이터로 올바르게 전파합니다.
• 청구 시점 바인딩: 장치의 보정이 제출 후이지만 청구 전에 관리적으로 변경될 때, 시스템은 사후 변경 (이상적) 상태를 사용하여 작업을 올바르게 실행합니다. 이는 스냅샷이 청구 시점에 바인딩되어 구식 실행을 방지함을 확인합니다.
• 동시성 및 무결성: 50 개의 작업과 두 개의 동시 에이전트를 사용한 다중 에이전트 테스트에서 모든 작업이 정확히 한 번 완료되었으며 거의 균등하게 분할되었습니다 (24:26). 중복 청구나 모호한 소유권은 발생하지 않았습니다.
• 복구: 에이전트 충돌 후, 세 개의 RUNNING 작업이 명시적인 재큐잉을 통해 성공적으로 복구되어 중복 실행이나 조용한 상태 재해석 없이 완료되었습니다.

중요성 및 주장

본 논문은 HPC-VQPU가 안전하고 배치 스케줄링된 슈퍼컴퓨터가 HPC 시스템처럼 운영을 중단하지 않으면서 의미론적으로 풍부한 상호작용 서비스를 내보낼 수 있음을 보여준다고 주장합니다. 그 중요성은 스케줄러 경계를 넘어 장치 충실도(토폴로지, 네이티브 게이트, 보정) 를 보존하는 능력에 있습니다.

저자들은 이 작업을 시뮬레이션 커널을 위한 성능 최적화가 아닌 서비스 경계를 위한 시스템 솔루션으로 위치시킵니다. 장치 스냅샷을 1 순위 시간 인덱스 계약으로 취급함으로써, 이 아키텍처는 양자 소프트웨어 워크플로우 (컴파일러 평가, 라우팅, 노이즈 연구) 가 상호작용적인 가상 QPU 인 것처럼 HPC 리소스와 상호작용할 수 있게 합니다. 설계 불변성 (아웃바운드 전용 연결성, 원자적 청구, 밀폐형 실행) 은 대기열 지연과 인프라 고장에도 불구하고 결과를 특정 가상 장치에서의 실행으로 과학적으로 해석 가능하게 만들기 위한 필수 조건으로 제시됩니다.

본 논문은 평가가 단일 프로덕션 사이트와 시뮬레이션 경로에 초점을 맞추고 있으며, 아키텍처가 전체 분산 시스템 의미론에서의 "정확히 한 번" 실행의 증명보다는 권위적인 수명 주기 의미론을 제공한다는 점을 겸손하게 인정하며 결론을 맺습니다. 그러나 제안된 권한과 실현의 분리는 HPC 규모 시뮬레이션을 상호작용 양자 소프트웨어 생태계로 통합하기 위한 실현 가능한 경로를 제공한다고 주장합니다.