Three ways to share a QPU: Scheduling strategies for hybrid Quantum-HPC applications

이 논문은 차세대 컴퓨팅 시스템의 핵심인 하이브리드 양자-고성능컴퓨팅 (HPC-QC) 환경에서 희소하고 제약된 양자 처리 장치 (QPU) 를 효율적으로 공유하고 스케줄링하기 위한 세 가지 전략을 제안하고 실험적으로 검증한 연구입니다.

다음은 논문의 기술적 요약입니다.

1. 문제 제기 (Problem)

• 하이브리드 환경의 복잡성: 양자 컴퓨팅 (QC) 기술이 성숙함에 따라 기존 HPC 인프라와의 통합이 필수적이지만, 양자와 고전 (Classical) 프로그래밍 모델의 불일치, 양자 소프트웨어 스택의 미성숙, 그리고 QPU 자원의 극심한 희소성으로 인해 효율적인 자원 할당이 어렵습니다.
• 자원 불균형: 대부분의 하이브리드 워크로드는 고전적 계산이 양자 계산보다 훨씬 긴 시간을 차지합니다. 기존의 단순 동시 실행 (Co-scheduling) 방식은 QPU 가 고전적 계산이 진행되는 동안 대부분 유휴 상태로 방치되어 자원이 비효율적으로 사용되게 만듭니다.
• 기존 인프라의 제약: HPC 센터는 수십 년간 다듬어진 스케줄러 (예: Slurm) 와 정책을 보유하고 있으므로, 이를 완전히 교체하지 않고 기존 인프라를 확장하여 양자 자원을 통합할 수 있는 전략이 필요합니다.

2. 방법론 (Methodology)

저자들은 QPU 공유를 위한 세 가지 상보적인 스케줄링 전략을 제안하며, 이는 **시간 규모 (Time-scale granularity)**와 **프로그래밍 모델 투명성 (Programming model transparency)**이라는 두 가지 축을 기준으로 구분됩니다.

1. 시간 기반 멀티플렉싱 (Time-based Multiplexing) - 가상 QPU (vQPU):

   • 수준: 인프라 레벨.
   • 방식: 물리적 QPU 를 여러 가상 QPU(vQPU) 로 분할하여 여러 하이브리드 잡 (Job) 이 시간 순으로 공유하도록 합니다.
   • 특징: 사용자 애플리케이션 수정이 필요 없으며, Slurm 의 GRES(General Resource) 또는 라이선스 기능을 통해 투명하게 관리됩니다. 고전적 계산이 진행되는 동안 다른 잡의 양자 연산을 실행하여 QPU 유휴 시간을 최소화합니다.

2. 동적 자원 관리 (Dynamic Resource Management) - MPI 가변성 (Malleability):

   • 수준: 스케줄러/런타임 레벨.
   • 방식: DMR(Dynamic Resource Management) 프레임워크를 사용하여 실행 중인 MPI 애플리케이션이 양자 연산 단계에 진입하면 고전적 노드 (CPU) 를 일시적으로 반납하고, 양자 결과가 돌아오면 다시 할당받습니다.
   • 특징: 애플리케이션 구조를 크게 변경하지 않고 소량의 코드만 추가하여 구현 가능하며, 고전적 자원의 낭비를 방지합니다.

3. 워크플로우 분해 (Workflow Decomposition):

   • 수준: 오케스트레이션 레벨.
   • 방식: StreamFlow 와 같은 워크플로우 관리 시스템 (WMS) 을 사용하여 애플리케이션을 작업 (Task) 의 그래프로 분해합니다. 각 작업이 실행될 때만 해당 자원 (고전 또는 양자) 을 할당하고, 대기 중일 때는 자원을 해제합니다.
   • 특징: 애플리케이션이 워크플로우 구조로 명시적으로 설계되어야 하며, 자원의 온디맨드 할당을 통해 가장 낮은 자원 소비를 달성합니다.

3. 주요 기여 (Key Contributions)

• 개념적 프레임워크 정립: HPC-QC 통합을 위한 세 가지 전략 (vQPU, 가변성, 워크플로우) 을 체계적으로 분류하고 그 적용 영역을 명확히 했습니다.
• 실제 인프라에서의 실험적 검증: 이론적 분석을 넘어, 실제 생산용 HPC 클러스터 (Leonardo, Qluster) 와 실제 양자 하드웨어 (IQM Lagrange, 5 큐비트) 를 활용하여 세 가지 전략을 평가했습니다.
• 실무 가이드라인 제공: 각 전략의 장단점, 적용 가능한 워크로드 유형, 그리고 운영 시 고려해야 할 트레이드오프에 대한 구체적인 지침을 제시했습니다.

4. 실험 결과 (Results)

두 가지 주요 테스트케이스 (그래프 컬러링 문제, 클러스터링 집계 문제) 를 통해 다음과 같은 결과를 도출했습니다.

• vQPU (시간 멀티플렉싱):

  • 효과: 고전적 작업과 양자 작업의 시간 불균형이 클수록 (고전적 작업이 훨씬 길 때) QPU 사용률 (Occupancy) 이 크게 향상되었습니다.
  • 성능: 클러스터 전체의 총 실행 시간을 단축시켰으며, 개별 잡의 대기 시간은 증가할 수 있으나 전체 시스템 처리량은 크게 개선되었습니다.
  • 적합성: 초전도 양자 컴퓨터와 같이 짧은 양자 버스트를 가진 환경에 최적입니다.

• 가변성 (Malleability) 및 워크플로우 (Workflow):

  • 자원 효율성: 정적 할당 (Baseline) 대비 가변성은 고전적 자원 소비를 최대 45.7%, **워크플로우는 최대 64%**까지 감소시켰습니다.
  • 성능 비교:
    • 워크플로우: 자원 사용량과 분산이 가장 낮았으나, 자원 할당 오버헤드로 인해 대기 시간이 길어질 수 있습니다.
    • 가변성: 실행 시간 (Wall time) 과 자원 효율성 사이의 균형을 잘 맞췄으며, 재구성 오버헤드는 미미했습니다.
  • 적합성: 양자 연산 시간이 상대적으로 긴 환경 (예: 중성 원자 QPU) 이나 고전적 자원이 긴 시간 동안 필요로 하는 하이브리드 워크로드에 효과적입니다.

5. 의의 및 결론 (Significance)

• 실용성 입증: 이 연구는 HPC 센터가 기존 인프라를 폐기하지 않고도 점진적으로 양자 자원을 통합할 수 있는 실질적인 방법을 제시했습니다.
• 상호 보완성: 세 가지 전략은 상호 배타적이지 않으며, 서로 다른 계층 (인프라, 런타임, 오케스트레이션) 에서 작동하여 다양한 워크로드 시나리오에 적용 가능합니다. 예를 들어, 워크플로우 기반 애플리케이션이 vQPU 를 공유하는 QPU 를 사용할 수도 있습니다.
• 미래 지향성: 양자 하드웨어의 성숙도와 함께 하이브리드 컴퓨팅의 핵심이 될 스케줄링 전략의 표준을 마련했다는 점에서 의미가 큽니다. 특히 이탈리아의 실제 양자 하드웨어와 유럽의 Tier-0 HPC 시스템 (Leonardo) 을 활용한 검증은 이론과 실제 간의 격차를 해소하는 중요한 사례입니다.

요약하자면, 이 논문은 QPU 의 희소성과 하이브리드 워크로드의 비균형성을 해결하기 위해 인프라 수준의 공유 (vQPU), 런타임 수준의 적응 (가변성), **애플리케이션 수준의 오케스트레이션 (워크플로우)**이라는 세 가지 전략을 제안하고, 실제 환경에서 그 유효성을 입증한 중요한 연구입니다.