Kubernetes-Orchestrated Hybrid Quantum-Classical Workflows

논문 요약: Kubernetes 기반의 하이브리드 양자 - 고전 워크플로우 오케스트레이션

1. 문제 정의 (Problem)

• 하이브리드 워크플로우의 복잡성: 양자 컴퓨팅은 고전 컴퓨터와 긴밀하게 통합된 하이브리드 워크플로우 (변분 양자 알고리즘, 회로 컷팅 등) 를 통해 실용화되고 있습니다. 이러한 워크플로우는 CPU, GPU, 양자 처리 장치 (QPU) 등 이질적인 리소스를 조율해야 합니다.
• 오케스트레이션의 부재: 기존 시스템은 리소스 이질성, 양자 작업 스케줄링, 또는 일반 클라우드 오케스트레이션 중 특정 측면만 다루거나, 단일 작업 실행에 국한되었습니다. 대규모 HPC 클러스터와 클라우드 플랫폼에서 이질적인 리소스를 포괄적으로 관리하고, 재현 가능 (reproducible) 하며, 관찰 가능 (observable) 한 엔드 - 투 - 엔드 하이브리드 파이프라인을 위한 통합 프레임워크가 부족했습니다.
• 기존 스케줄러의 한계: Slurm 과 같은 전통적인 HPC 배치 스케줄러는 정적인 작업 실행에 최적화되어 있어, 동적 리소스 할당과 다단계 컨테이너 기반 워크플로우를 지원하는 데 한계가 있습니다.

2. 방법론 (Methodology)

저자들은 Kubernetes, Argo Workflows, Kueue 를 활용한 클라우드 네이티브 프레임워크를 제안하여 하이브리드 양자 - HPC 파이프라인을 오케스트레이션합니다.

• 시스템 아키텍처:

  • Kubernetes: 이질적인 컴퓨팅 리소스 (CPU, GPU, QPU) 를 추상화하고 컨테이너화된 실행을 관리하는 오케스트레이션 백본 역할을 수행합니다.
  • Argo Workflows: 하이브리드 양자 - 고전 파이프라인을 방향성 비순환 그래프 (DAG) 로 정의하여 작업의 의존성, 모듈성, 재현성을 보장합니다.
  • Kueue: 워크로드 인식 스케줄러로, 리소스 가용성과 우선순위에 따라 CPU, GPU, QPU 작업에 대한 큐 기반 할당 및 공정한 스케줄링을 수행합니다.
  • 모니터링: Prometheus 와 Grafana 를 활용하여 실시간 메트릭 (작업 상태, 리소스 사용률, QPU 지연 시간 등) 을 수집하고 시각화합니다.

• 리소스 통합 전략:

  • 노드 레이블링: cpu, gpu, qpu 와 같은 레이블을 사용하여 노드를 식별하고, nodeSelector 를 통해 작업을 적절한 환경으로 유도합니다.
  • QPU 접근 방식: 온프레미스 (로컬 QPU 노드 직접 연결) 및 클라우드 기반 (API 를 통한 원격 QPU 접속, Kubernetes Secrets 를 통한 인증 정보 보안 관리) 모두를 지원합니다.
  • 미래 지향적 스케줄링: 현재는 노드 타겟팅 방식이지만, 향후 Kubernetes 의 동적 리소스 할당 (DRA, Dynamic Resource Allocation) 기능을 활용하여 장치 클래스와 워크로드 청구 (claim) 기반의 더 유연한 리소스 매칭을 구현할 예정입니다.

• 검증 사례 (Proof of Concept): 분산 양자 회로 컷팅 (Circuit Cutting)

  • 대규모 양자 회로를 작은 서브회로 (fragments) 로 분할하여 CPU, GPU, QPU 에서 병렬로 실행한 후, 고전적 후처리 과정을 통해 결과를 재구성하는 워크플로우를 구현했습니다.
  • 파이프라인 단계:
    1. 서브회로 생성 (CPU): 게이트 컷팅 알고리즘을 사용하여 독립적인 조각 생성.
    2. 병렬 실행: Kueue 를 통해 CPU, GPU, QPU 노드에 서브회로를 동시 실행 (Argo withSequence 활용).
    3. 결과 재구성 (CPU): 모든 서브회로 출력을 수집하여 글로벌 기대값 재구성.

3. 주요 기여 (Key Contributions)

• 통합 오케스트레이션 프레임워크: CPU, GPU, QPU 를 단일 운영 모델 하에 통합하여, 클라우드 네이티브 환경에서 재현 가능하고 확장 가능한 하이브리드 워크플로우를 지원하는 최초의 엔드 - 투 - 엔드 솔루션 중 하나를 제시했습니다.
• 동적 스케줄링 및 관찰 가능성: Kueue 를 통해 이질적인 리소스 간의 공정한 할당과 워크플로우 수준의 관찰 가능성을 제공하며, 기존 HPC 스케줄러가 제공하지 않는 동적 리소스 관리 능력을 입증했습니다.
• 분산 양자 실행의 실증: 회로 컷팅 기술을 통해 단일 QPU 의 용량을 초과하는 대규모 양자 작업을 이질적인 하드웨어 (클라우드 QPU 포함) 에 분산 실행하는 것을 성공적으로 시연했습니다.
• 보안 및 재현성: Kubernetes Secrets 를 통한 인증 정보 관리와 컨테이너화, YAML 기반의 선언적 정의로 실험의 재현성과 보안을 강화했습니다.

4. 결과 (Results)

• 성능 및 효율성: 실험 결과, CPU 와 GPU 의 지속적인 사용률이 유지되었으며, 대기 시간이 없는 병렬 실행이 가능함을 확인했습니다. Kueue 의 큐 기반 접근 방식은 고전 및 양자 워크로드 간의 충돌을 방지하고 자원을 효율적으로 할당했습니다.
• 유연성: 온프레미스 및 클라우드 QPU 백엔드를 모두 통합하여 실행할 수 있음을 입증했습니다.
• 관찰 가능성: Prometheus 와 Grafana 를 통해 병목 현상 (예: GPU 동시성 제한, 재구성 단계의 I/O 병목) 을 식별하고 성능을 튜닝할 수 있는 기반을 마련했습니다.
• 한계점: 현재 GPU 공유 (fine-grained sharing) 가 제한적이며, 예측 기반 스케줄링이나 실시간 텔레메트리 기반의 자동 백엔드 선택 기능은 아직 미비합니다. 또한, 대규모 확장 시 영구 볼륨 (Persistent Volume) 사용으로 인한 I/O 병목이 발생했습니다.

5. 의의 및 결론 (Significance)

• 차세대 하이브리드 컴퓨팅의 기반: 이 연구는 양자 컴퓨팅이 고전 인프라와 분리되지 않고 통합된 생태계 내에서 작동해야 한다는 점을 강조하며, 이를 위한 클라우드 네이티브 표준 아키텍처를 제시합니다.
• 확장성과 적용 범위: 제안된 프레임워크는 회로 컷팅뿐만 아니라 양자 머신 러닝 (QML), 샘플 기반 대각화 등 다양한 하이브리드 양자 - 고전 알고리즘에 적용 가능합니다.
• HPC 와 클라우드의 융합: Slurm 과 같은 기존 HPC 스케줄러를 대체하기보다는, 동적 파이프라인, 서비스 수준의 QPU 통합, 워크플로우 관찰 가능성 등 클라우드 네이티브 오케스트레이션이 제공하는 고유한 가치를 증명함으로써, 차세대 과학 컴퓨팅 환경의 진화를 주도할 수 있음을 보여줍니다.
• 미래 전망: DRA(동적 리소스 할당) 의 도입과 예측 스케줄링, 분산 스토리지 최적화 등을 통해 생산 환경 (Production-grade) 으로 확장할 수 있는 명확한 로드맵을 제시합니다.

이 논문은 양자 컴퓨팅이 실제 응용 분야에 도달하기 위해 필수적인 '하이브리드 워크플로우 오케스트레이션' 문제를 해결하기 위한 실용적이고 확장 가능한 클라우드 네이티브 솔루션을 제시했다는 점에서 중요한 의의를 가집니다.