Hybrid Quantum and Classical Workload Management with Graph-based Scheduling
이 논문은 하이브리드 양자-고전 워크로드의 고유한 2-큐(two-queue) 오케스트레이션 과제를 해결하기 위해 그래프 기반 갱 스케줄링(graph-based gang scheduling)을 활용하여 워커 유휴 시간을 크게 줄이고, 노드 자원 낭비를 제거하며, 지능적인 큐 인식형 장치 선택을 가능하게 함으로써 비용을 절감하는 쿠버네티스 스케줄러 플러그인인 Fluence를 소개한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
당신이 복잡한 요리를 준비하는 셰프들(고전 컴퓨터)이 있는 거대하고 첨단 기술이 집약된 주방을 운영하고 있다고 상상해 보십시오. 보통 그들은 식료품 저장실에서 재료만 가져오면 됩니다. 하지만 이제, 다른 도시에 있는 마법 같은 원격 오븐(양자 컴퓨터)을 추가했습니다. 이 오븐은 놀랍지만, 한 가지 문제가 있습니다. 그냥 들어가서 사용할 수 없다는 점입니다. 당신은 오븐을 사용하기 위해 대기 중인 신비로운 사람들의 줄에 요청을 보내야 합니다.
이로 인해 **"두 개의 대기열 문제(two-queue problem)"**가 발생합니다. 당신의 주방에도 줄이 있고, 원격 오븐에도 줄이 있습니다. 문제는, 당신의 셰프들이 오븐이 언제 비는지 모른다는 것입니다. 그들은 오븐이 비기를 기다리는 동안 채소를 다듬거나 팬을 준비하며(주방의 공간과 시간을 소모하며) 작업을 시작할 수도 있습니다. 만약 오븐이 한 시간 동안 사용 중이라면, 셰프들은 허공에 대고 채소를 다듬으며 에너지와 공간을 낭비하게 됩니다.
이 논문의 저자인 바네사 소챗(Vanessa Sochat)과 다니엘 밀로이(Daniel Milroy)는 새로운 주방 관리자인 **플루언스(Fluence)**를 만들었습니다. 플루언스는 원격 오븐이 실제로 준비될 때까지는 조리 팀이 작업을 시작하지 못하도록 막는 아주 똑똑한 수석 셰프라고 생각하면 됩니다.
마법의 기술: "전부 아니면 전무(All or Nothing)"
기존 방식(기본 스케줄러 사용 시)에서는 만약 당신이 셰프 팀에게 함께 일하라고 요청하면, 주방은 오븐이 준비되기도 전에 팀의 절반을 먼저 요리를 시작하게 할 수도 있습니다. 이는 피자가 구워지기도 전에 피자 배달원을 문 앞으로 보내는 것과 같습니다. 이는 시간과 공간을 낭비합니다.
플루언스는 **"갱 스케줄링(gang scheduling)"**이라는 전략을 사용합니다. 이는 팀 전체를 하나의 단위로 취급합니다. 플루언스는 이렇게 말합니다. "원격 오븐이 100% 준비되어 팀 전체가 정확히 동시에 작업할 수 있을 때까지는 아무도 채소를 다듬거나 준비를 시작하지 마라."
테스트에서 4명의 셰프 그룹을 실행했을 때, 기존 관리자는 팀을 부분적으로 시작하게 하여 오븐 대기열이 움직이는 동안 약 133 노드-초(node-seconds)(낭비된 시간을 측정하는 단위) 동안 대기하게 만들었습니다. 반면, 플루언스는 그 낭비되는 시간을 거의 **제로(0)**에 가깝게 유지했습니다. 이는 자동차들이 조금씩 움직이며 정체되는 교통 체증과, 교차로가 완전히 비었을 때 모든 차를 한꺼번에 통과시키는 신호등의 차이와 같습니다.
"두 개의 대기열" 동기화
가장 큰 골칫거리는 원격 오븐의 대기열을 예측할 수 없다는 점입니다. 때로는 비어 있기도 하지만, 때로는 몇 시간씩 길어지기도 합니다.
- 기존 방식: 셰프들이 즉시 작업을 시작합니다. 만약 오븐 대기열이 길다면, 그들은 몇 시간 동안 아무것도 못 하고 앉아 있게 됩니다.
- 플루언스 방식: 한 명의 셰프("프로듀서")가 원격 오븐 줄로 가서 상태를 확인합니다. 나머지 셰프들("컨슈머")은 "무대 뒤에서 대기하라(gated 상태)"는 지시를 받습니다. 그들은 프로듀서가 "오븐이 비었다!"라고 말하기 전까지는 주방 공간이나 전기를 사용하지 않습니다.
실험에서 이 간단한 기술은 엄청난 양의 시간을 절약했습니다. 오븐 대기열이 짧을 때, 플루언스는 셰프들의 유휴 시간을 약 5배 줄였습니다. 하지만 실제 양자 장치에서 테스트하여 대기열이 몇 시간씩 길어졌을 때, 플루언스는 시간 낭비를 수십 배(orders of magnitude) 줄였습니다. 8명의 셰프 그룹을 대상으로 한 특정 테스트에서, 기존 방식은 한 시뮬레이터에서 223초를 대기하게 했지만, 플루언스는 단 32초 만에 작업을 시작하게 했습니다. 또 다른 경우, 2.66시간의 대기열이 있을 때 기존 방식은 19,160 노드-초의 시간을 낭비했지만, 플루언스의 작업자들은 마지막 순간까지 기다렸다가 시작함으로써 그 낭비를 완전히 피했습니다.
최적의 오븐 선택하기
플루언스는 또한 어떤 원격 오븐을 사용할지 결정하는 데 도움을 줍니다. 서로 다른 오븐들(시뮬레이터 및 실제 양자 장치)은 가격과 대기 시간이 다릅니다.
- 무작위 선택: 만약 단순히 무작위로 오븐을 고른다면, 매우 비싸거나 대기 줄이 긴 오븐을 고를 수도 있습니다.
- 플루언스의 선택: 플루언스는 메뉴를 보고 "가장 저렴한 것을 고르자" 또는 "대기 줄이 가장 짧은 것을 고르자"라고 말할 수 있습니다.
테스트 결과, 플루언스가 가장 저렴한 옵션을 선택하도록 설정되었을 때, 무작위로 선택했을 때보다 평균 실행 비용을 약 70배 절감했습니다. 또한 대기 줄이 짧은 오븐을 선택함으로써 작업을 더 빠르게 완료하도록 도왔습니다.
플루언스가 '아닌' 것
저자들은 플루언스가 무엇을 하지 않는지에 대해서도 명확히 밝히고 있습니다.
- 플루언스는 원격 오븐을 마법처럼 더 빠르게 만드는 것이 아닙니다. 단지 대기 시간을 더 잘 관리할 뿐입니다.
- 플루언스는 보안 위험을 방지하기 위해 주방 관리자의 메인 사무실에 비밀번호를 저장하지 않습니다. 대신, 사용자가 로컬에서 자격 증명을 처리할 수 있도록 합니다.
- 플루언스는 모든 유형의 양자 작업에 적용되는 것은 아닙니다. 예를 들어, 8명의 서로 다른 셰프를 8개의 서로 다른 오븐으로 동시에 보내고 싶다면, 그들은 서로를 기다리지 않으므로 플루언스의 조정이 필요하지 않습니다. 플루언스는 하나의 작업(task)을 위해 하나의 원격 오븐에 의존하여 협력해야 하는 팀을 위한 것입니다.
결론
이 논문은 주방 관리자에 이 "준비될 때까지 대기" 로직을 추가함으로써, 원격 오븐을 기다리는 동안 비싼 주방 공간을 낭비하는 것을 어떻게 막을 수 있는지 보여줍니다. 그들은 시뮬레이션과 AWS Braket 및 기타 양자 제공업체를 이용한 실제 테스트를 통해 이를 입증했습니다.
그들은 이러한 스마트한 조정 없이는 많은 시간과 비용이 낭비된다는 것을 발견했습니다. 플루언스를 사용하면 셰프들은 신선함을 유지하고, 주방은 효율적으로 운영되며, 팀은 전체 식사가 한꺼번에 제공될 수 있을 때에만 요리를 시작합니다. 이는 셰프들이 사용하는 레시피를 변경하지 않고도, 우리가 가진 컴퓨터로 미래의 양자 컴퓨팅을 원활하게 작동시키는 방법입니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.