Rethinking How to Act: Action-Space Engineering for Reinforcement Learning-Based Circuit Routing in Distributed Quantum Systems

본 논문은 분산 양자 시스템에서 회로 컴파일 효율을 크게 향상시키는 새로운 행동 공간 공식화 및 마스킹 전략을 갖춘 강화 학습 에이전트를 소개하며, 이전 접근 방식에 비해 모델링된 실행 시간을 최대 35% 단축하는 성과를 거두었습니다.

핵심

거대한 고위험 무도회를 조직하려 한다고 상상해 보세요. 하지만 공연장은 좁고 느린 복도로 연결된 두 개의 별도 방으로 나뉘어 있습니다.

문제: 양자 무대
양자 컴퓨팅 세계에서는 복잡한 계산 (춤) 을 수행하고 싶습니다. 그러나 수천 명의 댄서 (큐비트) 가 있는 거대한 방 하나를 만드는 것은 너무 지저분하고 비용이 많이 듭니다. 그래서 과학자들은 "분산 양자 컴퓨팅 (DQC)" 시스템을 구축하고 있습니다. 이는 좁은 복도로 연결된 두 개의 작고 관리 가능한 방 (모듈) 입니다.

하지만 함정이 있습니다.

• 방 안: 댄서들은 즉시 이동하고 상호작용할 수 있습니다.
• 방 사이: 댄서를 복도로 이동시키는 것은 느리고 불확실하며, 설정하는 데 오랜 시간이 걸립니다 (특정 버스가 도착할 때까지 기다리는 것과 같습니다).

목표는 모든 춤 동작 (양자 게이트) 을 가능한 한 빠르게 완료하는 것입니다. 과제는 다음과 같은 결정을 내리는 것입니다: 지금 댄서를 복도로 이동시켜야 할까? 기다려야 할까? 어떤 댄서를 이동시켜야 할까?

옛 방식: 망설이는 기획자
이전에는 연구자들이 "단계별" 기획자 (강화 학습) 를 사용했습니다. 한 번에 작은 움직임 하나만 할 수 있는 초조한 매니저를 상상해 보세요. "댄서 A 를 왼쪽으로 한 칸 이동" 또는 "1 초 대기"와 같은 식입니다.

• 문제점: 매니저가 작은 단계만 취할 수 있기 때문에 압도당합니다. 그들은 모든 작은 움직임에 대해 많은 시간을 고민하며, 큰 그림을 보지 못해 종종 교통 체증에 빠집니다. 이 매니저를 훈련시키는 데는 오랜 시간이 걸리며, 그렇게 해도 속도가 매우 느립니다.

새로운 아이디어: 전략적 사령관
이 논문의 저자들은 더 똑똑한 사고 방식을 가진 새로운 유형의 매니저 (AI 에이전트) 를 도입했습니다. 작은 단계를 밟는 대신, 이 에이전트는 전략적 움직임으로 생각합니다.

1. 작은 단계가 아닌 큰 움직임: "왼쪽으로 한 칸 이동"이라고 말하는 대신, 에이전트는 "댄서 A 를 최단 경로를 따라 복도 끝까지 이동시켜라"라고 말합니다. 전체 이동 체인을 한 번에 계획합니다.
2. "방해 금지" 표지판 (액션 마스킹): 에이전트가 혼란에 빠지지 않도록 하기 위해 연구자들은 "액션 마스크"를 설치했습니다. 이는 "아직 필요하지 않기 때문에 지금 그 댄서를 이동시킬 수 없다"라고 알려주는 바운서와 같습니다. 이는 에이전트가 불가능하거나 쓸모없는 일을 시도하며 시간을 낭비하는 것을 막아줍니다.
3. 더 똑똑한 뇌: 에이전트는 가능한 모든 작은 움직임을 하나하나 외우려 하지 않는 단순화된 "뇌" (신경망) 를 사용합니다. 대신 특정 위치에서 특정 위치로 이동하는 것의 가치를 학습하므로, 학습 속도가 훨씬 빨라집니다.

결과: 더 빠른 파티, 더 적은 훈련
연구자들은 시뮬레이션된 양자 회로 (춤 연습) 를 사용하여 이 새로운 "전략적 사령관"을 기존의 "망설이는 기획자"와 비교 테스트했습니다.

• 속도: 새로운 에이전트는 기존 에이전트보다 35% 더 빠르게 연습을 완료했습니다. 더 나은 경로를 찾고 교통 체증을 더 효과적으로 피했습니다.
• 훈련 시간: 새로운 에이전트가 업무를 수행하는 법을 배우는 데 걸린 시간은 64% 더 적었습니다. 마치 새로운 매니저가 한 오후 만에 전체 공연장을 익힌 반면, 기존 매니저는 일주일간의 시행착오가 필요했던 것과 같습니다.
• 확장성: 새로운 에이전트는 더 크고 복잡한 연습을 통해 훈련될 때 더욱 향상된 반면, 기존 에이전트는 개선하는 데 어려움을 겪었습니다.

핵심 결론
이 논문은 AI 가 의사결정을 내리는 방식 (더 크고 똑똑한 움직임을 부여하고 나쁜 움직임을 필터링함) 을 변경함으로써 분산 양자 컴퓨터의 실행 효율성을 크게 높일 수 있음을 보여줍니다. 더 나은 하드웨어를 구축하는 문제가 아니라, 컴퓨터의 서로 다른 부분 간 정보 흐름을 관리하는 더 나은 "교통 경찰"을 구축하는 문제입니다.

참고: 이 논문은 엄격하게 이러한 양자 회로를 컴파일하는 효율성에 초점을 맞춥니다. 이러한 결과가 즉시 새로운 의학적 치료법이나 신약 개발로 이어질 것이라고 주장하는 것이 아니라, 양자 컴퓨터의 근본적인 "교통 통제"가 이제 훨씬 더 효율적이 되었다는 점을 강조합니다.

기술 요약

기술 요약: 행동 방식 재고찰: 분산 양자 시스템의 강화 학습 기반 회로 라우팅을 위한 행동 공간 공학

문제 제기

양자 프로세서의 단일 칩 확장 (monolithic scaling) 은 제어 복잡성, 크로스토크, 상관 오류로 인해 한계에 직면함에 따라, 분산 양자 컴퓨팅 (DQC) 이 실현 가능한 대안으로 부상했습니다. DQC 는 양자 채널과 고전 채널을 통해 여러 개의 소형 양자 프로세서 모듈을 상호 연결합니다. 그러나 DQC 를 위한 양자 회로 컴파일은 고유한 과제를 제기합니다. 컴파일러는 모듈 내의 로컬 연결성 제약을 충족할 뿐만 아니라, 비국소 연산을 용이하게 하기 위해 원격 얽힘 상태 (EPR 쌍) 의 생성과 라우팅을 관리해야 합니다.

EPR 쌍의 생성은 로컬 게이트 연산 (MHzkHz) 에 비해 현저히 느립니다 (예: 1040 Hz). 이는 병목 현상을 초래합니다. 전통적인 컴파일 접근 방식은 종종 정적 큐비트 배치나 네트워크 동역학을 스칼라 비용으로 추상화하는 휴리스틱에 의존하여, 원격 얽힘 생성의 확률적 특성과 지연 시간을 포착하지 못합니다. 강화 학습 (RL) 은 비분산 라우팅에서 가능성을 보였으나, 기존 DQC 전용 RL 프레임워크 (예: Promponas 등, 2024) 는 행동 공간 (action-space) 구성으로 인해 훈련 효율성, 확장성, 추론 성능 측면에서 어려움을 겪고 있습니다.

방법론

저자들은 DQC 아키텍처에서 회로 실행 시간을 최적화하도록 설계된 새로운 RL 에이전트를 제안합니다. 이 접근법은 Promponas 등 (2024) 이 확립한 프레임워크를 기반으로 하지만, 행동 공간, 마스킹 전략, 그리고 가치 근사에 중대한 공학적 변경을 도입합니다.

1. 시스템 및 회로 모델

• 회로 표현: 양자 회로는 노드가 게이트를, 에지가 선후 관계 제약을 나타내는 방향성 비순환 그래프 (DAG) 로 모델링됩니다.
• 하드웨어 모델: 시스템은 양자 채널로 연결된 여러 모듈 (QPU) 로 구성됩니다. 로컬 연산은 모듈 내에서 발생하며, 원격 연산은 EPR 쌍에 의존합니다.
• 원격 원시 연산 (Remote Primitives): 이 프레임워크는 EPR 쌍을 소모하는 tele-gates(비국소 CNOT) 와 tele-qubits(상태 텔레포테이션) 를 지원합니다. 얽힘 생성은 반복 - 성공 - until - 성공 (repeat-until-success) 프로토콜의 평균 대기 시간을 근사화한 고정 지연 시간 $t_{gen}$을 가진 결정론적 과정으로 모델링됩니다.

2. 강화 학습 프레임워크

이 문제는 Double Deep Q-Networks (DDQN) 를 사용하여 마르코프 의사결정 과정 (MDP) 으로 공식화됩니다.

• 상태 공간 ($S$): 기준선과 동일하며, 현재 큐비트 매핑 (물리적에서 가상으로) 과 DAG 구조 (게이트 의존성 및 계층화) 를 인코딩합니다.
• 보상 구조:
  • 게이트 완료 ($R_{score}$) 및 회로 완료 ($R_{success}$) 에 대한 긍정적 보상.
  • 시간 제한 내 회로 완료 실패 ($R_{fail}$) 및 STOP 동작 사용에 대한 패널티.
  • 수정: 저자들은 이동 보상 ($R_{move}$) 을 수정했습니다. 기준선은 거리 증가에 패널티를 부과하는 반면, 새로운 에이전트는 거리가 감소하지 않을 경우 보상을 0 으로 받아, 엄격히 금지되지 않은 비진행 이동에 대한 부정적 피드백을 피합니다. STOP 보상은 건너뜀 시간 단계 수 ($\Delta t_{skip}$) 에 따라 스케일링됩니다.

3. 주요 혁신: 행동 공간 공학

핵심 기여는 에이전트의 행동 공간 ($\tilde{A}$) 과 이를 마스킹 및 근사화하는 방식을 재정의하는 데 있습니다.

• 확장된 행동 공간: 개별 에지 (단일 링크의 SWAP) 와 동작을 연관시키는 대신, 새로운 에이전트는 물리적 큐비트 쌍 $(i, j)$과 동작을 연관시킵니다. ROUT(i, j) 동작은 $i$와 $j$ 사이의 사전 계산된 최단 경로를 따라 SWAP 및 tele-qubit 연산의 체인을 실행합니다. 이를 통해 에이전트는 단일 단계에서 다단계 라우팅 결정을 내릴 수 있습니다.
• 제한적 행동 마스킹: 확대된 행동 공간이 에이전트를 압도하지 않도록 엄격한 마스킹 전략이 적용됩니다. 라우팅 동작 ROUT(i, j)는 다음 조건을 충족할 때만 허용됩니다:
  1. 다음 게이트에 관여하는 "프론티어 큐비트"를 파트너 쪽으로 이동시킬 때.
  2. EPR 생성을 준비하기 위해 통신 링크 쪽으로 비초기화 큐비트를 이동시킬 때.
  3. EPR 큐비트와 프론티어 큐비트를 서로 쪽으로 이동시킬 때.
• 구조화된 Q-값 근사: 행동 공간의 2 차 스케일링 ($O(|V|^2)$) 을 해결하기 위해 저자들은 구조화된 근사를 도입합니다. 신경망은 각 물리적 큐비트 $i$에 대해 스칼라 값 $Q_i$를 출력합니다 (STOP 및 generate 동작에 대한 값 포함). $i$에서 $j$로의 특정 라우팅 동작에 대한 값은 선형 조합을 통해 유도됩니다:
  $$Q_{ij} = (1 - \alpha)Q_i + \alpha Q_j$$
  여기서 $0 < \alpha < 0.5$입니다. 이는 학습 가능한 출력의 수를 $O(|V|^2)$에서 $O(|V|)$로 줄여 계산 비용을 크게 낮추면서도 방향성을 유지합니다.

주요 결과

제안된 에이전트는 4x4 그리드와 연결된 두 개의 IBM Q Guadalupe 아키텍처 (총 32 큐비트) 라는 두 가지 하드웨어 토폴로지에 걸쳐 기준선 DDQN 에이전트 (Promponas 등, 2024) 와 비교 평가되었습니다. 실험에는 30, 40, 50 개의 CNOT 게이트를 가진 무작위 생성 회로가 사용되었습니다.

1. 추론 성능

• 실행 시간 단축: 30 게이트 회로를 사용한 Guadalupe 토폴로지에서 제안된 에이전트는 기준선에 비해 모델링된 실행 시간을 약 35% 상대적으로 단축했습니다.
  • 기준선 평균: 약 1,227 타임스텝.
  • 제안된 에이전트 평균: 약 799 타임스텝.
• 확장성: 더 제약이 많은 Guadalupe 토폴로지에서 기준선 에이전트는 40 및 50 게이트 회구에 대한 효과적인 정책을 학습하는 데 어려움을 겪었습니다 (실행 시간이 무작위 선택 수준에 머무름). 반면, 제안된 에이전트는 이러한 더 큰 회로에서 실행 시간이 크게 개선되어 더 나은 확장성을 보여주었습니다.
• 그리드 토폴로지: 매우 연결된 4x4 그리드에서 제안된 에이전트는 많은 대안 중 최적 경로를 선택하는 복잡성으로 인해 초기 훈련 속도가 느렸습니다. 그러나 결국 경쟁력 있는 최종 성능에 도달하여 기준선을 약간 능가했습니다.

2. 훈련 효율성

• 월시 클락 시간: 제안된 모델은 훈련 시간이 현저히 줄었습니다. 30 게이트 회로의 경우 훈련 시간이 64% 단축되었습니다 (약 66 시간에서 약 23.5 시간으로).
• 수렴: 제안된 에이전트는 훈련 마지막 단계에서 누적 보상 및 실행 시간의 분산이 낮아 더 안정적이고 일관된 정책을 시사했습니다.

3. Look-Ahead 분석

저자들은 더 작은 회로 (제한된 look-ahead) 로 훈련하는 것이 더 큰 회로로 일반화되는지 조사했습니다. 더 큰 회로 (C50) 로 훈련하는 것이 더 작은 회로 (C30 또는 C40) 로 훈련하는 것보다 50 게이트 테스트 세트에서 더 나은 추론 성능을 일관되게 보여주었습니다. 이는 이 설정에서 최적의 라우팅 결정에는 전체 회로 컨텍스트가 필요함을 시사합니다.

중요성 및 주장

이 논문은 행동 공간 공학이 RL 기반 양자 회로 컴파일을 개선하는 데 있어 중요한 레버라고 주장합니다. 복합 라우팅 동작을 허용하도록 행동 공간을 재구성하고 구조화된 Q-값 근사를 적용함으로써, 저자들은 다음을 달성했습니다:

1. 성능 향상: 제약이 있는 하드웨어 토폴로지에서 회로 실행 시간을 크게 단축 (최대 35~38%).
2. 계산 효율성: 훈련 시간을 대폭 단축 (64%) 하고 Q-네트워크의 파라미터화를 더 확장 가능하게 만듦.
3. 일반화: 기준선 휴리스틱 기반 또는 에지 수준 RL 접근 방식이 실패한 더 큰 회구에 대해 효과적인 정책을 학습할 수 있는 능력.

저자들은 확장성이 여전히 게이트 수에 따른 상태 공간의 다항식적 성장에 의해 제한된다는 점 (현재는 최대 50 게이트 및 18 큐비트까지 평가됨) 을 겸손하게 지적합니다. 또한 학습 속도를 돕는 제한적 마스킹 전략과 전역 최적 라우팅 전략의 잠재적 손실 사이의 트레이드오프를 한계로 식별합니다. 향후 연구는 일반화를 더욱 향상시키기 위해 더 컴팩트한 상태 표현에 초점을 맞출 것으로 제안됩니다.