Separating Ansatz Discovery from Deployment on Larger Problems: Reinforcement Learning for Modular Circuit Design

이 논문은 소규모 양자 시스템에서 강화 학습을 통해 모듈러 회로 블록을 학습하고 이를 대규모 문제에 적용하는 'RLVQC' 프레임워크를 제안하여, 양자 아키텍처 탐색 시 대규모 시스템에서의 학습 부담을 줄이고 확장 가능한 구조를 발견할 수 있음을 입증합니다.

핵심

이 논문은 양자 컴퓨터가 더 큰 문제를 풀 수 있게 되면서 겪는 **'설계 난제'**를 해결하기 위한 새로운 방법을 제안합니다.

핵심 아이디어를 한 문장으로 요약하면 다음과 같습니다.
"작은 블록을 작은 공간에서 잘게 만들어두고, 나중에 그 블록들을 쌓아 거대한 건물을 짓자."

이제 이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드리겠습니다.

---

1. 문제 상황: 거대한 양자 컴퓨터를 설계하는 일

양자 컴퓨터는 미래의 슈퍼컴퓨터로 불리지만, 아직은 소수만 작동하는 실험실 단계입니다. 연구자들은 이 양자 컴퓨터가 복잡한 문제를 풀 수 있도록 '회로 (회로도)'를 자동으로 설계하고 싶어 합니다. 이를 **양자 아키텍처 검색 (QAS)**이라고 합니다.

하지만 여기서 큰 문제가 생깁니다.

• 작은 문제 (예: 8 개의 큐비트): 고전 컴퓨터 (일반 PC) 로 시뮬레이션해서 회로를 설계하는 것은 가능합니다.
• 큰 문제 (예: 16 개 이상의 큐비트): 양자 컴퓨터가 커지면, 고전 컴퓨터로 그 회로를 시뮬레이션하거나 설계하는 것이 아주 비싸고 불가능해집니다. 마치 작은 모형 집은 종이로 만들 수 있지만, 실제 고층 빌딩을 종이로 다 만들어보고 수정하는 것은 불가능한 것과 같습니다.

기존 연구들은 작은 문제만 다루거나, 큰 문제를 풀려고 하면 계산 비용이 너무 커져서 현실적이지 않았습니다.

2. 이 논문의 해결책: 레고 블록 방식 (모듈형 설계)

저자들은 이 문제를 해결하기 위해 **'발견 (Discovery)'**과 **'배치 (Deployment)'**를 분리했습니다.

• 단계 1: 작은 실험실에서의 블록 만들기 (발견)

  • 고전 컴퓨터로 시뮬레이션이 가능한 아주 작은 양자 시스템 (8 개 큐비트) 에서 **강화 학습 (RL)**이라는 AI 기술을 사용합니다.
  • AI 는 이 작은 공간에서 가장 효율적인 '2 큐비트 블록 (작은 레고 블록)' 하나를 찾아냅니다.
  • 이 블록은 나중에 어떤 큰 문제에도 쓸 수 있는 '만능 부품'처럼 설계됩니다.

• 단계 2: 거대한 건물 짓기 (배치)

  • 이제 실제 해결하고 싶은 거대한 문제 (12 개, 16 개 큐비트) 가 생겼다고 가정해 봅시다.
  • AI 가 다시 처음부터 회로를 설계할 필요 없습니다.
  • 대신, 작은 실험실에서 찾아낸 그 '만능 블록'을 문제의 구조에 맞춰 여러 번 복사해서 붙여주기만 하면 됩니다.
  • 마치 작은 레고 블록 하나를 설계해두고, 그걸로 작은 집, 중형 빌딩, 심지어 마천루까지 쌓아 올리는 것과 같습니다.

3. 왜 이 방법이 좋은가요? (비유로 설명)

비유: 요리사 vs 레시피

• 기존 방식: 매번 새로운 요리를 만들 때마다, 모든 재료를 다 사서 큰 부엌에서 실패를 반복하며 레시피를 새로 개발하려 합니다. 부엌이 너무 크면 (양자 컴퓨터가 크면) 재료를 사기도, 실험하기도 너무 비쌉니다.
• 이 논문의 방식: 작은 부엌에서 '최고의 소스 (블록)' 레시피를 먼저 개발합니다. 그 소스는 어떤 큰 요리에든 들어갈 수 있습니다. 이제 거대한 부엌 (큰 양자 컴퓨터) 에서 요리를 할 때는, 그 소스를 가져와서 재료만 섞으면 됩니다.

실제 성과:

• 효율성: AI 가 작은 공간에서 블록을 찾아낸 결과, 큰 문제에서도 매우 좋은 성능을 냈습니다.
• 안정성: 블록을 8 개 큐비트에서 학습했는데, 16 개 큐비트에서도 성능이 떨어지지 않았습니다. 즉, 작은 곳에서 배운 지식이 큰 곳에서도 통했다는 뜻입니다.
• 자원 절약: 기존 방식보다 회로의 깊이를 얇게 유지하면서도 좋은 결과를 얻어, 양자 컴퓨터의 오류를 줄이는 데도 도움이 됩니다.

4. 결론: 왜 이것이 중요한가?

이 연구는 "양자 컴퓨터가 커지면 고전 컴퓨터로는 더 이상 설계할 수 없다"는 딜레마를 **'모듈화'**라는 아이디어로 우회했습니다.

• 핵심 메시지: 우리는 거대한 양자 컴퓨터를 직접 설계할 필요 없이, 작은 컴퓨터에서 '유용한 부품'을 찾아낸 뒤, 그 부품을 조합해서 큰 문제를 풀면 됩니다.
• 의미: 이는 양자 컴퓨터가 실용화되는 과정에서, 고전적인 머신러닝이 어떻게 양자 워크플로우를 도와줄 수 있는지를 보여주는 중요한 첫걸음입니다.

한 줄 요약:

"양자 컴퓨터라는 거대한 건물을 짓기 위해, 우리는 거대한 설계도 대신 작은 공간에서 만든 '완벽한 레고 블록'을 찾아내어, 그걸로 큰 건물을 효율적으로 쌓아 올리는 방법을 개발했습니다."

기술 요약

1. 문제 정의 (Problem)

• 확장성 한계: 양자 아키텍처 검색 (QAS) 은 일반적으로 소규모 양자 시스템 (보통 10 큐비트 이하) 에서만 수행됩니다. 큐비트 수가 증가하면 양자 상태의 표현이 지수적으로 증가하여 고전적 머신러닝 모델이 학습 환경을 모델링하거나 시뮬레이션하는 것이 불가능해집니다.
• 학습 비용: 매번 새로운 문제 인스턴스에 대해 아키텍처와 파라미터를 동시에 최적화하는 것은 계산 비용이 너무 큽니다.
• 핵심 질문: 고전적 학습이 가능한 소규모 시스템에서 학습된 아키텍처 구조를 어떻게 더 큰 규모의 양자 문제에 효과적으로 확장 (Deploy) 할 수 있을까요?

2. 제안된 방법론 (Methodology)

저자들은 **RLVQC (Reinforcement Learning for Variational Quantum Circuits)**라는 강화학습 기반 프레임워크를 도입하여 QAS 를 순차적 의사결정 문제로 모델링했습니다. 핵심 아이디어는 모듈형 (Modular) Ansatz를 학습하여 재사용하는 것입니다.

A. 두 단계 프로세스

1. 구조 발견 단계 (Structure Discovery Phase):
   • 고전적 시뮬레이션이 가능한 소규모 시스템 (예: $n=8$ 큐비트) 에서 강화학습 에이전트가 **재사용 가능한 모듈형 회로 블록 (2 큐비트 블록)**을 학습합니다.
   • 에이전트는 현재 회로의 성능을 관찰하여 게이트를 추가하는 행동을 학습합니다.
   • 이 단계에서는 아키텍처의 구조를 최적화하지만, 구체적인 문제 인스턴스에 대한 파라미터 최적화는 별도로 수행됩니다.
2. 배포 단계 (Deployment Phase):
   • 학습된 모듈 블록을 명시적인 조합 규칙 (Composition Rule) 을 통해 더 큰 문제 (예: $n=12, 16$ 큐비트) 에 적용합니다.
   • QUBO (Quadratic Unconstrained Binary Optimization) 문제의 상호작용 구조 (그래프의 엣지) 에 따라 학습된 2 큐비트 블록을 반복적으로 배치하여 전체 Ansatz 를 구성합니다.

B. RLVQC 변형 및 파라미터 공유 전략

• RLVQC Block: 2 큐비트 모듈 블록만 학습합니다. 이는 QAOA 스타일의 구조를 따르며, 문제 변수 간의 상호작용에 따라 블록이 배치됩니다.
• RLVQC Global: 제약 없이 전체 회로를 직접 학습하는 기준선 (Baseline) 모델입니다.
• 파라미터 공유 전략 (Block 변형):
  • Agnostic: 모든 게이트가 독립적인 파라미터를 가짐 (ma-QAOA 와 유사).
  • Weighted: 게이트 파라미터가 QUBO 문제의 상호작용 계수 ($q_{ij}$) 로 스케일링됨.
  • Tied: 동일한 레이어 내의 블록들이 파라미터를 공유함 (기존 QAOA 와 유사, 파라미터 수 감소).

C. 강화학습 구성 요소

• 상태 (Observation): 전체 양자 상태의 확률 분포 (기저 상태 측정 결과의 빈도) 를 관찰 벡터로 사용 (실제 양자 하드웨어 시나리오 반영).
• 행동 (Action): 단일 게이트 (단일 큐비트 회전 또는 2 큐비트 게이트) 를 회로에 추가.
• 보상 (Reward): 해밀토니안 기대값 최소화 (에너지 감소) 와 회로 깊이 (Circuit Depth) 최소화를 동시에 고려.

3. 주요 기여 (Key Contributions)

1. 확장 가능한 Ansatz 설계 방법론: 소규모 인스턴스에서 모듈형 회로 블록을 학습하고, 이를 명시적인 조합 규칙을 통해 대규모 인스턴스에 재사용하는 구조 발견과 배포의 분리 전략을 제안했습니다.
2. RLVQC Block 도입 및 검증: 회로 탐색을 모듈형 블록 구조로 제한하는 것이 해의 품질을 해치지 않으며, 오히려 종종 더 유리함을 입증했습니다.
3. 크기 간 전이 학습 (Transferability) 입증: $n=8$에서 학습된 블록이 $n=12$ 및 $n=16$과 같은 더 큰 문제에서도 효과적으로 작동함을 보였습니다. 이는 고전적 학습이 불가능한 영역에서도 학습된 구조를 활용할 수 있음을 의미합니다.

4. 실험 결과 (Results)

실험은 최대 절단 (Max Cut), 최대 클릭 (Max Clique), 최소 정점 덮개 (Min Vertex Cover) 문제를 기반으로 한 QUBO 인스턴스에서 수행되었습니다.

• 구조의 효과성 (Experiment 1):

  • 성능: $n=16$ 큐비트에서 RLVQC Block은 제약 없는 RLVQC Global보다 더 높은 근사 비율 (Approximation Ratio) 을 달성했습니다. 특히 Max Cut 과 Min Vertex Cover 문제에서 표준 QAOA 보다 우수한 성능을 보였습니다.
  • 이유: Global 모델은 탐색 공간이 너무 넓고 회로 깊이가 제한적이었으나, Block 모델은 문제의 국소적 상호작용 구조를 반영하여 더 효율적인 탐색이 가능했습니다.
  • 회로 효율성: RL 기반 모델들은 표준 QAOA 에 비해 CX 게이트 (2 큐비트 게이트) 사용량을 크게 줄였으며, 이는 노이즈가 있는 양자 하드웨어 (NISQ) 에 매우 유리합니다.

• 확장성 검증 (Experiment 2):

  • $n=8$에서 학습된 블록을 $n=12, 16$으로 확장했을 때, 해의 품질이 안정적으로 유지되었습니다.
  • Tied 파라미터 공유 전략은 적은 파라미터 수로도 QAOA 와 ma-QAOA 보다 우수한 성능을 보여주었으며, 파라미터 최적화 수렴 속도가 빨랐습니다.
  • 통계적 유의성 검정 (Wilcoxon signed-rank test) 을 통해 제안된 방법이 QAOA 및 ma-QAOA 기준선보다 일관되게 우월함을 확인했습니다.

5. 의의 및 결론 (Significance)

• 실용적 가치: 이 연구는 양자 컴퓨팅이 유망한 영역 (큐비트 수가 많아 고전적 시뮬레이션이 불가능한 영역) 에 도달하기 전에, 고전적 머신러닝을 통해 재사용 가능한 회로 구조를 미리 학습할 수 있음을 증명했습니다.
• 방법론적 혁신: 아키텍처 검색의 확장성 문제를 해결하기 위해 "학습 (Discovery)"과 "적용 (Deployment)"을 분리한 모듈형 접근법은 향후 양자 알고리즘 설계의 새로운 패러다임을 제시합니다.
• 한계 및 미래 작업: 현재는 조합 최적화 문제에 국한되었으나, 상태 준비 (State Preparation) 등 다른 작업으로 확장 가능할 것으로 기대됩니다. 또한, 더 복잡한 조합 규칙이나 하드웨어 제약 조건을 고려한 보상 함수 설계가 향후 연구 과제로 남았습니다.

요약하자면, 이 논문은 양자 회로 설계의 확장성 병목 현상을 해결하기 위해, 소규모 시스템에서 강화학습을 통해 모듈형 블록을 학습하고 이를 대규모 문제로 확장하는 성공적인 프레임워크를 제시했습니다. 이는 고전적 계산이 불가능한 영역에서도 머신러닝 기반의 양자 알고리즘 설계를 가능하게 하는 중요한 단계입니다.