⚛️ quantum physics

Post-Error Correction for Quantum Annealing Processor using Reinforcement Learning

원저자: Tomasz Śmierzchalski, Łukasz Pawela, Zbigniew Puchała, Tomasz Trzciński, Bartłomiej Gardas

게시일 2026-06-24

📖 4 분 읽기🧠 심층 분석

원저자: Tomasz Śmierzchalski, Łukasz Pawela, Zbigniew Puchała, Tomasz Trzciński, Bartłomiej Gardas

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: 노이즈가 있는 양자 기계

당신에게 세상에서 가장 어려운 퍼즐을 풀도록 설계된 초고성능 하이테크 로봇(양자 어닐러, Quantum Annealer)이 있다고 상상해 보세요. 이 퍼즐들은 거대하고 안개가 자욱한 산맥에서 가장 낮은 지점(문제의 "바닥 상태", ground state)을 찾는 것과 같습니다.

하지만 이 로봇은 완벽하지 않습니다. 실제 물리적인 기계이기 때문에 "노이즈"가 발생하여 실수를 저지르곤 합니다. 로봇은 종로 근처에 더 깊은 골짜기가 실제로 존재함에도 불구하고, 그저 작은 골짜기에 멈춰 서서 그곳이 바닥이라고 착각하곤 합니다. 이 논문의 목표는 로봇의 "실수"를 관찰하고 이를 수정하여, 솔루션을 더 낮은 에너지 상태로 밀어 넣을 수 있는 스마트한 조수를 만드는 것입니다.

문제점: "안개 낀 산"

로봇이 풀려고 하는 구체적인 퍼즐은 **이징 스핀 글래스(Ising Spin-Glass)**라고 불립니다.

비유: 수많은 전등 스위치(스핀)가 있는 거대한 격자판을 상상해 보세요. 각 스위치는 ON(+1) 또는 OFF(-1) 상태입니다.
규칙: 어떤 스위치들은 이웃한 스위치와 같은 상태가 되길 원하고, 어떤 것들은 다른 상태가 되길 원합니다. 또한 특정 방향으로 스위치를 밀어내는 "바람"의 힘(자기장)도 존재합니다.
목표: 에너지를 가장 적게 사용하는 단 하나의 특정 스와치 배열을 찾아내는 것입니다.
문제점: 이것은 NP-hard 문제로, 완벽하게 해결하기가 믿기 힘들 정도로 어렵습니다. 양자 로봇은 이 배열을 찾으려 노력하지만, 종종 "로컬 미니멈(local minimum)"—즉, 실제 바닥은 아니지만 마치 바닥처럼 보이는 얕은 웅덩이—에 갇히게 됩니다.

해결책: 강화 학습을 사용하는 "코치"

저자들은 **SAwR(Simulated Annealing with Reinforcement)**이라는 새로운 방법을 만들었습니다. 이것을 운동선수(양자 로봇)의 기량을 향상시키도록 돕는 스포츠 코치라고 생각하면 됩니다.

선수 (양자 어닐러): 먼저 경주를 완주하고 당신에게 결승 시간(솔루션)을 알려줍니다. 실력은 좋지만, 최선은 아닐 수도 있습니다.
코치 (강화 학습): 결승선을 보고 이렇게 말합니다. "이봐, 이 특정 스위치를 살짝 조정하면 더 빨리 달릴 수 있어."
훈련: 코치는 수천 개의 작은 퍼즐을 통해 학습된 컴퓨터 프로그램(그래프 신경망, GNN)입니다. 코치는 다음과 같은 전략을 학습합니다: "이런 형태의 스위치 패턴을 보면, 저 스위치를 뒤집는 것이 보통 더 나은 결과를 가져온다."

"코치"의 작동 방식 (DIRAC 아키텍처)

이 논문은 DIRAC라는 특정 AI 아키텍처를 사용합니다. 이 구조가 어떻게 퍼즐을 AI가 이해할 수 있는 형태로 변환하는지는 다음과 같습니다.

인코딩 (지도): AI는 퍼즐을 하나의 지도로 봅니다. 스위치들은 "도시"(노드)이고, 이들을 연결하는 규칙들은 "도로"(엣지)입니다. AI는 이 도시 전체의 정신적 지도를 그립니다.
전략 (Q-값): AI는 가능한 모든 움직임에 대해 "점수"(Q-value)를 계산합니다. AI는 스스로에게 묻습니다. "만약 내가 5번 스위치를 뒤집는다면, 점수가 얼마나 좋아질까?"
행동: 무작위로 스위치를 뒤집는 대신, AI는 가장 높은 점수를 가진 움직임을 선택하여 해당 스위치를 뒤집습니다. AI는 더 이상의 개선을 찾을 수 없을 때까지 이 과정을 한 단계씩, 차근차근 수행합니다.

하이브리드 접근 방식: SAwR

저자들은 단순히 AI만을 사용한 것이 아니라, **시뮬레이티드 어닐링(Simulated Annealing)**이라는 전통적인 방법(뜨거운 금속을 천천히 식혀 구조를 고정하는 것과 유사함)과 혼합했습니다.

과정: 우리는 양자 로봇의 솔루션에서 시작합니다. 그 후 "시뮬레이티드 어닐링" 과정이 실행되도록 하는데, 이 과정은 보통 나쁜 지점에서 벗어나기 위해 무작위 추측을 포함합니다.
반전: 과정이 "차가워지면"(끝부분에 도달하여 무작위 추측이 덜 효과적인 시점), 우리는 무작위 추측을 AI 코치의 단 하나의 최선의 추측으로 교체합니다. AI는 솔루션을 한 번 훑으며 가장 유망한 스위치들을 뒤집어 마지막 남은 에너지 절감 효과를 짜냅니다.

결과: 좋은 소식, 나쁜 소식

저자들은 실제 D-Wave 양자 컴퓨터(2000Q 모델)에서 이를 테스트했습니다.

좋은 소식 (확장성): 이 방법은 확장성이 매우 뛰어납니다. AI를 작은 퍼즐(예: 3x3 격자)로 훈련시켰음에도 불구하고, 거대한 퍼즐(16x16 격자)의 솔루션을 수정하는 데 성공적으로 적용했습니다. AI는 크기가 커졌다고 해서 혼란을 겪지 않았으며, 동일한 논리를 적용했습니다.
나쁜 소식 (성능): AI가 생으로 된 양자 로봇보다 더 나은 솔루션을 찾아내긴 했지만, 기존의 표준 "시뮬레이티드 어닐링" 알고리즘 자체를 이기지는 못했습니다.
- AI 단독 접근 방식(스핀을 한 번만 뒤집는 방식)은 사실 성능이 상당히 낮았습니다(성공률 약 1%).
- 하이브리드 접근 방식(SAwR)은 일부 사례에서 표준 시뮬레이티드 어닐링보다 약간 더 나았지만, 그 차이는 매우 작았으며 통계적으로 유의미하지 않았습니다.

결론

이 논문은 본질적으로 "개념 증명(Proof of Concept)"입니다. 이 논문은 다음을 보여줍니다:

양자 컴퓨터의 오류를 수정하기 위해 강화 학습을 사용할 수 있습니다.
작은 문제로 훈련하여 큰 문제에 적용할 수 있습니다 (훌륭한 확장성).
하지만, 현재 이 화려한 AI 방법은 우리가 이미 가지고 있는 더 단순하고 오래된 수학적 방법들보다 실제로 더 낫지는 않습니다.

저자들은 이 특정 접근 방식이 아직 승자가 되지는 못했을지라도, AI를 사용하여 양자 오류를 수정하는 아이디어는 양자 컴퓨터가 점점 더 복잡해짐에 따라 미래 연구를 위한 유망한 경로임을 결론지었습니다.

기술 요약: 강화 학습을 이용한 양자 어닐링 프로세서의 사후 오류 교정

문제 정의
이징 스핀 글래스(Ising spin-glass)의 바닥 상태(ground state)를 찾는 것은 응집 물질 물리학의 근본적인 NP-난해(NP-hard) 문제이며, 외판원 문제(travelling salesman problem) 및 단백질 구조 예측을 포함한 조합 최적화 분야에 폭넓게 적용됩니다. 양자 어닐링(QA)은 이차 무제약 이진 최적화(QUQUBO) 문제를 해결하는 데 적합한 패러다임이지만, 상용 기기(특히 D-Wave 2000Q)는 고유한 오류를 겪습니다. 여기에는 결맞음 해제(decoherence)를 유발하는 열 잡음과 결합 계수( $J_{i,j}$ ) 및 바이어스( $h_i$ )의 프로그래밍 제어 오류가 포함됩니다. 결과적으로, QA는 진정한 저에너지 바닥 상태를 찾는 데 실패하는 경우가 많으며, 이는 어닐러가 출력한 상태의 에너지를 낮추기 위한 사후 처리 오류 교정 체계를 필요로 합니다.

방법론
저자들은 **SAwR(Simulated Annealing with Reinforcement)**이라 불리는 사후 처리 프레임워크를 제안합니다. 이 접근 방식은 딥 강화 학습(RL)과 고전적 시뮬레이티드 어닐링(SA)을 결합하여, 전통적인 양자 오류 교정(논리적 큐비트당 여러 개의 물리적 큐비트를 요구하는 방식)과 달리 오버헤드 없이 QA 출력의 오류를 교정합니다.

강화 학습 정식화:
- 상태 ( $s$ ): 스핀 구성 $\sigma$ , 결합 강도 $\{J_{i,j}\}$ , 외부 자기장 $\{h_i\}$ 를 포함하는 이징 인스턴스를 나타냅니다.
- 행동 ( $a$ ): 단일 스핀 $i$ 를 뒤집는 것(스핀 $\sigma_i$ 를 $+1$ 에서 $-1$로 또는 그 반대로 변경). 각 스핀은 에피소드당 최대 한 번만 뒤집힐 수 있습니다.
- 보상 ( $r$ ): 스핀 플립으로 인한 에너지 변화( $\Delta E$ ).
- 목표: 에이전트는 기대 수익을 최대화하는 정책을 학습하며, 이는 효과적으로 스핀을 순차적으로 뒤집어 더 낮은 에너지 상태에 도달하는 전략을 학습하는 것입니다.
모델 아키텍처 (DIRAC 기반):
시스템은 이징 인스턴스를 인코딩하기 위해 DIRAC 아키텍처를 기반으로 한 그래프 신경망(GNN)을 활용합니다.
- 인코딩: 이징 인스턴스는 결합이 엣지 가중치이고 스핀/바이어스가 노드 가중치인 그래프로 취급됩니다. 수정된 스핀 글래스 신경망(SGNN)은 엣지 중심 및 노드 중심 업데이트를 통한 메시지 전달을 수행하여, 각 노드(스핀)와 전역 상태에 대한 저차원 벡터 임베딩을 생성합니다.
- 디코딩: 피드포워드 신경망은 상태 임베딩과 특정 행동 임베딩(노드)의 결합을 입력받아, 해당 스핀을 뒤집었을 때의 기대 미래 보상을 추정하는 Q-값을 출력합니다.
SAwR 절차:
알고리즘은 표준 시뮬레이티드 어닐링으로 시작합니다. 온도가 낮아짐에 따라, 메트로폴리스-헤이스팅스 기준(에너지를 증가시키는 움직임을 확률적으로 허용하는 기준)은 학습된 RL 에이전트의 단일 패스로 대체됩니다. 에이전트는 가장 높은 Q-값을 기준으로 뒤집을 스핀을 선택하며, 각 단계 이후의 에너지 상태를 기록합니다. 최종 솔루션은 이 과정 동안 발견된 가장 낮은 에너지 상태로 정의됩니다.

주요 기여

새로운 사후 처리 체계: QA 오류를 교정하기 위해 딥 RL을 시뮬레이티드 어닐링과 통합하는 SAwR을 도입했습니다.
확장성: 본 방법은 우수한 확장성을 보여줍니다. 모델은 작은 Chimera 인스턴스(구체적으로 $C_3$ , 72 스핀)에서 학습되었으며, GNN의 그래프 수준 인코딩 능력을 활용하여 재학습 없이 훨씬 더 큰 인스턴스( $C_{16}$ , 2048 스핀)에 성공적으로 배치되었습니다.
아키텍처 적응: D-Wave 2000Q Chimera 그래프의 특정 제약 조건과 토폴로지에 맞게 DIRAC 아키텍처를 적응시켰습니다.

실험 결과
저자들은 네 가지 Chimera 크기( $C_4$ ~ $C_{16}$ )에 걸친 500개의 무작위 이징 인스턴스에 대해 SAwR을 표준 시뮬레이티드 어닐링 및 단일 패스 스핀 플리핑 절차(RL 모델 단독 동작)와 비교 평가했습니다.

성공 확률: SAwR은 표준 시뮬레이티드 어닐링에 비해 더 낮은 에너지 상태를 찾는 확률을 보였습니다. 이러한 차이는 모든 시스템 크기에서 일관되게 나타났으며, 이는 무작위 변동이 아닌 체계적 변동임을 시사합니다.
개선 폭: 평균적으로 SAwR은 표준 SA보다 더 나은 저에너지 상태를 찾을 수 있었으나, 그 차이는 통계적으로 유의미하지 않았습니다.
단일 패스 성능: 단독 RL 에이전트(단일 패스 스핀 플리핑)는 약 1%의 성공률만을 달성하며 저조한 성능을 보였으며, 이는 시뮬레이티드 어닐링의 광범위한 탐색 능력과 결합된 RL의 필요성을 강조합니다.

의의 및 주장
본 논문은 SAwR을 강화 학습이 양자 어닐러 출력을 교정하는 데 적용될 수 있음을 보여주는 "개념 증명(proof-of-concept)"으로 규정합니다. 저자들은 SAwR의 성능이 표준 시뮬레이티드 어닐링과 같은 일반적인 알고리즘보다 현재 열등함을 명시적으로 인정합니다.

의의는 즉각적인 성능 우위에 있는 것이 아니라, 확장성과 RL을 사후 오류 교정에 사용하는 것의 타당성을 입증했다는 점에 있습니다. 저자들은 이전의 DIRAC 연구에서 사용된 규칙적인 격자(lattice)와 비교하여, 실제 Chimera 그래프의 복잡성이 성능 격차에 기여했을 가능성이 높다고 언급합니다. 그들은 현재의 결과가 미미할지라도, 강화 학습을 사후 오류 교정에 사용하는 것은 여전히 "열려 있고 유망한 연구 분야"라고 결론지으며, 특히 D-Wave 시스템이 Pegasus나 Zephyr와 같은 더 복잡한 토폴로지로 진화함에 따라 더욱 그러할 것이라고 덧붙였습니다. 향후 연구 과제로 인코더와 디코더 학습의 분리, 또는 비동기 방식이나 몬테카를로 트리 탐색(MCTS)과 같은 대안적 RL 알고리즘의 탐색을 제안했습니다.