⚛️ quantum physics

Designing Quantum Error Correcting Codes to fit decoders via Reinforcement Learning

이 논문은 근사 정책 최적화(Proximal Policy Optimization)를 사용하여 이변량 바이시클래식(Bivariate Bicycle) 양자 오류 정정 부호와 그 디코더를 공동 설계함으로써, 탈분극 노이즈(depolarizing noise) 하에서 디코더 성능을 극대화하도록 부호 생성 과정을 최적화하는 강화 학습 프레임워크를 제시한다.

원저자: Omer S. Sella, Robert Pinsler, Thomas Heinis

게시일 2026-08-18

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Omer S. Sella, Robert Pinsler, Thomas Heinis

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

양자 역학의 기묘한 법칙을 사용하여 문제를 해결하는 컴퓨터를 구축하는 것은 시간 및 노이즈와의 싸움입니다. 이러한 기계에서 정보는 큐비트라고 불리는 아주 작은 입자에 저장되는데, 이들은 믿을 수 없을 정도로 취약합니다. 열기의 속삭임이나 떠도는 자기장조차도 그들이 보유한 데이터를 오염시켜 계산을 쓰레기로 만들 수 있습니다. 이를 막기 위해 과학자들은 양자 오류 정정이라는 기술을 사용합니다. 그들은 많은 물리적 큐비트를 가져와 서로 연결하여 하나의 더 안정적인 정보 단위인 논리적 큐비트를 형성합니다. 이 과정은 마치 안전망을 짜는 것과 같습니다. 한 가닥이 끊어지더라도 다른 가닥들이 구조를 유지해 줍니다. 하지만 이 망이 제대로 작동하려면, 기계는 실수를 끊임없이 확인하고 새로운 실수가 나타나는 것보다 더 빠르게 수정해야 합니다. 이를 위해서는 두 가지 요소가 완벽한 조화를 이루어야 합니다. 바로 큐비트가 어떻게 연결되는지를 정의하는 코드와, 무엇이 잘못되었고 어떻게 고쳐야 하는지를 파악하는 빠른 컴퓨터 프로그램인 디코더입니다. 만약 코드가 디코더가 처리하기에 너무 복잡하거나 디코더가 너무 느리다면, 전체 시스템은 실패하게 됩니다.

수년 동안 연구자들은 이러한 코드의 설계와 디코더의 설계를 별개의 과제로 취급해 왔습니다. 그들은 코드를 만든 다음, 그것을 읽을 수 있는 디코더를 찾으려 하거나 그 반대로 했습니다. 하지만 이러한 접근 방식은 종로히 빗나가는 경우가 많은데, 왜냐하면 디코더의 성능은 그것이 읽는 특정 코드의 구조에 크게 의존하기 때문입니다. 한 종류의 코드에는 잘 작동하는 디코더가, 두 코드가 종이 위에서는 비슷해 보일지라도 다른 종류의 코드에는 어려움을 겪을 수 있습니다. 이 새로운 연구를 이끄는 핵심 질문은 간단합니다. 만약 우리가 특정 디코더가 정확히 어떻게 작동하는지 안다면, 그 디코더가 최상의 성능을 낼 수 있도록 특별히 설계된 코드를 만들 수 있을까? 임페리얼 칼리지 런던과 마이크로소프트 리서치의 연구진은 코드의 생성을 정적인 청사진이 아니라 작은 순차적 선택들의 여정으로 취급함으로써 이 질문에 답하고자 했습니다.

이를 해결하기 위해 연구팀은 강화 학습이라 불리는 인공지능의 한 분야를 활용했습니다. 플레이어가 규칙을 듣고 배우는 것이 아니라, 다양한 움직임을 시도하고 그 결과를 보면서 어떤 경로가 가장 높은 점수로 이어지는지를 천천히 알아내며 승리하는 법을 배우는 비디오 게임을 상상해 보십시오. 이 연구에서 '플레이어'는 인공 에이전트이며, '게임'은 양자 오류 정정 코드를 구축하는 것입니다. 에이전트는 백지 상태에서 시작하여 코드를 정의하는 수학적 구조에 일련의 미세한 조정을 가합니다. 각 작은 변화 후에, 에이전트는 시뮬레이션된 노이즈에 대해 새 코드가 얼마나 잘 대처하는지 확인하기 위해 특정 디코더로 테스트합니다. 만약 코드가 더 잘 작동한다면, 에이전트는 보상을 받고 그런 종류의 변화를 반복하는 법을 배웁니다. 만약 성능이 떨어진다면, 에이전트는 그러한 변화를 피하는 법을 배웁니다. 수천 번의 시도에 걸쳐, 에이전트는 자신과 짝을 이룬 디코더에 완벽하게 조정된 코드를 구축하는 전략을 학습합니다.

연구진은 바이바리엇 바이크클(bivariate bicycle) 코드라고 알려진 특정 코드 군에 집중했습니다. 이것은 네 개의 단순한 수학적 다항식을 사용하여 설명할 수 있는 양자 코드의 일종입니다. 에이전트는 큐비트의 수십억 가지 가능한 배열을 검색하는 대신, 이 네 개의 다항식 중 어떤 계수를 바꿀지만 결정하면 되었습니다. 덕분에 탐색 공간은 관리 가능한 수준이 되었습니다. 에이전트는 근사 정책 최적화(Proximal Policy Optimization)라는 방법으로 훈련되었는데, 이는 학습 과정이 안정적이고 효율적이도록 보장합니다. 목표는 코드의 전반적인 건강 상태를 나타내는 단일 숫자, 즉 다양한 노이즈 수준에서 코드가 얼마나 자주 실패하는지를 나타내는 곡선 아래의 면적을 최대화하는 것이었습니다. 면적이 클수록 코드는 더 견고하며, 환경이 노이즈가 심할 때도 낮은 오류율을 유지함을 의미합니다.

결과는 이 접근 방식이 효과적임을 보여주었습니다. 에이전트는 동일한 디코더에 대해 기존에 수동으로 설계된 벤치마크보다 뛰어난 성능을 보이는 새로운 코드를 생성하는 데 성공했습니다. 108개의 물리적 큐비트를 가진 특정 코드 사례에서, 에이전트는 해당 크기에 대해 이전에 알려진 가장 좋은 코드보다 더 높은 성능 점수를 달리는 구성을 찾아냈습니다. 이 연구는 단순히 운 좋게 하나의 코드를 찾아낸 것이 아니라, 많은 고성능 코드를 생성하는 데 사용할 수 있는 정책, 즉 일련의 규칙을 만들어냈습니다. 연구진은 또한 에이전트가 무작위의 엉망인 코드에서 시작하여, 작고 의도적인 단계들을 통해 매우 효율적인 구조로 정제할 수 있다는 것을 발견했습니다. 이는 코드와 디코더 사이의 관계가 고정된 것이 아니라, 반복적인 개선 과정을 통해 최적화될 수 있음을 시사합니다.

연구의 핵심 부분은 에이전트에게 자신이 구축하고 있는 코드의 구조를 이해하도록 가르치는 것이었습니다. 연구진은 코드의 수학적 설명을 보고 그것이 완전히 테스트되기도 전에 얼마나 잘 작동할지 예측할 수 있는 특수한 신경망 구성 요소를 설계했습니다. 이 구성 요소는 지름길 역할을 하여, 무엇이 좋은 코드인지에 대한 예비 지식을 제공함으로써 에이전트가 더 빨리 학습하도록 도왔습니다. 연구진은 작은 규모의 코드로 이 구성 요소를 훈련시킨 후, 본 적 없는 훨씬 큰 규모의 코드를 설계하는 데 도움이 되는지 테스트했습니다. 결과는 엇갈렸지만 유망했습니다. 이 구성 요소는 다양한 크기에 걸쳐 코드의 정보 단위 수를 상당히 정확하게 예측할 수 있었지만, 정확한 오류 성능을 예측하는 것은 더 어려웠습니다. 이러한 긴장 관계는 에이전트가 좋은 코드의 구조적 규칙은 학습할 수 있지만, 최종적인 성능은 일반화하기 어려운 미묘한 세부 사항에 달려 있음을 시사합니다.

본 논문은 현재 접근 방식의 한계점도 강조합니다. 훈련은 실제 양자 하드웨어가 아닌 노이즈 시뮬레이션을 사용하여 수행되었습니다. 시뮬레이션은 오류가 발생하는 현실적인 모델을 기반으로 하지만, 실제 세상은 훨씬 더 복잡합니다. 연구진은 현재의 방식이 모든 큐비트에 균등하게 영향을 미치는 특정 유형의 노이즈를 가정하고 있다고 언급했는데, 실제 양자 장치는 서로 다른 오류 패턴을 가질 수 있습니다. 또한, 이 연구는 고정된 디코더 아키텍처에 초점을 맞추었습니다. 향후 연구진은 이 방법을 확장하여 코드와 디코더를 동시에 설계함으로써, 두 부분이 함께 진화하며 문제를 더 효율적으로 해결하는 시스템을 만들기를 희망합니다. 그들은 또한 이 방법이 다른 유형의 양자 코드와 다른 노이즈 환경에도 적용될 수 있으며, 잠재적으로 미래의 더 신뢰할 수 있는 양자 컴퓨터를 구축하는 데 도움이 될 수 있다고 밝혔습니다.

궁극적으로, 이 작업은 양자 오류 정정 코드의 설계가 정적이고 수동적인 과정일 필요가 없음을 보여줍니다. 인공지능을 사용하여 가능한 코드의 방대한 영역을 탐색함으로써, 연구자들은 자신이 가진 특정 도구에 더 잘 맞는 솔루션을 찾을 수 있습니다. 이 연구는 코드와 디코더가 공동 설계될 때, 그 결과물이 더 탄력적인 시스템이 된다는 것을 보여줍니다. 이는 확장 가능한 양자 컴퓨터를 구축하려는 노력에 있어 중요한 진전이며, 올-적절한 조합의 코드와 디코더가 취약한 양자 상태를 견고한 계산 도구로 바꿀 수 있음을 증명합니다. 이 발견은 결함 허용 양자 컴퓨팅으로 가는 길이 더 나은 하드웨어뿐만 아니라, 자신이 운반하는 정보를 보호하는 법을 배우는 더 똑똑하고 적응력 있는 소프트웨어에 달려 있을 수 있음을 시사합니다.

기술 요약: 강화 학습을 통한 디코더 최적화 맞춤형 양자 오류 정정 코드 설계

1. 문제 정의

양자 오류 정정 코드(QECC)의 설계와 그에 대응하는 디코더의 설계는 전통적으로 별개의 문제로 취급되어 왔다. 그러나 특정 디코더—특히 최대 우도(Maximum Likelihood, ML) 디코딩의 휴리스틱 및 근사 기법인 신념 전파(Belief Propagation, BP)와 순서 통계 디코딩(Ordered Statistics Decoding, OSD)을 사용하는 디코더—의 성능은 코드의 구조적 특성에 크게 의존한다.

본 연구가 다루는 핵심 문제는 다음과 같다: 고정된 디코더 아키텍처와 특정 노이즈 모델이 주어졌을 때, 어떻게 디코더의 성능을 극대화할 수 있는 QECC를 설계할 것인가? 저자들은 특히 결함 허용 양자 컴퓨팅(fault-tolerant quantum computing)에서 전형적으로 나타나는 엄격한 시간 제약(지연 시간 제한) 하에서 작동해야 하는 디코더의 경우, 코드 설계와 디코더 설계가 독립적이지 않다고 주장한다. 목표는 데폴라이징 채널(depolarizing channel) 하에서 논리적 오류율을 최적화하도록 코드의 안정자 집합(stabilizer sets)과 디코더를 공동 설계(co-design)하는 것이다.

2. 방법론

2.1 순차적 의사결정 문제로의 정식화

저자들은 코드 설계 문제를 강화 학습(RL), 구체적으로는 근사 정책 최적화(Proximal Policy Optimisation, PPO)를 사용하여 해결하는 마르코프 결정 과정(MDP)으로 프레임워크를 구성한다.

상태 ( $s$ ): 현재 상태는 이변량 바이시클(Bivariate Bicycle, BB) 코드의 패리티 검사 행렬 $H_X$ 및 $H_Z$ 로 정의된다. 이 행렬들은 네 개의 다항식 $a(x), b(x), a(y), b(y)$ 로부터 유도된다.
행동 ( $a$ ): 행동은 이 다항식들의 계수를 수정하는 것으로 구성된다. 구체적으로, 에이전트는 네 개의 다항식 중 하나의 계수를 선택하여 그 이진 값을 반전(XOR with 1)시킨다. 이를 통해 에이전트는 기존 코드를 반복적으로 "편집"할 수 있다.
에피소드 구조: 에피소드는 무작위 다항식(0이 아닌 계수가 3개인 경우까지)에서 시작하여 고정된 단계 수( $T=30$ ) 동안 진행된다. 낮은 오류율에서의 샘플링 노이즈로 인해 에이전트가 국소 최적해(local optima)나 "평범한" 코드에 갇히는 것을 방방지하기 위해, 에피소드는 $O(l+m)$ 단계 후에 중단된다.

2.2 보상 함수

보상은 디코더의 성능으로부터 유도되는 단일 스칼라 값이다.

몬테카를로 평가: 주어진 코드와 디코더에 대해, 시스템은 기하학적 범위의 물리적 오류율( $p \in [0.001, 0.1]$ )에 걸쳐 오류를 시뮬레이션한다.
논리적 오류율 곡선: 시뮬레이션은 물리적 오류율에 따른 논리적 오류율 곡선을 생성한다.
적분: 보상은 물리적 오류율에 대한 $(1 - \text{logical\_error\_rate})$ 의 곡선 아래 면적으로 계산된다. 이는 전체 범위에 걸친 성능을 통합한다.
논리 큐비트 제약 조건: 에이전트가 사소한 코드(예: 논리 큐비트가 0인 코드)를 최적화하는 것을 방지하기 위해, 논리 큐비트 수 $k$ 가 최소 임계값 $k_{min}$ 미만으로 떨어지면 보상에 페널티를 부여한다. 만약 $k < k_{min}$ 이면 보상은 결손에 대한 결정론적 함수가 되며, 그렇지 않으면 통합된 성능 지표를 사용한다.

2.3 정책 아키텍처

신경망 아키텍처는 가변적인 크기의 코드를 처리하면서 BB 코드의 특정 구조를 활용하도록 설계되었다.

다중 분기 입력: 네트워크는 세 가지 별도의 입력을 처리한다:
1. MLP 분기: 평탄화된 패리티 검사 행렬 $H_X, H_Z$ (코드 구조에 대한 완전한 가시성 제공).
2. 인코더 분기: 다항식 계수를 처리하는 트랜스포머 기반 인코더. 이 분기는 BB 코드 구성의 순환적 성질( $x^l = y^m = I$ )을 존중하기 위해 순환적 위치 인코딩(Fourier basis)을 사용한다. 이 분기는 크기 전이(size-transferable)가 가능하도록 설계되었다.
3. 논리 큐비트 특징: 에이전트가 유효하지 않거나 최적이 아닌 코드 차원을 즉각적으로 인식할 수 있도록 돕는 명시적인 $k$ 관련 입력.
융합 및 헤드: 이러한 분기들은 융합되어 별도의 "Actor"(정책) 및 "Critic"(가치) 헤드로 전달된다. Actor는 네 가지 다항식 각각에 대한 계수 반전에 대한 범주형 분포를 출력한다.

2.4 사전 훈련 및 웜 스타트(Warm-Start)

샘플링 효율성을 높이기 위해 저자들은 "웜 스타트" 전략을 채택한다.

대리 모델(Surrogate Model): 인코더 분지는 평가된 대규모 BB 코드 데이터셋을 사용하여 지도 학습 방식으로 사전 훈련된다. 사전 훈련 작업은 다중 작업(multi-task)으로, 다항식 계수로부터 논리적 오류율 곡선과 논리 큐비트 수 $k$ 를 직접 예측하는 것이다.
전이(Transfer): 이 사전 훈련된 인코더의 가중치는 동결되어 RL 에이전트의 인코더를 초기화하는 데 사용된다. 이는 RL 훈련이 시작되기 전에 에이전트에게 코드 성능에 대한 잠재적 표현(latent representation)을 제공한다.

3. 주요 기여

공동 설계 프레임워크: QECC 설계를 정적인 최적 코드 파라미터 탐색이 아니라, 특정 디코더에 맞춘 순차적 의사결정 문제로 취급하는 새로운 RL 프레임워크를 제시한다.
BB 코드를 위한 생성적 정책: 기존 코드를 반복적으로 수정함으로써 이변량 바이시클 코드를 생성하는 생성 모델을 개발하여, 기존 코드를 최적화할 수 있게 한다.
크기 전이가 가능한 인코더: 순환적 위치 인코딩을 사용하는 트랜스포머 기반 인코더를 설계하여, 모델이 다양한 코드 크기( $l, m$ )에 대해 전이 가능한 표현을 학습할 수 있게 함으로써 표준 MLP의 확장성 문제를 해결한다.
대리 모델 기반 RL: 성능 곡선과 논리 큐비트 수를 예측하는 지도 학습 기반의 사전 훈련 단계를 통합하여, RL 에이전트의 탐색 과정을 가이드하고 효율성을 크게 향 개선한다.

4. 결과

성능 향상: 훈련된 정책은 통합 보상 지표 측면에서 발표된 참조 BB 코드(예: $l=9, m=6$ 파라미터에 대해)보다 뛰어난 성능을 보이는 코드를 성공적으로 발견한다.
학습 역학: 훈련 과정을 분석하면 에이전트가 "페널티 영역"(불충분한 논리 큐비트를 가진 코드)을 피하는 법을 배우고, 고성능 코드로 수렴한다는 것을 알 수 있다. 평가 보상의 "80% 밴드"가 시간이 지남에 따라 좁아지는 것은 에이전트가 지속적으로 더 나은 코드를 찾아내고 있음을 나타낸다.
외삽 한계: 사전 훈련된 인코더가 본 적 있는 코드 크기에 대해서는 $k$ 예측과 곡선 예측 모두 성공적이지만, 본 논문은 보지 못한 크기로의 외삽(extrapolation)에 대한 긴장 관계를 언급한다. $k$ -예측과 곡선-예측 오차 사이의 순위 상관관계가 보지 못한 크기에 대해 음수가 되는 것은, 인코더가 구조적 특징은 학습하지만 완전히 다른 코드 차원 간의 성능 예측을 완벽하게 일반화하는 데는 여전히 어려움이 있음을 시사한다.
효율성: 웜 스타트 전략과 특정 행동 공간(단일 계수 반전)의 사용은 에이전트가 무작위 탐색이나 표준 진화 전략보다 더 효과적으로 탐색 공간을 항해할 수 있게 하지만, 몬테카를로 평가의 계산 비용이 여전히 주요 병목 구간으로 남는다.

5. 의의 및 주장

본 논문은 고정된 디코더와 특정 노이즈 모델에 맞춰 더 나은 QECC-디코더 쌍을 어떻게 엔지니어링할 것인가라는 질문에 대한 "진전"을 제시한다고 겸허하게 주장한다. 이는 모든 하드웨어 및 노이즈 모델에 대한 일반적인 QECC 설계 문제를 해결한다고 주장하는 것이 아니다.

구체적 유용성: 본 연구는 고정된 디코더(BP+OSD)와 특정 노이즈 모델(depolarizing)이 주어졌을 때, RL 에이전트가 BB 코드를 반복적으로 개선할 수 있음을 입증한다.
미래 방향: 저자들은 이 작업을 생성적 정책이 하드웨어 백엔드 및 특정 오류 특성의 변화에 발맞추어 컴파일된 양자 알고리즘을 최적화할 수 있는 더 넓은 비전의 한 단계로 위치시킨다.
한로(Limitations): 저자들은 현재 접근 방식이 코드 용량 노이즈 모델(독립적인 데폴라이징 노이즈)에 국한되어 있으며, 회로 수준의 노이즈, 격자 절단(lattice surgery) 제약 또는 디코더 파라미터의 동시 최적화를 아직 고려하지 않았음을 인정한다(단, 이를 향후 과제로 제안하였다).

요약하자면, 본 논문은 양자 오류 정정 코드와 디코더를 공동 설계하기 위해 강화 학습이 효과적으로 사용될 수 있음을 보여주는 개념 증명(proof-of-concept)을 확립하며, 정적인 코드 선택을 넘어 동적이고 성능 중심적인 코드 생성으로 나아가는 길을 제시한다.