Fast and accurate AI-based pre-decoders for surface codes

1. 문제 정의 (Problem)

양자 오류 정정 (QEC) 은 대규모 결함 허용 양자 컴퓨팅 (FTQC) 의 핵심 요소입니다. 그러나 실시간으로 양자 알고리즘을 실행하기 위해서는 증후군 (syndrome) 데이터를 처리하는 디코더의 속도가 매우 빨라야 합니다.

• 실시간 요구사항: 증후군 측정 라운드당 디코딩 시간이 약 1 마이크로초 (µs) 이내여야 하며, 그렇지 않으면 처리되지 않은 데이터가 기하급수적으로 쌓여 (backlog) 알고리즘 실행이 멈추게 됩니다.
• 기존 방법의 한계: 최소 가중치 완전 매칭 (MWPM) 과 같은 전통적인 알고리즘 기반 디코더는 증후군 밀도가 높을수록 실행 시간이 급격히 증가합니다 ($O(s^3)$). 또한, 코드 거리 (code distance) 가 커질수록 병렬 처리가 어렵고, 하드웨어의 노이즈 모델이 정확하지 않거나 시간에 따라 변하는 경우 최적의 디코딩 가중치를 설정하기 어렵습니다.
• AI 기반 접근의 과제: 기존 AI 기반 디코더들은 훈련 데이터 요구량이 많거나, 공간적/시간적 병렬 처리에 적합하지 않아 대규모 코드 거리에서 확장성이 떨어지는 문제가 있었습니다.

2. 방법론 (Methodology)

이 연구는 **AI 기반 프리-디코더 (Pre-decoder)**와 **전통적인 글로벌 디코더 (PyMatching)**를 결합한 모듈형 아키텍처를 제안합니다.

A. AI 기반 프리-디코더 아키텍처

• 3D 전합성 신경망 (Fully Convolutional 3D CNN): 공간 (데이터 큐비트) 과 시간 (측정 라운드) 을 모두 고려하는 3D 볼륨 데이터를 처리합니다.
• 로컬 및 병렬 처리: 프리-디코더는 증후군 데이터의 국소적 영역에서 오류를 예측하고 수정합니다. 이는 전역 디코더로 전달되기 전에 대부분의 물리적 오류를 제거하여 증후군 밀도를 획기적으로 낮춥니다.
• 데이터 처리 기술:
  • 공간적/시간적 오류 분리: 데이터 큐비트 오류 (spacelike) 와 측정 오류 (timelike) 를 명확히 구분하기 위한 새로운 라벨링 프로토콜을 개발했습니다.
  • 동형성 동치 (Homological Equivalence): 훈련 라벨의 복잡성을 줄이고 학습 효율을 높이기 위해 동형성 동치 클래스 내에서 표준적인 대표 오류를 선택하는 알고리즘을 적용했습니다.
  • 가상 오류 지연 (Fault-deferral): 회로 시간 순서에 따른 인공적인 시간적 오류를 방지하기 위해 오류 발생 시점을 적절히 조정하는 기법을 사용했습니다.

B. 노이즈 학습 아키텍처 (Noise-Learning Architecture)

• 명시적인 회로 수준 노이즈 모델 없이, 실험적으로 접근 가능한 증후군 통계만으로 디코딩 가중치를 학습합니다.
• 2D CNN 과 전역 평균 풀링 (Global Average Pooling) 을 사용하여 코드 거리에 독립적인 확률 공식을 학습합니다.
• 학습된 가중치는 PyMatching 에 입력되어 최적의 매칭 그래프 엣지 가중치를 생성합니다.

C. 하드웨어 배포

• NVIDIA GB300 GPU: FP8 정밀도 (TensorRT) 를 사용하여 고도화된 병렬 처리를 구현했습니다.
• 시간적 병렬 윈도우 디코딩: 여러 GPU 를 사용하여 증후군 측정 라운드를 병렬로 처리하여 지연 시간을 최소화합니다.

3. 주요 기여 (Key Contributions)

1. 공간적 및 시간적 보정을 포함한 프리-디코더 아키텍처: 회전된 표면 코드 (rotated surface code) 를 위한 3D CNN 기반 프리-디코더를 제안하며, 이는 어떤 전역 디코더와도 호환됩니다.
2. 동시적인 LER 개선 및 실행 시간 단축: 기존 AI 프리-디코더 연구와 달리, 전역 디코더 단독 사용 대비 낮은 논리 오류율 (LER) 과 빠른 총 디코딩 시간을 동시에 달성했습니다. 이는 코드 거리 $d \ge 21$에서 특히 두드러집니다.
3. GPU 배포 및 벤치마킹: NVIDIA GB300 GPU 에서 FP8 정밀도로 디코더를 배포하여, $d=31$에서 전역 디코더 단독 대비 최대 3.5 배의 속도 향상을 입증했습니다.
4. 증후군 통계 기반 노이즈 학습: 노이즈 모델을 알지 못하더라도 증후군 데이터만으로 최적의 디코딩 가중치를 추론하는 아키텍처를 개발했습니다.
5. 배치 처리를 통한 리소스 최적화: 병렬 블록 단위 디코딩에서 배치 크기를 늘려 실시간 디코딩에 필요한 병렬 클래식 리소스 수 ($N_{par}$) 를 최대 12.5 배까지 줄일 수 있음을 보였습니다.

4. 주요 결과 (Results)

• 논리 오류율 (LER) 및 속도:
  • 비상관 (Uncorrelated) PyMatching: 프리-디코더 + PyMatching 파이프라인은 $d=31, p=0.006$에서 PyMatching 단독 대비 3.4 배 빠른 속도를 유지하면서 LER 을 개선했습니다.
  • 상관 (Correlated) PyMatching: 더 큰 모델 (Model 6, Residual Block 사용) 을 사용하여 $d \le 13$까지 상관 PyMatching 단독 대비 LER 을 개선하고 실행 시간을 단축했습니다.
• 실시간 성능:
  • 단일 GPU 에서 증후군 라운드당 디코딩 시간이 1 µs 미만 (약 0.1~0.5 µs 수준) 으로 달성되었습니다.
  • 시간적 병렬 처리 (여러 GPU 사용) 를 통해 이 시간을 더욱 단축할 수 있습니다.
• 증후군 밀도 감소: 프리-디코더는 입력 증후군 밀도를 100 배 이상 (낮은 오류율 구간) 감소시켜 전역 디코더의 부하를 크게 줄였습니다.
• 노이즈 학습 성능: 학습된 가중치를 사용한 PyMatching 은 알려진 노이즈 모델을 사용한 경우와 유사하거나 더 나은 LER 을 보였습니다. 특히 프리-디코더 출력에 적용 시, 잔여 오류의 구조적 특성으로 인해 추가적인 LER 개선은 제한적이었으나, 전역 디코더의 가중치 최적화에는 유효했습니다.

5. 의의 및 결론 (Significance)

이 연구는 대규모 결함 허용 양자 컴퓨팅을 실현하기 위한 실용적이고 모듈화된 고처리량 디코딩 프레임워크를 제시합니다.

• 확장성: AI 기반 프리-디코더가 증후군 밀도를 낮추어 전역 디코더의 계산 부하를 줄임으로써, 매우 큰 코드 거리 ($d > 100$) 에서도 실시간 디코딩이 가능해졌습니다.
• 유연성: 하드웨어의 정확한 노이즈 모델을 알지 못하더라도 데이터 기반으로 최적의 디코딩을 수행할 수 있어, 실제 양자 하드웨어의 노이즈 변화에 강건합니다.
• 실용성: NVIDIA 최신 GPU 아키텍처를 활용한 최적화를 통해, 이론적인 알고리즘을 실제 하드웨어 제약 조건 (1 µs 이내) 을 만족하는 수준으로 끌어올렸습니다.

이 작업은 AI 기반 디코딩이 단순히 오류 정정 성능을 높이는 것을 넘어, 실시간 처리 속도와 확장성이라는 양자 컴퓨팅의 핵심 병목 현상을 해결할 수 있음을 입증한 획기적인 성과입니다.