Benchmarking Quantum Computers: Towards a Standard Performance Evaluation Approach

이 논문은 고전적 프로세서 벤치마킹의 교훈을 바탕으로 양자 프로세서의 성능 평가에 필요한 기준과 지표를 분석하고, 표준화된 벤치마킹 체계 구축을 위한 일반적 가이드라인을 제시합니다.

핵심

이 논문은 **"양자 컴퓨터의 성능을 어떻게 공정하고 정확하게 비교할 것인가?"**라는 아주 중요한 질문에 대한 해답을 제시합니다.

기존의 일반 컴퓨터 (클래식 컴퓨터) 는 성능을 비교하는 표준이 잘 갖춰져 있지만, 아직 태동기인 양자 컴퓨터는 각자 다른 기술과 방식을 사용하다 보니 "어떤 게 더 좋은지"를 판단하기가 매우 혼란스럽습니다. 이 논문은 그 혼란을 정리하고, 앞으로 양자 컴퓨터 산업을 건강하게 성장시키기 위한 **공통의 규칙 (표준)**을 제안합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 왜 지금 이 논의가 필요한가요? (경쟁의 함정)

상상해 보세요. 여러 자동차 회사들이 각자 다른 엔진을 만든다고 칩시다.

• A 사는 "최고 속도"가 빠르다고 자랑합니다.
• B 사는 "연비"가 좋다고 합니다.
• C 사는 "승차감"이 최고라고 합니다.

만약 우리가 "누가 더 좋은 차를 만들었나?"라고 물었을 때, 각 회사마다 자기네가 잘하는 부분만 강조해서 발표하면 어떨까요? 소비자는 혼란스러워하고, 회사들은 실제 성능보다는 시험 문제를 맞추는 데만 집중하게 됩니다. (이걸 논문에서는 '구트하트의 법칙'이라고 부릅니다. "지표가 목표가 되면, 그 지표는 더 이상 좋은 지표가 되지 못한다"는 뜻이죠.)

양자 컴퓨터도 지금 이 상태입니다. 각 회사마다 다른 기술 (이온, 초전도체 등) 을 쓰고 있어서, 단순히 "큐비트 (양자 비트) 개수"만 보고 비교하면 안 됩니다. 개수가 많아도 오류가 많으면 쓸모가 없기 때문이죠.

2. 과거의 교훈: 일반 컴퓨터에서 배운 것

논문은 먼저 일반 컴퓨터가 어떻게 이 문제를 해결했는지 돌아봅니다.

• 과거: 컴퓨터 회사들이 각자 자기네 컴퓨터가 빠르다고 광고만 하다가, 실제 사용자 경험과 동떨어진 결과가 나오기도 했습니다.
• 해결: 그래서 SPEC라는 독립적인 기관이 생겼습니다. 이 기관은 "이런 조건에서 이 작업을 했을 때, 누가 더 잘했는지"를 공정하게 측정하는 **표준 시험지 (벤치마크)**를 만듭니다.
• 교훈: 좋은 시험지는 ① 실제 사용과 관련 있어야 하고 (Relevance), ② 누구도 똑같은 결과를 얻을 수 있어야 하며 (Reproducibility), ③ 특정 회사에 유리하지 않아야 하고 (Fairness), ④ 결과가 검증 가능해야 하며 (Verifiability), ⑤ 누구나 쉽게 쓸 수 있어야 합니다 (Usability).

3. 양자 컴퓨터는 왜 특별한가요? (새로운 규칙이 필요함)

양자 컴퓨터는 일반 컴퓨터와 근본적으로 다릅니다.

• 비유: 일반 컴퓨터가 '레고 블록'처럼 정해진 규칙으로 조립된다면, 양자 컴퓨터는 '수영하는 물고기'처럼 매우 민감하고 불안정합니다.
• 문제점:
  • 소음 (Noise): 양자 컴퓨터는 주변 온기나 진동에도 쉽게 영향을 받아 오류가 납니다. (비유: 바람이 조금만 불어도 넘어지는 자전거)
  • 다양한 기술: 어떤 회사는 이온을 쓰고, 어떤 회사는 빛을 씁니다. 서로 다른 기술끼리 '속도'나 '정확도'를 숫자 하나로 비교하는 건 마치 "달리기 속도와 수영 속도를 비교하는 것"과 같습니다.
  • 측정의 어려움: 양자 상태를 측정하면 상태가 변해버리기 때문에, 결과를 확인하는 것 자체가 매우 어렵습니다.

따라서, 일반 컴퓨터용 시험지를 그대로 양자 컴퓨터에 대입하면 안 됩니다. 양자 컴퓨터의 특성에 맞는 새로운 시험지가 필요합니다.

4. 논문이 제안하는 해결책: "SPEQC"라는 새로운 기관

저자들은 양자 컴퓨터 산업을 위해 **SPEQC (양자 컴퓨터 표준 성능 평가 협회)**라는 새로운 기구를 만들 것을 제안합니다. SPEC(일반 컴퓨터) 의 양자 버전이라고 생각하시면 됩니다.

이 기구가 해야 할 일들은 다음과 같습니다:

1. 시대에 맞는 시험지 만들기:
   • 지금은 '소음이 많은' 초기 단계 (NISQ 시대) 이므로, 단순히 큰 문제를 푸는 것보다 오류를 얼마나 잘 잡는지를 보는 시험지가 필요합니다.
   • 미래에 기술이 발전하면 (오류 수정이 완벽해지면), 다시 실제 응용 프로그램 (약 개발, 암호 해독 등) 을 푸는 시험지로 바뀔 것입니다.
2. 공정한 비교 기준 (베이스 vs 피크):
   • 베이스 (Base): 누구나 똑같이 설정할 수 있는 기본 조건에서의 성능. (공정한 비교를 위해)
   • 피크 (Peak): 전문가가 모든 기술을 동원해 최적화했을 때의 성능. (최고의 잠재력을 보여주기 위해)
   • 두 가지 결과를 모두 공개해야 공정한 비교가 가능합니다.
3. 단 하나의 숫자에 의존하지 않기:
   • "이 컴퓨터는 점수가 100 점이다"라고 말하는 건 위험합니다. 대신 **시험지 묶음 (Benchmark Suite)**을 만들어야 합니다.
   • 예: "속도 점수", "정확도 점수", "에너지 효율 점수" 등을 모두 합쳐서 종합적인 평가를 해야 합니다.

5. 결론: 왜 이것이 중요한가요?

이 논문의 핵심 메시지는 **"양자 컴퓨터의 미래를 위해, 우리는 공정하고 투명한 경쟁 규칙이 필요하다"**는 것입니다.

• 소비자 (기업/국가): 어떤 양자 컴퓨터를 사야 할지, 혹은 어떤 기술에 투자해야 할지 명확하게 알 수 있습니다.
• 개발자 (회사/연구자): 단순히 점수만 따는 게 아니라, 실제로 유용한 기술을 개발하는 데 집중할 수 있습니다.
• 전체 산업: 신뢰할 수 있는 데이터가 쌓이면서 기술 발전 속도가 빨라집니다.

한 줄 요약:
양자 컴퓨터라는 낯선 세상을 여행할 때, 각자 다른 지도를 들고 있으면 길을 잃기 쉽습니다. 이 논문은 **"우리가 모두 같은 지도 (표준 벤치마크) 를 가지고, 공정한 나침반 (SPEQC) 을 통해 함께 나아가자"**고 제안합니다.

기술 요약

1. 문제 정의 (Problem)

양자 프로세서의 기술적 발전과 다양한 플랫폼 (초전도, 이온 트랩, 광자 등) 의 등장으로 인해, 서로 다른 양자 장치 간의 성능을 공정하게 비교하는 **'양자 벤치마킹 (Quantum Benchmarking)'**의 필요성이 대두되었습니다. 그러나 현재 양자 컴퓨팅 분야는 다음과 같은 심각한 문제점에 직면해 있습니다.

• 표준 부재: 고전 컴퓨팅에서 SPEC(SPEC Performance Evaluation Corporation) 와 TPC 와 같은 표준 기관을 통해 확립된 체계적인 벤치마킹 프레임워크가 양자 분야에는 존재하지 않습니다.
• 용어와 개념의 혼란: '벤치마킹', '검증 (Verification)', '테스팅 (Testing)', '메트릭 (Metric)' 등의 용어가 문헌 내에서 모호하고 일관성 없이 사용되고 있습니다.
• 플랫폼 이질성: 양자 하드웨어는 물리적 구현 방식, 게이트 집합, 연결성 (Connectivity), 노이즈 특성 등이 플랫폼마다 크게 달라, 고전 컴퓨팅의 단순한 수치적 기준 (예: 클럭 속도, MIPS) 을 직접 적용하기 어렵습니다.
• 굿하트의 법칙 (Goodhart's Law) 의 위험: 표준화된 벤치마킹이 부재한 상태에서 경쟁이 심화되면, 제조사들이 벤치마크 점수만 높이기 위해 시스템을 최적화하는 '벤치마케팅 (Benchmarketing)'이 발생할 수 있으며, 이는 실제 성능 향상과 무관한 왜곡된 연구 방향을 초래할 수 있습니다.

2. 방법론 (Methodology)

이 논문은 고전 컴퓨팅 벤치마킹에서 축적된 수십 년의 경험과 교훈을 분석하여, 양자 컴퓨팅의 고유한 특성에 맞게 이를 적응화하는 접근법을 취했습니다.

• 고전 벤치마킹의 교훈 분석: 벤치마크의 정의, 성능의 의미, 그리고 '좋은 벤치마크'와 '좋은 메트릭'이 가져야 할 품질 속성 (Relevance, Reproducibility, Fairness, Verifiability, Usability) 을 고전 컴퓨팅 이론 (SPEC, TPC 등) 에서 도출했습니다.
• 양자 컴퓨팅의 고유 특성 분석: 양자 역학적 특성 (중첩, 얽힘, 측정의 확률적 성질, 노이즈, NISQ 시대의 한계 등) 이 벤치마킹에 미치는 영향을 분석하고, 고전적 접근법의 직접적 이관이 왜 불가능한지 규명했습니다.
• 용어 체계 정립: 양자 벤치마킹 분야에서 혼용되던 용어들을 명확히 정의하고 분류했습니다.
• 기존 제안 평가: 문헌에 제안된 주요 양자 벤치마크 (QV, Q-Score, QASMBench 등) 와 메트릭 (Gate Fidelity, CLOPS 등) 을 위에서 정의한 품질 속성 기준으로 평가했습니다.
• 가이드라인 및 구조 제안: 양자 벤치마킹을 수행하기 위한 구체적인 가이드라인과 단계별 보고 구조를 제시했습니다.

3. 주요 기여 (Key Contributions)

가. 용어 및 개념의 표준화 (Unified Terminology)

양자 벤치마킹 분야에서 다음과 같은 핵심 용어를 명확히 정의했습니다.

• 양자 벤치마크 (Quantum Benchmark): 특정 작업을 수행할 때 양자 프로세서의 성능을 측정하거나 평가하는 테스트 또는 테스트 세트.
• 양자 성능 메트릭 (Quantum Performance Metric): 양자 시스템의 특정 성능 속성을 수치화한 값.
• 양자 검증 (Quantum Verification): 양자 컴퓨터가 의도한 대로 작동하는지 확인하는 과정.
• 양자 테스팅 (Quantum Testing): 양자 프로그램의 동작이 요구사항과 일치하는지 확인하는 과정.
• 벤치마크 프레임워크/패밀리: 벤치마크를 정의하는 테스트 가족 (Family) 의 구조.
• 벤치마크 스위트 (Benchmark Suite): 양자 컴퓨터의 다양한 행동 영역을 모델링하는 벤치마크의 집합.

나. 기존 메트릭 및 벤치마크의 체계적 평가

논문은 NISQ (Noisy Intermediate-Scale Quantum) 시대를 기준으로 주요 메트릭들을 고전적 품질 속성 (실용성, 반복성, 신뢰성, 선형성, 일관성) 에 따라 평가했습니다.

• 정적 메트릭 (Static): 큐비트 수, 연결성 등. (대부분 반복성과 일관성은 만족하나, 신뢰성이나 선형성에서 한계가 있음).
• 비정적 메트릭 (Non-static): 게이트 충실도, 판독 충실도, 디코히어런스 시간, Quantum Volume (QV), Q-Score, CLOPS 등.
  • 예시: **Quantum Volume (QV)**은 재현성은 좋으나, 큐비트 수가 증가함에 따라 고전 시뮬레이션 비용이 기하급수적으로 증가하여 **실용성 (Practicality)**이 떨어지고, 특정 회로 구조 (정사각형) 에만 국한되어 **신뢰성 (Reliability)**이 제한적입니다.
  • 예시: CLOPS는 속도를 측정하지만, 제어 회로의 최적화에 따라 결과가 달라질 수 있어 **일관성 (Consistency)**과 신뢰성에 문제가 있습니다.
• 결론: 단일 메트릭으로는 양자 컴퓨터의 전체적인 성능을 평가할 수 없으며, 다양한 메트릭과 벤치마크 스위트의 조합이 필수적입니다.

다. 양자 벤치마킹을 위한 5 가지 가이드라인 (Guidelines)

실무자가 벤치마크를 설계하거나 평가할 때 따라야 할 원칙을 제시했습니다.

1. 기술 시대에 따른 벤치마크 차별화: NISQ 시대에는 하드웨어 개발을 돕는 마이크로나 커널 벤치마크가 중요하며, 향후 오류 정정 (PQEC, FTQC) 시대로 넘어가면 애플리케이션 기반 벤치마크와 논리 큐비트 평가가 중요해져야 함.
2. 품질 속성 준수: 모든 벤치마크는 **관련성 (Relevance), 재현성 (Reproducibility), 공정성 (Fairness), 검증 가능성 (Verifiability), 사용성 (Usability)**을 충족해야 하며, 어떤 속성이 충족되지 않는지 명시해야 함.
3. Base(기준) 및 Peak(최고) 성능 보고: 고전 컴퓨팅의 SPEC 방식과 유사하게, 표준화된 규칙 (Base) 하의 성능과 최적화 (Peak) 를 적용한 성능을 모두 보고하여 공정한 비교와 혁신을 동시에 유도해야 함.
4. 메트릭의 품질 속성: 메트릭은 실용적, 반복적, 신뢰할 수 있고, 일관되어야 하며, 가능하면 선형적이고 독립적이어야 함.
5. 단일 벤치마크 의존 금지: 단일 테스트로는 장치를 완전히 특성화할 수 없으므로, 상호 보완적인 벤치마크 스위트 (Suite) 를 사용해야 함.

라. 벤치마킹 구조 및 SPEQC 제안

• 단계별 벤치마킹 구조: (1) 장치 검증 $\rightarrow$ (2) 벤치마크 정의 (메트릭, 컴파일러 플래그 설정) $\rightarrow$ (3) 실행 (Base/Peak 설정) $\rightarrow$ (4) 결과 보고 (정적/비정적 메트릭, 검증 프로토콜 포함) 의 4 단계 구조를 제안했습니다.
• SPEQC (Standard Performance Evaluation for Quantum Computers) 설립 제안: 고전 컴퓨팅의 SPEC 에 빗대어, 양자 컴퓨터의 표준 성능 평가를 위한 비영리 기구인 SPEQC의 설립을 제안했습니다. SPEQC 는 다양한 이해관계자 (학계, 산업계, 정부) 가 참여하여 공정한 기준을 마련하고, 벤치마크 스위트와 보고 양식을 표준화할 것을 주장합니다.

4. 결과 및 시사점 (Results & Significance)

• 현재 상태 진단: 양자 컴퓨팅은 고전 컴퓨팅의 1940 년대 이전 단계에 해당하며, 아직 명확한 표준이 부재하여 '벤치마케팅'의 위험에 노출되어 있습니다.
• 표준화의 필요성: 단일 수치로 성능을 판단하는 것은 불가능하며, 다양한 메트릭과 벤치마크 스위트를 통한 다각적인 평가가 필요합니다.
• 미래 로드맵:
  • NISQ 시대: 노이즈와 하드웨어 특성 (연결성, 게이트 충실도) 에 초점을 맞춘 벤치마크가 우선시되어야 함.
  • 향후 시대 (PQEC/FTQC): 오류 정정 코드와 논리 큐비트 성능, 그리고 실제 애플리케이션 (Shor, Grover 등) 수행 능력을 평가하는 벤치마크로 진화해야 함.
• SPEQC 의 역할: SPEQC 를 통해 벤치마크의 공정성, 투명성, 재현성을 보장하고, Goodhart's Law (벤치마크 최적화로 인한 실제 성능 왜곡) 를 방지하여 양자 컴퓨팅 기술이 올바른 방향으로 발전하도록 유도해야 합니다.

5. 결론

이 논문은 양자 컴퓨팅 분야의 성숙도를 높이기 위해 고전 컴퓨팅의 벤치마킹 교훈을 바탕으로 체계적인 가이드라인과 표준화 프레임워크를 제시했습니다. 단일 메트릭의 함정을 피하고, 하드웨어 개발자와 사용자 모두에게 유용한 정보를 제공하는 벤치마크 스위트와 SPEQC와 같은 표준 기구의 필요성을 강조함으로써, 양자 컴퓨터의 성능 평가가 과학적이고 객관적인 방향으로 나아가는 데 기여하고자 합니다.