Metriq: A Collaborative Platform for Benchmarking Quantum Computers

이 논문은 양자 컴퓨터 벤치마킹의 단편화된 문제를 해결하기 위해 벤치마크 정의, 실행, 데이터 수집 및 공개를 통합한 오픈소스 협업 플랫폼인 Metriq 를 소개하고, 이를 통해 다양한 하드웨어 벤더의 양자 컴퓨터에 대한 체계적인 교차 플랫폼 비교와 종합 성능 지표를 제시합니다.

핵심

메트릭 (Metriq): 양자 컴퓨터의 '공정하고 투명한 시험지'

이 논문은 **"양자 컴퓨터가 얼마나 잘 작동하는지 어떻게 공정하게 비교할 것인가?"**라는 난제를 해결하기 위해 개발된 새로운 플랫폼, **메트릭 (Metriq)**에 대해 설명합니다.

기존의 양자 컴퓨터 평가 방식은 마치 **"각 제조사가 자기네 자동차만 평가하는 시험"**과 같았습니다. 각 회사마다 다른 기준, 다른 도구, 다른 점수 체계를 사용해서 서로 비교하기가 매우 어려웠습니다. 메트릭은 이 문제를 해결하기 위해 등장한 **중립적인 '공인 시험 기관'**과 같습니다.

이제 이 복잡한 내용을 일상적인 비유로 쉽게 풀어보겠습니다.

---

1. 왜 메트릭이 필요할까요? (문제 상황)

지금까지 양자 컴퓨터 회사들 (IBM, 구글, IonQ 등) 은 각자 자기네 제품의 성능을 자랑했습니다. 하지만 이는 마치 **A 학교가 "우리 반 평균 점수 100 점!"**이라고 하고, **B 학교가 "우리 반 평균 점수 90 점!"**이라고 할 때, 시험지가 완전히 다르고 채점 기준도 다르다면 누가 더 잘하는지 알 수 없는 상황과 같습니다.

• 문제점: 각기 다른 기준, 불투명한 데이터, 일회성 평가.
• 결과: 소비자와 연구자들은 "어떤 양자 컴퓨터가 진짜로 좋은지" 알 수 없었습니다.

2. 메트릭 (Metriq) 이란 무엇인가요? (해결책)

메트릭은 **모든 양자 컴퓨터가 똑같은 시험지를 보고, 같은 채점 기준을 적용받는 '공유 플랫폼'**입니다.

• 메트릭 기믹 (metriq-gym): 시험 문제를 출제하고 실행하는 '시험 감독관' 역할입니다. 어떤 회사의 컴퓨터든 똑같은 문제를 풀게 합니다.
• 메트릭 데이터 (metriq-data): 모든 시험 결과를 기록하는 **'공공 도서관'**입니다. 누가 언제, 어떤 조건에서 시험을 봤는지 투명하게 저장합니다.
• 메트릭 웹 (metriq-web): 결과를 보여주는 **'스마트한 성적표'**입니다. 누구나 인터넷으로 접속해 실시간으로 비교할 수 있습니다.

3. 어떤 시험을 치르나요? (시험 유형)

메트릭은 양자 컴퓨터의 능력을 다양한 각도에서 평가합니다. 두 가지 주요 유형이 있습니다.

A. 기초 체력 테스트 (시스템 레벨)

이것은 컴퓨터의 근육과 뼈대를 확인하는 테스트입니다.

• 벨 상태 유효 큐비트 (BSEQ): 양자 컴퓨터가 여러 개의 입자 (큐비트) 를 서로 얽히게 (Entanglement) 할 수 있는 능력을 봅니다. 마치 마술사들이 여러 개의 실을 동시에 꼬아서 끊지 않고 유지하는 능력을 보는 것과 같습니다.
• 오류율 측정 (EPLG): 게이트 (연산) 를 할 때 얼마나 자주 실수를 하는지 봅니다. 운전사가 핸들을 돌릴 때 얼마나 정확하게 핸들을 잡는지를 측정하는 것과 같습니다.
• 거울 회로 (Mirror Circuits): 복잡한 연산을 한 뒤, 그 정반대 연산을 해서 원래 상태로 돌아오는지 봅니다. 복잡한 미로를 빠져나와 다시 제자리로 돌아올 수 있는지 확인하는 미로 탈출 게임과 같습니다.

B. 실제 활용 테스트 (응용 레벨)

이것은 컴퓨터가 실제 문제를 얼마나 잘 푸는지 보는 테스트입니다.

• 양자 머신러닝 (QML Kernel): 데이터를 분류하는 AI 작업을 시켜봅니다. 새로운 사진을 보고 "고양이"인지 "개"인지 구분하는 능력을 봅니다.
• 웜홀 텔레포트 (WIT): 물리학 이론인 '웜홀'을 시뮬레이션해 봅니다. 정보를 한 곳에서 다른 곳으로 순간 이동시키는 시뮬레이션을 통해 컴퓨터의 정밀도를 테스트합니다.
• 최적화 문제 (LR-QAOA): 복잡한 경로 찾기 문제를 풉니다. 여행가가 모든 도시를 최소 비용으로 방문하는 최적 경로를 찾는 능력을 봅니다.

4. 점수는 어떻게 매기나요? (메트릭 스코어)

각 시험마다 점수가 다릅니다. 이를 하나로 합쳐 **'메트릭 스코어 (Metriq Score)'**라는 종합 점수를 만듭니다.

• 비유: 대학 입시처럼 국어, 수학, 영어 점수를 합산해서 총점을 내는 것과 같습니다.
• 특징: 단순히 점수만 합치는 게 아니라, 문제가 어려울수록 (큐비트 수가 많을수록) 점수 비중을 더 높게 줍니다. 즉, 작은 문제만 잘 풀고 큰 문제는 못 푸는 컴퓨터보다, 큰 문제도 잘 푸는 컴퓨터를 더 높이 평가합니다.

5. 이 플랫폼의 핵심 가치

1. 투명성 (Transparency): 모든 시험 문제, 실행 과정, 결과가 공개됩니다. "비밀스러운 채점"이 없습니다.
2. 지속성 (Continuous): 양자 컴퓨터는 계속 발전합니다. 메트릭은 **한 번 찍은 사진이 아니라, 실시간으로 업데이트되는 '생방송'**처럼 계속 새로운 데이터를 추가합니다.
3. 공정성 (Fairness): 어떤 회사도 특정 하드웨어에 유리하도록 설정할 수 없습니다. 모두 같은 조건에서 경쟁합니다.
4. 비용 효율성: 실행 비용을 최소화하도록 설계되어, 소규모 연구실이나 대학에서도 쉽게 참여할 수 있습니다.

6. 결론: 왜 이것이 중요한가요?

메트릭은 양자 컴퓨터가 **"실험실의 장난감"**을 넘어 **"실제 세상을 바꿀 도구"**로 성장하는 데 필수적인 나침반 역할을 합니다.

• 연구자에게는 어떤 하드웨어가 좋은지 알려주고,
• 기업에게는 투자할 가치가 있는 기술을 찾아주며,
• 일반인에게는 양자 컴퓨터의 발전 속도를 투명하게 보여줍니다.

결국 메트릭은 **"누가 진짜로 양자 시대를 이끌고 있는가?"**에 대한 객관적이고 신뢰할 수 있는 답을 주는 공정한 경기장을 만든 것입니다. 이제 우리는 제조사의 홍보 문구가 아닌, 실제 데이터로 양자 컴퓨터의 미래를 바라볼 수 있게 되었습니다.

기술 요약

제공된 논문 "Metriq: A Collaborative Platform for Benchmarking Quantum Computers"에 대한 상세한 기술 요약은 다음과 같습니다.

1. 문제 제기 (Problem)

양자 컴퓨팅 하드웨어가 초전도 회로, 포획 이온, 중성 원자 등 다양한 플랫폼으로 빠르게 확장되고 있지만, 벤치마킹 분야는 다음과 같은 심각한 문제점에 직면해 있습니다.

• 단편화된 환경: 각 벤더 (IBM, Quantinuum 등) 가 자체적인 도구와 평가 방법을 사용하여 플랫폼 간 공정한 비교가 어렵습니다.
• 일관성 부재: 벤치마크 정의, 실행, 비교 방식이 플랫폼마다 달라 신뢰할 수 있는 교차 플랫폼 성능 평가가 불가능합니다.
• 데이터 부족: 대부분의 결과가 고립된 사례 연구로만 남아 있으며, 공개된 표준화된 교차 플랫폼 데이터셋이 거의 없습니다.
• 제 3 자 평가의 부재: 벤더가 직접 수행하는 평가는 편향될 수 있어, 독립적이고 공정한 제 3 자 비교 프레임워크의 필요성이 대두되었습니다.

2. 방법론 (Methodology)

저자들은 이러한 격차를 해소하기 위해 Metriq이라는 오픈 소스 협업 플랫폼을 제안했습니다. Metriq 는 실행 (Runner), 데이터셋 (Dataset), 웹 포털 (Web Portal) 이라는 세 가지 핵심 구성 요소로 이루어진 모듈형 아키텍처를 따릅니다.

• 메트릭스 (metriq-gym, Runner):
  • 다양한 클라우드 API 와 하드웨어 아키텍처 (초전도, 포획 이온 등) 에서 동일한 벤치마크 로직을 실행할 수 있는 통합 인터페이스를 제공합니다.
  • qBraid SDK를 활용하여 이식성 (Transpilation) 과 작업 실행을 관리합니다.
  • 벤치마크 파라미터를 명시적인 JSON 스키마로 정의하여 재현성을 보장하고, 비동기식 실행 모델을 통해 대규모 벤치마킹 캠페인을 지원합니다.
  • 로컬 시뮬레이터와 클라우드 하드웨어 모두를 동일한 프로토콜로 테스트할 수 있습니다.
• 메트릭스 데이터 (metriq-data, Dataset):
  • 버전 관리가 된 구조화된 벤치마크 기록을 GitHub 리포지토리에 저장합니다.
  • 파일 시스템 기반의 디렉토리 구조를 사용하여 특정 장치나 벤더의 결과를 쉽게 검색하고 비교할 수 있습니다.
  • CC-BY-4.0 라이선스로 공개되어 커뮤니티의 투명한 검증을 가능하게 합니다.
• 메트릭스 웹 (metriq-web, Display):
  • 데이터셋을 시각화하는 인터랙티브 웹 애플리케이션으로, 필터링, 드릴다운, 머신 리더블 데이터 내보내기를 지원합니다.
  • FAIR 원칙 (검색 가능, 접근 가능, 상호 운용 가능, 재사용 가능) 을 준수합니다.

벤치마크 스위트 (Benchmark Suite):
시스템 수준 지표와 응용 프로그램 기반 프로토콜을 모두 포함하는 이기종 벤치마크 세트를 구성했습니다.

• 시스템 수준: BSEQ (벨 상태 유효 큐비트), EPLG (레이어당 오류율), Mirror Circuits, CLOPS (초당 회로 레이어 연산 수).
• 응용 프로그램 기반: QML 커널 (양자 머신러닝), WIT (웜홀 텔레포테이션), LR-QAOA (선형 램프 QAOA), QFT (양자 푸리에 변환).
• 비용 효율성: 벤치마크 실행 비용을 최소화하여 학술 연구자와 소규모 조직도 접근할 수 있도록 설계되었습니다.

Metriq 점수 (Metriq Score, MS):
여러 벤치마크 결과를 단일 스칼라 값으로 요약하기 위해 고안된 복합 지수입니다.

• 회로 너비 (qubit 수) 에 비례하여 가중치를 부여하여 더 큰 규모의 성능을 강조합니다.
• 기준 장치 (Baseline Device) 에 대한 정규화를 수행하여 상대적 성능을 100 점 기준으로 표시합니다.
• 각 벤치마크의 유효 규모 (Effective Width) 를 기반으로 가중치를 계산하여, 확장 가능한 장치 능력을 더 중요하게 반영합니다.

3. 주요 기여 (Key Contributions)

1. 오픈 소스 협업 플랫폼 출시: 벤치마크 실행, 버전 관리된 데이터 큐레이션, 웹 기반 결과 탐색을 위한 공개 도구를 제공합니다.
2. 벤더 중립적 벤치마크 설계: 기존 벤치마크를 확장하고 새로운 프로토콜 (예: BSEQ) 을 도입하여 다양한 하드웨어 플랫폼에서 실행 가능한 표준을 마련했습니다.
3. 대규모 교차 플랫폼 데이터 수집: IBM, Quantinuum, Rigetti, IQM, OriginQ 등 여러 벤더의 10 개 이상의 양자 컴퓨터에서 실행된 데이터를 수집하고 공개했습니다.
4. 교차 벤치마크 분석: 공유된 데이터셋을 통해 벤치마크 결과 간의 상관관계와 하드웨어 교정 지표 (예: 2 큐비트 게이트 충실도) 와의 관계를 분석했습니다.

4. 결과 (Results)

논문은 2025 년 3 월부터 2026 년 3 월까지 수집된 데이터를 바탕으로 다양한 장치의 성능을 비교했습니다.

• 성능 비교 (Table I, V, VI 등):
  • IBM (Heron 아키텍처): ibm_boston, ibm_pittsburgh 등이 높은 Metriq 점수를 기록하며 우수한 전반적인 성능을 보였습니다. 특히 ibm_boston 은 156 큐비트에서 높은 충실도와 연결성을 유지했습니다.
  • Quantinuum (H2-2): 56 큐비트 규모에서 높은 게이트 충실도와 긴 결맞음 시간을 보여주어, 특히 WIT 및 QML 커널 벤치마크에서 우수한 성능을 발휘했습니다.
  • IQM 및 Rigetti: 상대적으로 낮은 점수를 기록했으나, 특정 벤치마크 (예: Mirror Circuits) 에서 의미 있는 데이터를 제공했습니다.
  • OriginQ (Wukong): 일부 실행에 실패하거나 낮은 성능을 보였으며, 컴파일 및 디바이스 문제의 영향을 받았습니다.
• 상관관계 분석 (Section VI):
  • Mirror Circuits 와 QML Kernel 벤치마크는 매우 높은 상관관계 ($\rho \approx 0.991$) 를 보였으며, 이는 두 벤치마크가 모두 누적된 결맞음 오류와 2 큐비트 게이트 오류에 민감하기 때문입니다.
  • Metriq 점수는 벤더가 공개한 2 큐비트 게이트 충실도와 매우 강한 양의 상관관계 ($\rho \approx 0.982$) 를 보였습니다.
  • 시스템 수준 벤치마크 (BSEQ, EPLG, Mirror Circuits) 만으로도 응용 프로그램 기반 벤치마크 (QML, LR-QAOA) 의 결과를 높은 정확도로 예측할 수 있었습니다 ($R^2 > 0.92$).

5. 의의 및 결론 (Significance and Conclusion)

• 독립적이고 투명한 평가: 벤더에 종속되지 않는 제 3 자의 독립적인 벤치마킹을 가능하게 하여, 양자 하드웨어의 실제 발전 상태를 객관적으로 평가할 수 있는 기반을 마련했습니다.
• 지속 가능한 진화: 일회성 스냅샷이 아닌, 하드웨어와 벤치마크 방법이 진화함에 따라 지속적으로 업데이트되고 재실행되는 '살아있는 플랫폼'을 지향합니다.
• 커뮤니티 주도: 오픈 소스 개발과 데이터 공유를 통해 커뮤니티가 벤치마크의 정의와 방향성을 함께 결정할 수 있도록 장려했습니다.
• 미래 지향성: 현재는 물리 큐비트 기반 벤치마크에 집중하고 있으나, 향후 논리 큐비트 (Fault-tolerant) 벤치마크 (예: 논리 벨 쌍 공장) 로 확장하여 양자 오류 수정 시대의 성능 평가 표준을 제시할 준비가 되어 있습니다.

결론적으로, Metriq 는 양자 컴퓨팅 생태계의 신뢰할 수 있는 경험적 근거를 제공하며, 하드웨어 개발자와 알고리즘 연구자 모두에게 필수적인 도구로 자리 잡을 것으로 기대됩니다.