Auditing Empirical Comparisons in Quantum Software

기술 요약: 양자 소프트웨어의 경험적 비교에 대한 감사(Auditing)

문제 정의
양자 소프트웨어 공학(QSE) 분야의 경험적 논문들은 빈번하게 비교 주장(예: "컴파일러 A가 컴파일러 B보다 더 작은 회로를 생성한다")을 보고한다. 그러나 이러한 "A가 B를 이긴다"는 결론은 도구 자체의 내재적 속성이 아니라, 회로 구성, 컴파일 선택, 샘플링 전략, 백엔드 노이즈 가정, 최적화의 확률성, 그리고 자원 예산이 결합된 복잡한 스택의 결과물로서 나타나는 창발적 결과이다. 기존의 방법론들은 재현성(실험 재실행)이나 도구 테스트를 다루지만, 보고된 비교 그 자체가 소스 논문과 아티팩트에 노출된 특정 증거에 의해 뒷받침되는지를 직접 감사하지는 못한다. 핵심적인 문제는 **구체화 간극(materialization gap)**이다. 논문은 명확한 순위를 보고할 수 있지만, 소스 자체에는 대리 재구성(proxy reconstruction)을 피하거나 근거 없는 가정을 도입하지 않고도 해당 관계를 감사하기 위해 필요한 매칭된 증거(쌍을 이룬 베이스라인, 동일한 설정, 잠금된 결과 규칙)가 결여되어 있다. 결과적으로, 실행 가능한 아티팩트가 존재함에도 불구하고 많은 보고된 비교들이 감사가 불가능한 상태로 남게 된다.

방법론: CLAIMSTAB-QC 프레임워크
저자들은 보고된 관계를 감사의 단위로 취급하여 경험적 비교를 감사하기 위해 설계된 소스 제한적(source-bounded) 프레임워크인 CLAIMSTAB-QC를 제시한다. 이 프레임워크는 다음 단계로 작동한다:

1. 클레임 카드 표현(Claim Card Representation): 보고된 비교를 클레임 카드 $C = \langle P, BA, BB, M, R \rangle$로 정식화한다. 여기서 $P$는 문제 맥락, $BA/BB$는 베이스라인,$M$은 지표,$R$은 보고된 관계를 의미한다. 이는 결과를 계산하기 전에 범위를 고정한다.
2. 구체화 및 잠금(Materialization and Locking): 프레임워크는 소스에 의해 지원되는 증거를 식별함으로써 클레임을 "구체화"하려고 시도한다. 이는 여섯 가지 축 그룹으로 구성된 감사 공간(Audit Space, $S_{audit} = S_{scope} \times E_{env}$)을 정의한다: 범위(문제 크기, 인스턴스), L1(구성/컴파일), L2(샘플링/추정), L3(백엔드/노이즈), ALGO(최적화 확률성), 그리고 Budget(자원 제한).
   • Dry-Run-First 절차는 이 축들을 검사한다. 소스에 의해 지원되고, 지표에 영향을 미치며, 관계를 보존하는 변형만이 활성화된다.
   • 설계는 결과가 계산되기 전에 잠금(locked) 상태가 된다. 만약 소스에 필요한 쌍 데이터(예: 동일한 시드 하의 매칭된 회로)가 부족한 경우, 감사는 **증거 경계(Evidence Boundary)**에서 중단된다.
3. 결과 계산(Outcome Computation):
   • 스칼라 방향성(Scalar-Directional) 기록(엄격한 "우수/열등" 주장)의 경우, 프레임워크는 각 매칭된 셀에 대해 부호가 있는 마진(signed margin)을 계산한다.
   • 관계가 지속됨(Sustained)(하한 $\ge \tau$), 역전됨(Reversed)(상한 $\le 1-\tau$), 또는 **미결(Unresolved)**로 분류하기 위해 **윌슨 결정 규칙(Wilson decision rule)**을 적용한다. 엄격한 주장의 경우 임계값 $\tau$는 0.95로 설정된다.
   • 비스칼라 기록(집계, 교차 등)은 잠금 가능한 경우 소스 지원 규칙을 사용하며, 그렇지 않으면 경계로 표시된다.
4. 보고(Reporting): 출력에는 스코프 판결(S/U/R) 또는 왜 비교를 감사할 수 없었는지에 대한 명시적인 증거 경계(예: 누락된 타이밍 프로토콜, 일치하지 않는 시드)가 포함된다.

주요 기여

1. 프레임워크: 감사의 초점을 "결과를 재현할 수 있는가?"에서 "소스 증거가 보고된 관계를 뒷받침하는가?"로 전환하며, 소스 제한적 기록과 잠금된 설계를 사용하는 새로운 QSE 프레임워크를 제시한다.
2. 경험적 연구: 2020~2024년 사이의 119개 양자 소프트웨어 논문에서 추출한 455개의 비교 클레임에 프레임워크를 적용하였다.
3. 재사용 가능한 아티팩트: 클레임 표현, 감사 기록, 잠금된 트레이스, 누락된 증거 주석을 포함하는 패키지를 공개하여 경험적 QSE 비교의 검사를 용이하게 한다.

결과
연구는 상당한 **구체화 깔때기(materialization funnel)**와 간극을 드러냈다:

• 표현(Representation): 수용된 455개 클레임 중 175개가 클레임 카드로 표현될 수 있었다.
• 계획(Planning): 79개가 스칼라-방향성 계획 기록으로 식별되었다.
• 잠금 가능성(Lockability): 53개가 잠금 가능한 감사 또는 진단 설계를 산출했다.
• 대리 없는 감사(Proxy-Free Auditing): 단 8개의 기록만이 대리 재구성 없이 원래의 비교를 감사할 수 있을 만큼 충분히 매칭된 증거를 노출했다(Tier-1).
  • 이 8개 중 2개는 지속됨(Sustained), 4개는 미결(Unresolved), 2개는 **역전됨(Reversed)**으로 나타났다.
  • 특히, 두 건의 "역전된(Reversed)" 사례(EX-C7 및 EX-C8)는 엄격한 모순에 의해 발생하였으며, 각각 0/80 및 0/80의 잠금된 셀에서 보고된 방향과 상충함을 보여주었다.
• 제어된 진단(Controlled Diagnostics): 24개의 벤치마크 관련 비교에 대한 실험 결과, 더 단순한 감사 프로토콜(단일 구성 또는 단일 축)은 전체 잠금된 축(L1–L3, ALGO, BUDGET)을 검사했을 때 약화되거나 미결(Unresolved) 상태가 되는 경향이 있음에도 불구하고 외견상의 방향성을 유지하는 경우가 많았다.
• 강건성(Robustness): 증거가 충분할 때 판결은 통계적 선택(임계값, 그룹화)에 대해 강건한 것으로 나타났으나, 타이(tie) 처리 및 임계값에 대한 민감도는 경계 조건으로서 명시적으로 보고되었다.

의의 및 주장
본 논문은 경험적 QSE의 비교가 종종 비교 자체를 감사하는 데 필요한 증거 없이 결과로서만 보고된다고 주장한다. 본 연구의 주요 의의는 성능 순위와 이를 뒷받침하는 증거가 분리 가능하다는 것을 입증한 데 있다.

저자들은 경험적 QSE가 발전하기 위해서는 단순히 누가 이겼는지가 아니라, 그 순위의 범위를 잠글 수 있는 매칭된 증거를 보고해야 한다고 결론짓는다. 이 프레임워크는 비교가 감사 가능한 것(Sustained/Reversed/Unresolved)과 증거 부족으로 인해 근본적으로 감사가 불가능한 것(Boundary)을 구분하는 메커니즘을 제공한다. 이는 향-QSE 연구의 보고 목표를 변화시킨다: 논문은 비교를 잠그는 데 필요한 베이스라인, 설정, 인스턴스, 예산 및 결과 규칙을 명시적으로 노출해야 하며, 증거 경계가 감사를 방해하는 지점을 명확히 표시해야 한다.