기술 요약: 양자 소프트웨어 결함 데이터셋의 재현성에 관한 연구: Bugs4Q 사례 연구

문제 정의

소프트웨어 결함 데이터셋은 소프트웨어 테스팅, 결함 국지화(fault localization), 자동 프로그램 수정 연구의 근간이 되는 자원이다. 그러나 실행 환경 및 시스템 의존성의 변화로 인해 이러한 데이터셋의 재현성은 시간이 지남에 따라 저하되는 경우가 많다. 선행 연구(Zhu et al.)는 고전적 결함 데이터셋(예: Defects4J)이 재현 실패를 겪는다는 점을 입증했으나, 이러한 결과가 양자 소프트웨어에도 일반화될 수 있는지는 불분명하다. 양자 프로그램은 확률적 출력과 특정 양자 게이트 연산에 대한 의존성 같은 고유한 특성을 지니고 있어, 이로 인해 독특한 재현성 문제를 야기할 수 있기 때문이다. 본 연구는 Qiskit 기반 양자 프로그램의 실제 버그를 담은 널리 사용되는 벤치마크인 Bugs4Q에 초점을 맞추어, 양자 소프트웨어 결함 데이터셋의 시간적 재현성에 관한 지식의 공백을 다룬다.

방법론

저자들은 Zhu et al.의 연구를 양자 도메인에 맞게 변형하여 운영적 복제(operational replication)를 수행하였다.

• 데이터셋: 본 연구는 GitHub, Stack Overflow, Stack Exchange에서 수집된 42개의 실제 버그가 포함된 Qiskit 프로그램 데이터셋인 Bugs4Q를 활용하였다. 테스트 코드가 없는 5개의 아티팩트를 제외한 후, 37개의 아티팩트를 분석하였다. 이들은 세 가지 버그 유형으로 분류되었다: 잘못된 출력(Wrong Output, WO), 예외 발생(Throw Exception, TE), 시뮬레이션 실패(Simulation Failure, SF).
• 종단적 분석(Longitudinal Analysis): 저자들은 3개년 기간(2022년 5월 ~ 2026년 4월) 동안 세 가지 주요 버전 시리즈(0.x, 1.x, 2.x)에 걸친 Qiskit 코어 라이브러리의 21개 스냅샷을 통해 재현성을 평가하였다.
• 실험 설정:
  • 실행: 총 77,700회의 양자 프로그램 실행이 수행되었다. 양자 측정의 비결정론적 특성을 고려하여, 각 아티팩트는 스냅샷당 30회씩 실행되었다.
  • 구성: 두 가지 의존성 구성을 테스트하였다:
    1. Core-only: 코어 Qiskit 라이브러리만 업데이트.
    2. Pinned-stack: 코어 라이브러리를 업데이트하되, 공식 릴리스 노트를 기반으로 주변 패키지들의 호환 가능한 버전을 수동으로 고정(pinning).
  • 재현성 기준: 선행 연구에서 채택된 세 가지 단계별 엄격성을 가진 기준을 적용하였다:
    1. 존재성(Existence): 버그가 있는 버전은 실패하고, 수정된 버전은 성공함.
    2. 유형 일치(Type Match): 실패 유형(예: 특정 예외 클래스 또는 어설션 에러)이 원래 보고된 내용과 일치함.
    3. 원인 일치(Cause Match): 런타임 증거(예: 에러 메시지 또는 출력 편향)가 원래의 근본 원인과 일치함.
• 근본 원인 분석: 가장 엄격한 기준인 '원인 일치'를 통과하지 못한 아티팩트에 대해, 저자들은 543개의 재현 실패 사례를 대상으로 개방 코딩(open coding)을 사용하여 근본 원인을 식별하고 패치 전략을 제안하기 위한 수동 분류를 수행하였다.

주요 결과 및 발견

1. 시간에 따른 재현성 저하

Bugs4Q의 재현성은 Qiskit 생태계가 진화함에 따라 급격히 하락하였다.

• 초기 스냅샷(Qiskit v0.20.1)에서 존재성 기준에 따른 재현성은 **62.2%**였다.
• 최신 스냅샷(Qiskit v2.3.1)에 이르러 재현성은 **16.2%**로 떨어졌다.
• 재현성 저하는 주요 버전 업그레이드(0.x → 1.x 및 1.x → 2.x) 직후에 가장 심하게 나타났다.
• 실패의 지속성: 고전적 데이터셋에서는 아티팩트가 다시 재현 가능해지는 경우가 있는 반면, Bugs4Q 아티팩트는 한 번 재현 불가능해지면 이후의 모든 스냅샷에서도 재현 불가능한 상태로 유지되었다. **83.8%**의 아티팩트(37개 중 31개)가 3년 동안 적어도 한 번 이상의 재현 실패를 경험했다.

2. 재현 실패의 근본 원인

543개의 실패 사례를 분석한 결과, **93.6%**의 실패가 의존성 관련 문제였으며, 이는 고전적 소프트웨어의 결과와 일치했다. 그러나 이러한 의존성의 성격은 크게 달랐다:

• 소스 관련 실패 (82.0%): 지배적인 원인이다. 이는 아티팩트 소스 코드가 새로운 버전에서 제거되거나 구조가 변경된 Qiskit 인터페이스(임포트 경로 또는 API 호출)를 참조하기 때문에 발생했다.
  • 임포트 불일치 (48.1%): 모듈이 이동하거나 제거됨 (예: qiskit.extensions).
  • API 호출 불일치 (33.9%): 레거시 함수(예: execute)가 새로운 패턴(예: transpile + backend.run)으로 대체됨.
• 라이브러리 관련 실패 (11.6%): 코어 라이브러리와 주변 패키지 간의 불일치.
• 양자 특화 실패 (5.1%): 양자 측정의 확률적 특성으로 인한 실패 (예: 샷 수(shot counts)의 통계적 변동).
• 원래 테스트 이슈 (1.3%): 원래 테스트 로직의 결함.

3. 패치 가능성 및 소스 코드 수정

수정 가능성과 관련하여 고전적 소프트웨어의 결과와 결정적인 차이가 관찰되었다:

• 고전적 데이터셋에서는 약 94%의 실패가 의존성 업데이트만으로 해결될 수 있었다.
• Bugs4Q에서는 단 **4.6%**의 실패만이 환경 수준의 패치(의존성 고정)로 해결될 수 있었다.
• 나머지 **95.4%**는 새로운 Qiskit 인터페이스에 맞춰 임포트 문을 마이그레이션하고 API 호출을 업데이트하는 것과 같은 소스 코드 수정을 필요로 했다.

기여도

1. 경험적 연구: 양자 소프트웨어 결함 데이터셋의 재현성을 시간에 따라 조사한 최초의 경험적 연구이다.
2. 근본 원인 분류: 재현 실패를 분류하여, 의존성 관련 문제가 지배적이지만 이것이 단순한 버전 충돌보다는 주로 소스 코드 인터페이스 불일치로 나타난다는 점을 식별하였다.
3. Bugs4Q-Robust 구축: 저자들은 Qiskit v2.3.1에 맞게 패치된 데이터셋인 Bugs4Q-Robust를 큐레이션하였다.
   • 결과: 패치를 적용한 결과, 최신 버전에서의 재현성(존재성 기준)이 16.2%에서 78.4%로 향상되었다.
   • 한계: "라이브러리 내부 동작 변화"로 인해 일부 실패는 해결이 불가능했다. 즉, 새로운 API가 이전에는 버그를 유발했던 조건을 암묵적으로 처리하게 되어, 패칭 여부와 상관없이 원래의 버그를 재현하는 것이 불가능해진 경우이다.
4. 유지보수를 위한 시사점: 본 연구는 양자 결함 데이터셋을 유지하기 위해서는 단순한 환경 관리가 아닌 지속적인 소스 코드 마이그레이션이 필요함을 강조한다.

의의 및 주장

본 논문은 재현성 저하라는 현상 자체는 고전적 소프트웨어와 양자 소프트웨어 사이에 일치하지만, 그 메커니즘과 해결책은 다르다고 주장한다.

• 의존성 관리는 필요하지만 불충분하다: 의존성 고정이 흔히 충분히 작용하는 고전적 데이터셋과 달리, 양자 데이터셋은 오래된 API 참조를 마이그레이션하기 위한 능동적인 소스 코드 유지보수를 요구한다.
• 지속적인 유지보수의 필요성: 주요 버전에서 파괴적 변경(breaking changes)이 빈번한 Qiskit과 같은 프레임워크의 빠른 진화는, 데이터셋 관리자가 아티팩트를 새로운 API로 정기적으로 수동 마이그레이션해야 함을 시사한다.
• 미래 연구 방향: 저자들은 프레임워크의 진화(예: Qiskit 마이그레이션 가이드)에 기반한 자동 코드 마이그레이션 기술이 양자 결함 데이터셋을 유지하기 위한 유망한 방향이라고 제안한다. 이는 수동 패치가 확장성을 갖기 어렵기 때문이다.

연구는 결론적으로, Bugs4Q를 사용하는 연구자들에게 특정 데이터셋 스냅샷과 실행 환경을 명시하고, 재현성을 복구하기 위해 수행된 모든 수정 사항을 기록하는 것이 필수적이라고 강조한다. 저자들은 진화하는 생태계를 지원하기 위해 Bugs4Q-Robust와 복제 패키지를 공개한다.