Evidence Quality in Assurance-Oriented Benchmark Construction

기술 요약: 보증 지향 벤치마크 구축에서의 증거 품질

문제 정의
공개 소프트웨어 사고(취약점 권고, 저장소 이슈, 사고 보고서)로부터 구축된 보증 지향 벤치마크는 근본적인 증거 품질 문제를 물려받는다. 패치나 수정된 상태는 가시적일 수 있으나, 다운스트림 보증 분석에 필요한 의미론적 주장(예: 영향받은 상태의 재구성, 배포 컨텍스트, 리플레이 결정, 오라클 타당성, 릴리스 조건 등)은 불완전하거나 모호한 경우가 많다. 기존 연구(예: Vul4J, ReposVul)는 재현성 및 내재적 데이터 품질(정확성, 일관성, 완결성)을 위한 공개 취약점 필터링의 필요성을 확립했다. 그러나 더 좁은 간극이 존재한다: 바로 소프트웨어 보증을 위한 재구성된 시스템 표현을 구축하는 데 필요한 **태스크 상대적 증거 품질(task-relative evidence quality)**이다. 구체적으로, 영향받은 상태와 수정된 상태의 쌍이 존재하더라도, 분석가는 소스/결과 경계, 컨텍스트 필드, 집행 활동 등을 직접 작성해야 하며, 공적 기록은 이를 명시적으로 기술하지 않는다. 이러한 "작성된 의미론(authored semantics)"의 증거적 상태는 단순한 소스 가용성과는 구별되며, 기술적 재구성이 가능하더라도 공개가 제한될 수 있다.

방법론
본 연구는 소프트웨어 엔지니어링 투명성 원칙을 따르는 탐색적 경험적 사례 연구를 채택한다. 분석 단위는 사고에서 유도된 '영향받은/수정된 케이스(affected/fixed case)'이다.

1. AIRR-40 레지스트리 구축: 저자는 도구 사용 에이전트(tool-using-agent) 및 모델 컨텍스트 프로토콜(MCP) 사고를 대상으로 동결된 40개 케이스 프레임인 AIRR-40을 구축하였다. 이 레지스트리는 공개 증거 포인터, 타임스탬프, 소스 계층, 패치 가용성, 배포 재구성 가능성, 리플레이-트리아지 상태, 오라클 타당성, 릴리스 가능성, 쌍을 이룬 제어 가용성을 포함하는 49개 필드로 구성된다.
2. 자격 검증 프로토콜(Qualification Protocol): 케이스들은 "엄격한(strict)" 정의(정확한 업스트림 충실도 및 특정 릴리스 조건을 요구)와 "완화된(lenient)" 정의(리플레이 결정 가능성과 일치함)를 기준으로 스크리닝되었다. 차단 요소(Blockers)는 비배타적 범주(예: 재구성, 릴리스 가능성, 페어링)로 기록되었다.
3. 심층 증거 경계 표현 감사(Deep Evidence-Bounded Representation Audit): 10개의 케이스(8개의 엄격한 기본 케이스, 2개의 완화된 전용 스트레스 케이스)를 대상으로 세밀한 감사를 수행하였다. 이는 다음 과정을 포함한다:
   • 영향받은/수정된 아티팩트의 독립적 재획득.
   • 표현 $R = (G, \Gamma, P, U)$의 구축. 여기서 $G$는 소스-결과 그래프, $\Gamma$는 분석기 상대적 의미론(역량, 컨텍스트, 바인딩, 변환, 활동), $P$는 요소를 명목적 프로비넌스 범주에 매핑, $U$는 미해결 대안을 기록한다.
   • 190개의 표현 행(row)을 명목적 프로비넌스 범주(예: Direct Anchor Supported, Synthesis Explicit)로 분류.
   • 52개의 모든 분석기 관련 의미론적 속성이 독립적인 그라운드 트루스가 아닌 소스 기반임을 검증.
4. 분석기 역할: 경로/역량 매개 및 컨텍스트 바인딩을 확인하기 위해 두 명의 분석기(A0, A1)가 사용되었다. 본 연구는 해결되지 않은 가정(특히 Case C4)이 서로 다른 허용 가능한 할당(fail-open vs. fail-closed) 하에서 정적 보증 결론을 어떻게 변화시키는지에 초점을 맞춘다.

주요 결과

• 자격 탈락(Qualification Attrition): 40개의 후보 중 39/40이 패치 또는 수정된 상태를 노출했다. 그러나 20/40만이 엄격한 쌍(paired) 기준을 충족했다. "패치 가용"과 "엄격한 포함" 사이의 간극은 기술적 수정이 보증 준비가 된 증거를 보장하지 않음을 강조한다.
• 차단 요소 분해(Blocker Decomposition): 엄격한 포함에 실패한 15개의 접두사 생존자들 중, 가장 빈번했던 비배타적 차단 요소는 다음과 같다:
  • 재구성 (14 케이스)
  • 릴리스 가능성 (9 케이스)
  • 리플레이/소스 해상 (4 케이스)
  • 페어링 (3 케이스)
  • 오라클 타당성 (1 케이스)
  • 참고: Case C38은 기술적으로 재구성이 가능(exact-upstream)했으나, 오직 조건부 릴리스 가능성(Conditional releaseability) 때문에 제외되었다. 이는 릴리스 제약이 기술적 증거 품질과 독립적일 수 있음을 보여준다.
• 프로비넌스 감사: 190개 행에 대한 심층 감사 결과, 52개의 모든 분석기 관련 의미론적 속성은 독립적 그라운드 트루스가 아닌 **소스 기반(source-informed)**이었다. 심층 샘플 내에서 직접적이거나 문서화된 결과 경계는 존재하지 않았으며, 선언된 모든 결과 싱크(consequence sink)는 추론된 것이었다.
• 결론 관련 불확실성 (Case C4): Case C4는 해결되지 않은 집행 활동(enforcement-activity) 필드가 할당 방식(fail-open vs. fail-closed)에 따라 서로 다른 고정 상태 결론을 낳는다는 것을 입증했다. 한 할당 하에서는 결과가 Witness이지만, 다른 할당 하에서는 No-Witness-under-Abstraction이 된다. 이는 미해결 대안($U$)이 단순한 문서화 오버헤드가 아니라, 보증 결론을 근본적으로 바꿀 수 있음을 증명한다.

주요 기여

1. 증거 품질의 경험적 특성화: 본 연구는 공개 공개와 엄격한 보증 준비 벤치마크 사이의 간극(39/40 vs. 20/40)을 정량화하고, 포함을 방해하는 구체적인 차단 요소(재구성, 릴리스 가능성 등)를 분해한다.
2. 요소 수준 프로비넌스 감사: 분석기 상대적 의미론($\Gamma$), 명목적 프로비넌스($P$), 미해결 대안($U$)을 분리하는 프레임워크를 도입하여, 소스 쌍(source-pair)의 회복이 반드시 의미론적 필드에 대한 독립적 그라운드 트루스를 제공하는 것은 아님을 명시한다.
3. 불확실성 경계 식별: Case C4를 통해, 해결되지 않은 표현 가정이 정적 보증 결론을 변경할 수 있음을 보여줌으로써, 미해결 대안이 부정적 결과로 강제되기보다는 첫 번째 클래스 엔티티로서 유지되어야 한다고 주장한다.
4. AIRR-40 리소스: 20개의 exact-upstream 엄격 매니페스트, 공개 증거 포인터, 재현 아티팩트를 포함하는 재사용 가능한 동결된 40개 케이스, 49개 필드 레지스트리를 공개한다.

의의 및 주장
본 논문은 다음을 주장하지 않는다:

• 모집단 준비도 또는 탐지기 정확도 추정.
• 새로운 ISO/IEC 25012 데이터 품질 모델 또는 보편적인 서수적 증거 강도 척도 제안.
• 탐지기를 위한 학습 코퍼스 역할.
• 공개 취약점의 일반적인 필터링에 대한 독창성 주장(Vul4J 및 Croft et al. 등의 선행 연구 인정).

대신, 의의는 보증 지향 벤치마크 구축을 위한 증거 품질의 특성화에 있다. 본 연구는 도구 사용 에이전트 및 보증 연구를 위해, 증거의 "적합성"은 단순히 패치의 존재 여부가 아니라 시스템 표현의 재구성 가능성, 릴리스의 타당성, 그리고 미해결 의미론적 대안의 명시적 처리에 의해 결정된다고 주장한다. AIRR-40 리소스를 통해 연구자들은 이러한 태스크 상대적 품질 조건을 검사하고, 결과를 재계산하며, 본 연구의 엄격한 기준을 보편적 규칙으로 수용하지 않고도 대안적인 허용 정책을 적용할 수 있다. 본 연구의 결과는 $R \neq S$ (표현은 시스템과 같지 않음)를 경고하며, 기초 증거에 특정 의미론적 프로비넌스가 부족할 경우 보증 질문 자체가 잘못 설정될 수 있음을 시사한다.