기술 요약: 실행 가능성에서 검증 가능성으로

문제 정의

보안 연구 커뮤니티는 알려진 CVE의 재현, 개념 증명(PoC) 익스플로릿 생성, 코드 수선 등 취약점 검증을 자동화하기 위해 대규모 언어 모델(LLM) 및 에이전트 시스템에 점점 더 많이 의존하고 있습니다. 이러한 과업에서 성공을 주장하는 많은 문헌이 존재하지만, 동반되는 결과물(artifact)의 품질은 매우 다양합니다.

현재의 재현성 연구는 일반적으로 "가용성"(코드가 공개되어 있는가?)과 "실행 가능성"(빌드가 되는가?)을 측정합니다. 그러나 단순히 실행되어 신호(예: 크래시 또는 로그 메시지)를 생성하는 것과, 특정 CVE가 실제로 재현되었음을 나타내는 **의미론적 확인(semantic confirmation)**을 제공하는 것 사이에는 측정되지 않은 결정적인 간극이 존재합니다. 본 연구는 단순히 "실행되어 경고성 메시지를 출력하는" 결과물과, 실제 그라운드 트루스(ground truth)에 대해 특정 취약점을 엄격하게 검증하는 결과물을 구분하기 위한 운영화된 지표의 부재를 다룹니다.

방법론

저자는 LLM/에이전트 기반 취약점 검증 문헌에 대해 사전 등록된 독립적 재현성 감사를 수행했습니다. 본 연구는 결과물의 등급을 매기기 위해 4단계 증거 사다리(evidence ladder)를 사용합니다:

1. 가용(Available): 결과물이 공개적으로 접근 가능함.
2. 실행 가능(Runnable): 깨끗한 스냅샷(R0) 또는 최소한의 환경 호환성 수선(R1) 후 워크플로우를 완료함. 이때 익스플로릿 로직이나 오라클(oracle)을 수정하지 않아야 함.
3. 신호 생성(Signal-Producing): 실행 결과 후보 신호(크래시, 상태 변화 또는 특정 마커)를 생성함.
4. 의미론적 확인(Semantically Confirmed): 신호가 다음을 통해 검증된 CVE 특유의 사후 조건과 일치함:
   • G3a (음성 대조군, Negative Control): 베니인(benign) 입력 시 신호가 나타나지 않음.
   • G3b (패치된 반사실적 모델, Patched Counterfactual): 패치된 빌드에서 신호가 나타나지 않음.

코퍼스 및 샘플링:

• 검색: arXiv, DRLP, OpenAlex를 대상으로 한 고정된 검색 프로토콜(2023–2026)을 통해 합의된 코퍼스 내 104편의 논문을 확보했습니다.
• 가용성: 104편 중 59편(56.7%)이 공개적으로 접근 가능한 결과물을 보유하고 있었습니다.
• 논문 단위 샘플: R0/R1 실행 가능성과 수선 부담을 측정하기 위해 18편의 논문을 선정했습니다.
• 케이스 단위 샘플: 본 연구는 102개의 개별 취약점 케이스를 포함하는 "앵커 벤치마크"(arXiv:2509.24037)에 집중했습니다. 20개 케이스를 캘리브레이션 파일럿으로 사용하였고, 나머지 82개 케이스를 실행하여 전체 코퍼스 분석을 수행했습니다.

실행 프로토콜:

• R0: 수정 없이 깨끗하고 고정된 스냅샷에서 실행.
• R1: 익스플로릿 로직, 오라클, 또는 사후 조건을 건드리지 않고 환경 관련 수선(예: 누락된 종속성 설치, EOL된 apt 소스 수정)만 수행한 후 실행.
• 오라클 감사: 패치된 반사실적 그라운드 트루스에 대해 "결과물 내장형 오라클"(성공을 선언하는 스크립트 내부 로직)의 신뢰성을 독립적으로 검증했습니다.

주요 결과

1. 실행 가능성 격차 (The Runnability Gap)

테스트된 18편의 논문 단위 결과물 중:

• 단 **10/18 (55.6%)**만이 깨끗한 스냅샷(R0)에서 선언된 워크플로우를 완료했습니다.
• 환경 관련 수선(R1)을 거친 후에는 이 수치가 **11/18 (61.1%)**로 약간 상승했습니다.
• 나머지 7개의 결과물은 두 단계 모두에서 실패했습니다. 주요 실패 모드는 누락된 종속성 매니페스트, 호환되지 않는 패키지 매니저(예: uv vs pip), 그리고 결과물에 포함되지 않은 외부 서비스 또는 데이터셋에 대한 의존성이었습니다.

2. 스크립트 내부 불일치 (Script-Internal Divergence)

앵커 코퍼스에서 중요한 구조적 문제가 발견되었습니다: **58/102 (56.9%)**의 케이스에서 스크립트 내부의 CVE 식별자가 디렉토리의 선언된 CVE와 달랐습니다.

• 예시: 특정 디렉토리는 CVE-2023-25668을 선언했으나, 실행된 스크립트는 CVE-2023-25676을 트리거함.
• 이러한 불일치는 실행 전부터 재현 주장 자체의 유효성을 훼손하며, 이는 표준 가용성 감사에서는 포착되지 않습니다.

3. 결과물 내장형 오라클의 불신뢰성 (Unreliability of Artifact-Embedded Oracles)

본 연구는 "오라클"(PoC의 성공 여부를 결정하는 내부 로직)이 체계적으로 신뢰할 수 없음을 발견했습니다.

• 패치된 반사실적 모델 (G3b): 신호가 생성되고 패치된 빌드가 감사된 30개 케이스 중, **20/30 (66.7%)**가 패치된 빌드에서도 여전히 주장된 신호를 생성했습니다. 이러한 "더티(dirty)" 신호는 PoC가 특정 CVE와 무관한 일반적인 크래시나 동작을 트리거함을 나타냅니다.
• 음성 대조군 (G3a): 베니인 입력을 대상으로 테스트한 19개 케이스 중 7/19가 거짓 양성(false positive)을 트리거했습니다.
• 오라클 성능: 결과물 내장형 오라클의 혼동 행렬(confusion matrix)은 민감도(sensitivity) 60%, **특이도(specificity) 45%**를 보였습니다.
  • 오라클 트리거의 3분의 2는 거짓 양성(패치된 빌드에서도 지속되는 신호)이었습니다.
  • 실제 CVE 특유의 신호는 10개 중 4개 케이스에서 오라클에 의해 놓쳐졌습니다(대개 실제 익스플로잇이 발생했음에도 오라클이 생성되지 않은 특정 마커 파일을 찾으려 했기 때문임).

4. 의미론적 확인 격차 (The Semantic Confirmation Gap)

G2(사후 조건 일치), G3a(음성 대조군), G3b(패치된 반사실적 모델)를 모두 통과하는 엄격한 확인(E1)은 신호 생성 코퍼스 중 단 2개 케이스에서만 달성되었습니다.

• 본 연구는 "가용성 → 실행 가능성 → 신호 생성"이 "의미론적 확인"을 보장하지 않음을 강조합니다.
• 취약한 빌드에서의 트리거는 깨끗한 패치된 반사실적 모델 없이는 CVE 특유의 재현에 대한 증거가 될 수 없습니다.

의의 및 기여

본 논문은 이 분야에서 "의미론적 확인 격차"를 처음으로 운영화한 탐색적이며 사전 등록된 감사로서 자리매김합니다. 주요 기여는 다음과 같습니다:

1. 재현성 프로토콜: 다음을 특징으로 하는 보안 커뮤니티를 위한 재사용 가능한 템플릿을 제공합니다:
   • CVE 특유의 사후 조건.
   • R0/R1 수선 사다리.
   • G1–G3 의미론적 증거 단계.
   • 일반적인 크래시와 특정 CVE 재현을 구분하기 위한 패치된 반사실적 오라클.
2. 실패에 대한 실증적 증거: 본 연구는 "성공적인" LLM/에이전트 검증 결과물 대부분이 의미론적 확인을 제공하는 데 실패함을 보여줍니다. 구체적으로, 대부분의 신호 생성 케이스는 자신의 패치된 반사실적 모델에서 살아남지 못하며, 내장형 오라클은 그라운드 트루스의 불량한 대리자(proxy)입니다.
3. 개방형 증거 번들: 저자는 향후 재현성 연구의 기준으로 삼을 수 있도록 고정된 프로토콜, 스크리닝 결정, 클레임 시트, 케이스별 실행 로그를 공개합니다.

저자는 보안 커뮤니티가 단순한 트리거 문자열 체크를 넘어, LLM/에이전트 기반 취약점 재현을 검증하기 위해 패치된 반사실적 검증을 요구해야 한다고 결론짓습니다. 본 연구는 단일 앵커 코퍼스와 작은 논문 샘플을 통한 탐색적 결과이지만, 식별된 실패 모드(불일치하는 CVE ID, 신뢰할 수 없는 오라클, 패치 검증 부족)는 현재 결과물의 품질에 체계적인 문제가 있음을 시사합니다.