Toward Scalable Automated Repository-Level Datasets for Software Vulnerability Detection

1. 문제 제기 및 동기 (Problem Statement and Motivation)

• 배경: 최근 10 년간 공개된 소프트웨어 취약점 (CVE) 수는 급증하고 있으며, 현대 소프트웨어 시스템은 대규모 다중 모듈 코드베이스와 빠른 개발 주기를 가지게 되었습니다. 또한 AI 보조 코딩 도구의 확산은 보안 위험을 악화시키고 있습니다.
• 현황의 한계:
  • 기존 머신러닝/LLM 기반 취약점 탐지 연구는 대부분 함수 단위 (Function-level) 이진 분류로 축소되어 수행됩니다.
  • 함수 단위는 호출 맥락 (Calling Context) 이 없으면 취약점을 판단하기 어렵고, 실제 환경에서의 성능을 과대평가하는 경향이 있습니다.
  • 최근 등장한 저장소 단위 (Repo-level) 벤치마크 (ReposVul, VulEval 등) 는 맥락을 제공하지만, 대부분 수동 큐레이션에 의존하여 규모가 제한적이며, 실행 가능한 Proof-of-Vulnerability(PoV) 를 보장하지 못합니다.
• 핵심 문제: 현실적인 환경에서 실행 가능하고, 정밀하게 레이블링된, 대규모 저장소 단위 (Repository-level) 취약점 데이터셋을 자동으로 생성할 수 있는 확장 가능한 메커니즘이 부재합니다.

2. 연구 질문 (Research Questions)

이 연구는 다음과 세 가지 핵심 질문에 답하고자 합니다:

1. RQ1 (벤치마크 품질): AI 에이전트 워크플로우가 빌드/테스트 유효성을 유지하면서 실제 저장소에 현실적인 취약점을 주입하고 재현 가능한 PoV 를 산출할 수 있는가?
2. RQ2 (학습 유용성): 함수 단위가 아닌 대규모 코드베이스 단위 데이터셋으로 학습하는 것이 취약점 탐지 모델의 일반화 및 견고성 (Robustness) 을 향상시키는가?
3. RQ3 (적대적 공진화): 취약점 주입 에이전트와 탐지 에이전트 간의 적대적 공진화 (Adversarial Co-evolution) 가 저장소 단위 탐지 성능을 개선하는가?

3. 제안된 방법론 (Proposed Approach)

이 연구의 핵심은 AI 에이전트 워크플로우를 기반으로 한 자동화된 벤치마크 생성기입니다. 보안 엔지니어의 사고 과정 (목표 설정 → 가설 수립 → 변경 구현 → 검증) 을 모방하여 5 단계로 구성됩니다.

Phase A: 대상 선정 및 실행 가능한 하네스 (Harness) 구축

• 컨테이너 환경에서 프로젝트를 빌드합니다.
• 기존 테스트, 퍼즈 하네스, 또는 최소 드라이버 프로그램을 통해 테스트 하네스를 발견하거나 생성합니다.
• 테스트 통과, 샌드라이저 기준, API 계약 등 불변성 (Invariants) 을 설정하여 문제 있는 주입을 거부합니다.

Phase B: 다중 에이전트 제어에 의한 취약점 주입

CodeQL 기반 정적 분석과 협력하는 에이전트들이 주입을 수행합니다.

• Planner Agent: CodeQL 쿼리 (데이터 흐름 패턴, 위험한 싱크 등) 를 기반으로 취약점 클래스 (CWE) 와 주입 지점을 선정합니다.
• Implementer Agent: 특정 실행 경로에서만 취약점이 활성화되도록 최소한의 교차 파일 (Cross-file) 변경을 구현합니다. (함수 간 결함 강조)
• Reviewer Agent: 코딩 스타일, 개발자 의도, 인위적 서명 제거 등 현실성 제약을 준수하는지 검토합니다.
• Verifier Agent: 프로젝트를 재빌드하고 테스트를 실행하여 의도된 동작만 변경되었는지 확인합니다.

Phase C: 취약점 증명 (PoV) 합성 및 추적 산출물

각 주입된 취약점에 대해 Exploit-generation Agent가 PoV 를 생성합니다.

• 메모리 안전성: 트리거 입력, 샌드라이저/크래시 서명, 최소 재현 코드.
• 논리/웹 취약점: 엔드투엔드 요청 시퀀스 및 관측 가능한 보안 위반.
• 산출물: 스택 트레이스, 크래시 입력, 의존성 슬라이스, 최소 호출 경로 등 실행 가능한 추적 기록을 포함하여 로컬라이제이션 및 설명 품질을 평가합니다.

Phase D: 저장소 단위 탐지 에이전트 학습 및 벤치마킹

생성된 코퍼스를 활용하여 저장소 범위에서 작동하는 탐지 에이전트를 학습시킵니다.

• 코드베이스 내 도구 증강 검색 (Tool-augmented retrieval), 반복적 로컬라이제이션, 가설 정제, 검증 (PoV 재현 또는 패치 생성) 등을 수행합니다.

Phase E: 적대적 공진화 루프 (Adversarial Co-evolution Loop)

• Vulnerability Injector와 Vulnerability Detector 두 AI 모델이 경쟁적으로 진화합니다.
• 주입기는 더 현실적인 취약점을 생성하도록, 탐지기는 이를 더 정확하게 식별하도록 서로의 능력을 향상시킵니다.

4. 기대 결과 및 주요 기여 (Expected Contributions)

• 검증 계획:
  1. 주입 후 빌드/테스트 통과율 측정.
  2. PoV 재현성 확인.
  3. 계층적 샘플에 대한 전문가 감사를 통한 현실성 평가.
  4. CWE 분포 및 다중 파일 깊이 등 다양성 분석.
• 주요 기여:
  1. PoV 를 포함한 확장 가능한 저장소 단위 취약점 벤치마크 생성기 개발.
  2. 저장소 단위 취약점 탐지 에이전트 학습용 대규모 데이터셋 제공.
  3. 적대적 공진화 방법론을 통해 주입 및 탐지 능력을 지속적으로 개선하는 프레임워크 제시.

5. 의의 (Significance)

이 연구는 소프트웨어 보안 분야에서 다음과 같은 중요한 전환점을 제시합니다:

• 현실성 확보: 단순한 함수 단위를 넘어, 실제 개발 환경 (파일 간 상호작용, 설정, 빌드 과정) 을 반영한 실행 가능한 데이터셋을 제공합니다.
• 확장성: 수동 큐레이션의 한계를 극복하고 AI 에이전트를 통해 대규모로 고품질 취약점 데이터를 자동 생성할 수 있는 체계를 마련합니다.
• 강건한 AI 보안: 실제 세계의 복잡한 제약 조건 하에서도 견고하게 작동하는 차세대 취약점 탐지 AI 모델을 훈련하고 평가할 수 있는 기반을 제공합니다.

결론적으로, 이 논문은 소프트웨어 취약점 탐지 연구가 이론적 실험을 넘어 실제 적용 가능한 수준으로 도약하기 위해 필요한 데이터 인프라와 평가 방법론을 혁신적으로 제안합니다.