Generating Proof-of-Vulnerability Tests to Help Enhance the Security of Complex Software

기술 요약: 복잡한 소프트웨어의 보안을 강화하기 위한 취약점 증명 (PoV) 테스트 생성

문제 제기
소프트웨어 공급망 (SSC) 공격은 애플리케이션 (Apps) 이 사용하는 서드파티 라이브러리 (Libs) 의 취약점을 악용합니다. 취약한 종속성을 탐지하거나 수정을 제안하는 도구들이 존재하지만, 이러한 도구들은 종종 특정 취약점이 다운스트림 애플리케이션 내에서 실제로 악용 가능한지 입증하지 못합니다. 개발자들은 보안 위험을 평가하고 수정 작업을 우선순위화하기 위해 구체적인 실행 가능한 증거, 즉 취약점 증명 (PoV) 테스트가 필요합니다. 그러나 이러한 테스트를 수동으로 작성하는 것은 어렵고, 기존 자동화 도구들 (예: SIEGE, Transfer) 은 복잡한 Java 애플리케이션에 대한 PoV 테스트 생성에서 제한적인 성공만 보였습니다. 핵심적인 과제는 취약한 라이브러리 API 에 도달하는 애플리케이션 수준의 진입점을 식별하고, 특정 프로그램 컨텍스트를 고려하여 테스트를 생성하며, 이러한 테스트가 취약점을 성공적으로 유발하는지 검증하는 데 있습니다.

방법론: PoVSmith
저자들은 Java 애플리케이션에 대한 PoV 테스트의 생성, 실행 및 평가를 자동화하도록 설계된 에이전트 기반 접근법인 PoVSmith를 제안합니다. 이 시스템은 네 가지 명확한 단계를 통해 작동합니다:

1. 1 단계: 에이전트 기반 호출 경로 분석

   • 목표: (간접적으로) 취약한 라이브러리 API(싱크) 를 호출하는 애플리케이션 수준의 진입점 (공용 메서드) 을 식별합니다.
   • 접근 방식: 현대 JDK 와 바이트코드 - 소스 매핑에 어려움을 겪는 전통적인 정적 분석 도구 (WALA 또는 Soot 등) 에 의존하는 대신, PoVSmith 는 AI 코딩 에이전트 (Codex) 를 활용합니다.
   • 프로세스: 에이전트는 CLI 통합 스크립트를 통해 프롬프트를 받아 애플리케이션의 소스 코드를 분석합니다. 이는 취약한 API 의 모든 호출을 찾아내고, 다른 공용 메서드를 통과하는 경로를 필터링하여 최소 공격 면적을 식별하기 위해 호출 경로를 공용 메서드까지 역추적합니다.

2. 2 단계: 에이전트 기반 테스트 생성

   • 목표: 악용 로직을 보여주는 JUnit 테스트를 반복적으로 생성합니다.
   • 접근 방식: 에이전트 (Codex) 는 다음을 포함하는 포괄적인 템플릿으로 프롬프트됩니다:
     • 컨텍스트: 취약한 API, 소스 메서드, 그리고 전체 호출 경로.
     • 예시: 라이브러리 자체에서 취약점을 보여주는 참조 테스트 (예: 패치된 버전이 악성 입력을 거부하는 반면 취약한 버전은 이를 허용하는 방식을 보여주는 테스트).
     • 제약 조건: 테스트 구조 (Arrange-Act-Assert), 독립성 (호출 경로 엔티티의 모킹 금지), 그리고 페이로드 구성에 대한 규칙.
   • 반복: 에이전트는 자기 비판 루프에 참여합니다. 테스트를 생성하고 빌드/실행을 시도한 후 출력을 분석하며, 오류 (예: 컴파일 실패 또는 잘못된 동작) 를 기반으로 테스트를 개선합니다. 이는 시도 횟수 제한까지 계속됩니다.

3. 3 단계: 테스트 컴파일 및 실행

   • 목표: 에이전트가 겉보기에 정확하지만 기능하지 않는 코드를 생성하는 '할루시네이션'을 방지하기 위해 생성된 테스트를 검증합니다.
   • 프로세스: 자동화 스크립트는 프로젝트의 빌드 시스템 (Maven 또는 Gradle) 을 사용하여 생성된 테스트를 컴파일하고 실행합니다. 이는 스택 트레이스와 런타임 결과와 같은 상세한 로그를 캡처하며, 이는 다음 단계의 기준이 됩니다.

4. 4 단계: LLM 기반 평가

   • 목표: 테스트가 취약점을 성공적으로 유발하는지 결정합니다.
   • 접근 방식: 대규모 언어 모델 (GPT-5.1) 은 테스트 코드와 실행 로그를 분석합니다. 이는 테스트 동작 (예: 특정 예외 또는 어설션 실패) 이 취약점의 존재를 확인하는지 결정하도록 프롬프트됩니다. 출력에는 판단 ("예/아니오/알 수 없음"), 신뢰도 수준 및 추론이 포함됩니다.

주요 기여

1. 새로운 에이전트 기반 방법론: PoVSmith 는 호출 경로 분석, 예시 기반 생성, 실행 피드백을 통한 반복적 개선, 그리고 LLM 기반 자기 비판을 결합한 파이프라인을 도입합니다.
2. AI 능력의 특성화: 이 연구는 호출 경로 분석 및 테스트 생성에서 코딩 에이전트 (Codex, Gemini, Mistral) 의 효과와 실행 로그에 기반한 테스트 품질 평가에서 LLM 의 정확성을 체계적으로 평가합니다.
3. 새로운 데이터셋: 저자들은 20 개의 CVE 와 관련된 33 개의 <App, Lib> Java 쌍으로 구성된 데이터셋을 구축했으며, 여기에는 207 개의 검증된 호출 경로와 152 개의 고유한 애플리케이션 수준 진입점이 포함되어 있습니다.
4. 보안 발견: 이 시스템은 이전에 보고되지 않은 취약점을 식별하여 6 개의 풀 리퀘스트와 6 개의 CVE 요청을 제출하는 결과로 이어졌습니다 (출판 당시 피드백은 대기 중이었습니다).

실험 결과
33 개의 <App, Lib> 쌍에 대해 평가된 결과:

• 호출 경로 분석 (RQ1): PoVSmith 는 알려진 진입점에 대해 96% 의 정밀도(158 개 중 152 개의 메서드를 올바르게 식별) 와 81% 의 재현율을 달성했으며, F1 점수는 88% 였습니다.
• 테스트 생성 (RQ2): 152 개의 생성 작업 중 **141 개 (93%)**가 성공적으로 컴파일되었습니다. 이 중 **84 개 (55%)**가 취약점을 성공적으로 증명 (PoV) 했습니다. 시스템은 원격 코드 실행 (RCE) 에 비해 직접 탐색 (DT) 및 기타 (OTH) 공격 유형에서 더 높은 효과를 보였습니다.
• 평가 정확도 (RQ3): LLM 기반 평가자는 테스트가 취약점을 유발했는지 판단하는 데 68% 의 정확도를 달성하여 코딩 에이전트의 자기 비판 (62%) 을 능가했습니다.
• 에이전트 비교 (RQ4): Codex는 코드 생성 품질과 프롬프트 지시 사항 준수 측면에서 대체 에이전트 (Gemini Code Assist 및 Mistral Vibe) 보다 현저히 우수한 성능을 보였습니다.
• 기존 작업과의 비교 (RQ5): PoVSmith 는 최첨단 LLM 기반 접근법 [78] 을 크게 능가했습니다. 기존 접근법은 16 개의 컴파일 가능한 테스트를 생성하여 5 개의 성공적인 PoV 증명을 달성한 반면, PoVSmith 는 22 개의 성공적인 PoV 증명을 생성했습니다.

의의 및 주장
이 논문은 PoVSmith 가 실행 가능한 악용 가능성 증거를 개발자에게 제공함으로써 취약점 탐지와 실제 위험 평가 사이의 간극을 효과적으로 메운다고 주장합니다. 저자들은 그들의 접근 방식이 인간의 개입을 줄이는 동시에 기존 도구들에 비해 테스트 품질을 극적으로 향상시킨다고 강조합니다. 그들은 PoVSmith 를 취약점 탐지기가 아니라 특정 애플리케이션 컨텍스트에서 알려진 취약점의 악용 가능성을 검증하여 보안 패치 우선순위 결정에 도움을 주는 도구로 위치시킵니다. 이 연구는 전통적인 정적 분석 도구들이 효과적으로 처리할 수 없는 복잡한 소프트웨어 엔지니어링 작업을 해결하기 위해 코딩 에이전트와 반복적 실행 피드백을 결합할 수 있는 잠재력을 강조합니다.