기술 요약: ARVO – 오픈 소스 소프트웨어를 위한 재현 가능한 취약점 아틀라스

1. 문제 정의

취약점 데이터셋에서 재현성(reproducibility), 양(quantity), 그리고 다양성(diversity) 사이의 균형을 맞추는 것은 역사적으로 세 가지 요소 간의 트레이드오프 관계로 간주되어 왔으며, 그중 재현성은 가장 소홀히 다루어진 차원이었습니다. Google의 OSS-Fuzz 및 그 파생물인 OSS-Fuzz-OSV와 같은 기존의 대규모 데이터셋은 심각한 재현 실패를 겪고 있습니다. 비교 평가에 따르면, 종속성 드리프트(dependency drift), 빌드 시스템의 부식(bit-rot), 누락된 리소스 등으로 인해 과거의 취약한 버전 중 63%가 빌드에 실패했습니다. 결과적으로, 이러한 소스에 기반한 최근의 기술들은 약 37%의 취약점만을 재현할 수 있습니다.

또한, 기존 데이터셋은 트리거 입력(triggering inputs), 재현 가능한 환경, 그리고 정답(ground-truth) 패치 데이터와 같은 보안 연구에 필수적인 메타데이터가 부족합니다. 이는 동적 분석 기술, 자동 패치 생성, 그리고 후보 패치의 검증을 저해합니다. 수동으로 취약점을 재현하려는 노력(예: Mu et al.)은 인간의 노동 비용이 너무 커서 368개의 취약점이라는 제한된 규모에 머물렀으며, 합성 데이터셋은 실제 세계와의 중첩이 부족한 경우가 많습니다.

2. 방법론: ARVO 프레임워크

ARVO(Atlas of Reproducible Vulnerabilities in Open-source software)는 역사적 소프트웨어 버전을 다시 빌드하는 과정에서의 구체적인 장애물들을 해결함으로써, 대규모의 재현 가능하고 다양한 취약점 데이터셋을 생성하도록 설계된 프레임워크입니다. 이 시스템은 업스트림 소스(주로 OSS-Fuzz)로부터 메타데이터를 가져와 소스 코드, 빌드 단계 및 바이너리와 함께 보강합니다.

핵심 구성 요소

1. 리프로듀서 (The Reproducer):

   • 목표: 소스 및 빌드 환경으로부터 역사적인 취약 버전과 수정된 버전을 다시 빌드하고, 제공된 개념 증명(PoC)이 취약한 버전에서는 의도한 크래시를 발생시키지만 수정된 버전에서는 발생시키지 않음을 검증합니다.
   • 재현성을 위한 전략:
     • 최소 침습적 빌드 인스트루멘테이션 (Minimally Intrusive Build Instrumentation): 빌드 환경이 준비된 후 컨테이너 외부에서 소스 코드를 교체하여 리소스 초기화를 무시하는 OSS-Fuzz와 달리, ARVO는 빌드 프로세스를 인스트루먼트하여 리소스 다운로드 동작과 컴파일을 분리합니다. 이는 리소스 페칭(fetching) 명령만을 후킹하여 자연스러운 빌드 흐름을 보존합니다.
     • 포괄적인 버전 관리 (Comprehensive Revision Control): ARVO는 메인 프로젝트뿐만 아니라 모든 종속성에 대해 정밀한 버전 관리를 강제합니다. 각 메인 컴포넌트 커밋 시점에 사용 가능한 가장 최신의 호환 가능한 종속성 버전을 선택하기 위해 커밋 타임스탬프를 사용하여, 이진 탐색(bisection) 과정 전반에 걸쳐 빌드 환경이 일관되게 유지되도록 합니다.
     • 손상된 리소스 수정 (Broken Resource Fixing): ARVO는 누락된 리소스(예: SVN에서 Git으로 이전된 URL)를 위한 탐지-수정 루프를 유지합니다. 리소스를 "코어(core)"(컴파일에 필수적인 것)와 "비코어(non-core)"(예: 퍼징 코퍼스)로 분류합니다. 비코어 누서 리소스는 빌드 크래시를 방지하기 위해 건너뛰거나 수정되는 반면, 코어 리소스는 수동으로 수정되며(시즌당 몇 시간의 유지보수만 필요), 재사용 가능한 규칙으로 저장됩니다.

2. 취약점 패치 로케이터 (The Vulnerability Patch Locator):

   • 목표: 취약점을 수정하는 정확한 개발자 커밋을 자동으로 식별합니다.
   • 메커니즘: ARVO는 취약점 발견과 검증 사이의 커밋 범위를 대상으로 **커밋 이진 탐색(commit bisection)**을 수행합니다.
   • 종속성 처리: 이진 탐색 중에 선택된 커밋이 종속성 불일치로 인해 빌드에 실패할 경우, ARVO는 인접한 커밋으로 이동하여 탐색을 계속합니다. 이는 각 단계에 호환 가능한 종속성 버전을 동적으로 선택하기 위해 커밋 타임스탬프에 의존함으로써, 복잡한 다중 컴포넌트 프로젝트에서도 수천 개의 커밋을 탐색할 수 있게 합니다.

3. 데이터셋 구축:

   • ARVO는 각 취약점이 해당 빌드 환경과 함께 Docker 이미지로 패키징된 데이터셋을 출력합니다.
   • 백포팅(backporting) 지원: 시스템은 패치가 깔끔하게 적용된다는 전제하에, 수정 커밋을 되돌려(revert) 소프트웨어의 이전 버전이나 다른 버전에 취약점을 다시 도입할 수 있습니다.

3. 주요 기여

1. 새로운 데이터셋 패러다임: ARVO는 재현성을 보안 데이터셋에 대규모로 도입하여 양, 다양성, 그리고 소스로부터 빌드하고 취약점을 트리거하는 능력을 결합합니다.
2. 재현 문제 해결: 본 논문은 역사적 소프트웨어 재현의 핵심 과제인 호환되지 않는 종속성, 누락된 리소스, 취약한 빌드 프로세스를 확장 가능한 자동화된 설계를 통해 식별하고 해결합니다.
3. ARVO 데이터셋: 311개의 오픈 소스 C/C++ 프로젝트에 걸친 6,138개의 실제 취약점을 포함하는 포괄적인 데이터셋을 제공합니다. 여기에는 다음이 포함됩니다:
   • 취약 버전과 수정 버전 모두를 위한 인터랙티브 Docker 이미지.
   • 자동 이진 탐색을 통해 식별된 정밀한 패치 커밋.
   • 각 취약점에 대한 트리거 PoC 입력값.
4. 오픈 소스 인프라: 저자들은 프레임워크, 평가 인프라, 그리고 임의의 수정 사항을 적용하여 재컴파일할 수 있도록 12,276개의 Docker 이미지(각 재현에 대한 취약/수정 버전)를 오픈 소스로 공개했습니다.

4. 결과 및 평가

• 재현 성공률: ARVO는 시도된 취약점 중 81%(초기 후보 8,921개 중 6,138개)를 성공적으로 재현했습니다. 이는 최신 기술(약 37%를 달성하는 OSS-Fuzz-OSV)보다 44 퍼센트 포인트 향상된 수치입니다.
• 패치 정확도: 서로 다른 합의 그룹 간의 100개 무작위 사례에 대한 수동 평가에서, ARVO는 올바른 수정 패치를 찾는 데 있어 전체 89.4%의 정확도를 기록했습니다. 이는 OSS-Fuzz-OSV의 82.9% 정확도를 상회합니다.
• 복잡성 처리: ARVO는 OSS-Fuzz가 실패하는 복잡한 다중 컴포넌트 프로젝트를 효과적으로 처리합니다. 100개의 무작위 이슈 비교에서, ARVO는 81%의 사례를 재현한 반면, OSS-Fuzz는 37%만을 재현했으며 특히 컴포넌트가 하나 이상인 프로젝트에서는 거의 완전히 실패했습니다.
• 업스트림 영향: 업스트림 데이터와 교차 비교함으로써, ARVO는 취약점이 수정된 것으로 잘못 보고된(여전히 패치되지 않은) 300개 이상의 사례와 OSS-Fuzz 데이터셋 내의 잘못된 취약점 데이터(거짓 양성) 1,518개 사례를 식별했습니다.

5. 의의 및 주장

본 논문은 ARVO가 정적인 취약점 보고를 인터랙티브하고 검증 가능한 아티팩트로 변환한다고 주장합니다. 주요 의의는 다음과 같습니다:

• 다운스트림 연구 지원: 재현 가능한 환경을 제공함으로써, ARVO는 정답 데이터의 부족으로 인해 어려움을 겪었던 자동 패치 생성, 프로그램 수정, 동적 분석 기술의 평가를 지원합니다.
• 업스트림 품질 향 향상: 이 프레임워크는 OSS-Fuzz와 같은 업스트림 데이터셋에서 거짓 양성과 잘못 레이블링된 패치를 식별하고 수정하는 피드백 루프 역할을 합니다.
• 확장성 및 자동화: 수동으로 제작된 데이터셋(예: Magma)이 크기와 다양성 면에서 제한적인 것과 달리, ARVO는 고품질의 재현성이 수백 개의 다양한 프로젝트에 걸쳐 자동으로 달성될 수 있음을 보여줍니다.

저자들은 현재 ARVO가 PoC 입력에서 크래시를 유발하는 C/C++ 프로젝트에 집중하고 있지만, 이 방법론은 일반적이며 다른 언어와 버그 유형으로 확장 가능하다고 언급했습니다. 또한, 데이터셋을 재구축하는 데 드는 리소스 집약성과 결정론적으로 트리거하기 어려운 레이스 컨디션(race conditions)의 제외와 같은 한계점도 인정했습니다. 궁극적인 목표는 업스트림 소스가 재현성을 네이티브하게 채택하는 것이며, 그 시점에는 별도의 재구성 계층으로서 ARVO의 역할이 불필요해질 수 있으나, 이 방법론 자체는 해당 분야에 중요한 기여로 남을 것입니다.