기술 요약: Windows COM 바이너리에서의 에이전트식 취약점 추론

문제 정의

Windows 컴포넌트 객체 모델 (COM) 서비스는 로컬 권한 상승 (LPE) 에 있어 중요한 공격 표면입니다. 수백 개의 권한이 부여된 COM 클래스가 Windows 서비스 프로세스에서 실행되며, 종종 인증된 사용자가 원격 프로시저 호출 (RPC) 을 통해 접근할 수 있습니다. 이러한 바이너리에서 발생하는 레이스 컨디션은 공유 객체 상태에 동기화 없이 동시 RPC 스레드가 접근할 때 발생하며, 이로 인해 서비스의 권한 수준에서 임의 코드 실행을 가능하게 하는 사용 후 해제 (UAF) 및 이중 해제 (DF) 취약점이 초래됩니다.

폐쇄형 바이너리에서 이러한 취약점을 탐지하는 것은 극히 어렵습니다. 분석에는 최적화 컴파일러가 타입 및 심볼 정보를 제거한 함수들 간의 스레드 인터리빙, 객체 수명 주기, 그리고 잠금 프로토콜에 대한 추론이 필요합니다. 기존 접근 방식은 근본적인 한계에 직면해 있습니다:

• 커버리지 기반 퍼징 (Fuzzers) 은 특정 레이스 인터리빙을 유발하기 위한 스레드 스케줄링 제어가 부족합니다.
• 정적 분석기 (예: COMRace) 는 포괄적인 쌍 열거에 의존하며, 잘못된 별칭 (aliasing) 과 모델링되지 않은 입력 조건으로 인해 높은 오탐률을 보이며, 레지스터 사용 및 vtable 레이아웃에 대한 구조적 가정으로 인해 취약점을 놓치는 경우가 많습니다.
• 수동 리버스 엔지니어링 은 진입 함수의 양과 공유 상태 접근 추적이 복잡하여 생산용 COM 서비스로 확장되지 못합니다.

대규모 언어 모델 (LLM) 은 역컴파일된 코드에 대한 강력한 의미적 추론 능력을 보여주지만, 취약점 발견에서 라이브 환경에서 검증된 개념 증명 (PoC) 생성으로 이어지기 위해 필요한 구조화된 파이프라인과 특정 도구를 갖추지 못했습니다.

방법론: Slyp 파이프라인

저자들은 Windows COM 바이너리에서 레이스 컨디션 취약점을 발견하고 디버거로 검증된 PoC 코드를 생성하도록 설계된 종단 간 에이전트 파이프라인인 Slyp를 제시합니다. Slyp 는 장기적 바이너리 분석을 위한 엔지니어링 기능이 강화된 표준 ReAct(추론 - 행동 - 관찰) 루프를 활용하며, 구조화된 취약점 보고서를 통해 연결된 두 가지 명확한 단계에서 작동합니다.

1. 아키텍처 및 에이전트 설계

Slyp 는 MCP 호환 에이전트와 통합할 수 있는 모델 중립적 에이전트 아키텍처를 사용합니다. 주요 엔지니어링 기능은 다음과 같습니다:

• 컨텍스트 관리: 수십 개의 진입 함수를 역컴파일할 때 생성되는 방대한 토큰 수를 처리하기 위해, Slyp 는 사전 압축 체크포인팅을 사용합니다. 이는 활성 컨텍스트 창을 압축하기 전에 외부 파일에 함수 간 발견 사항 및 분석 상태를 보존하여, 에이전트가 중요한 컨텍스트를 잃지 않고 분석을 재개할 수 있게 합니다.
• 메모리 시스템: 압축 인덱스와 주제 파일로 조직된 파일 기반 메모리 시스템은 에이전트가 영구적 발견 사항 (함수 요약, 취약점 패턴) 을 저장하고 BM25 검색을 통해 검색할 수 있게 하여, 전체 상호작용 기록을 다시 읽을 필요를 없앱니다.
• 작업 검증: 미들웨어 검증기는 에이전트의 궤적을 검사하여 조기 종료를 방지합니다. 세션이 종료되기 전에 에이전트가 의미 있는 도구 사용을 수행하고 사용 가능한 산출물을 생성했는지 확인하여, 모델의 자기 평가가 아닌 실행 상태에 기반한 제어 결정을 보장합니다.

2. 도구 인터페이스 (MCP)

Slyp 는 에이전트에 필요한 정적 컨텍스트, 메타데이터 및 동적 피드백을 제공하는 세 가지 범주의 재사용 가능한 모델 컨텍스트 프로토콜 (MCP) 도구 인터페이스를 노출합니다:

• 바이너리 탐색 (1 단계): IDA Pro 를 기반으로 한 이 도구들은 통합된 가상 디스패치 해결 (COM 의 vtable 포인터 해결에 필수), 디시어셈블리, 교차 참조, 그리고 호출 그래프 탐색을 위한 역컴파일을 제공합니다. 이를 통해 에이전트는 공유 상태 데이터 흐름을 추적하고 레이스 후보를 식별할 수 있습니다.
• COM 검사 (2 단계): OleViewDotNet 을 기반으로 한 이 도구들은 레지스트리 열거, 인터페이스 선언, 보안 기술자 (시작/접근 권한), 그리고 메서드 시그니처 (IDL/C++) 를 포함한 라이브 COM 메타데이터에 대한 온디맨드 접근을 제공합니다. 이는 에이전트가 활성화 요구 사항을 이해하고 뼈대 코드를 생성할 수 있게 합니다.
• 동적 디버깅 (2 단계): WinDbg 와 MSVC 를 기반으로 한 이 도구들은 반복적인 컴파일 - 실행 - 디버깅 루프를 지원합니다. 에이전트는 C++ PoC 코드를 컴파일하여 격리된 QEMU VM 에서 라이브 COM 서비스에 대해 실행하고, 충돌 덤프, 호출 스택, 그리고 레지스터 상태를 캡처합니다. 이 루프는 디버거로 검증된 충돌이 캡처될 때까지 PoC 를 정제합니다.

3. 워크플로우

• 1 단계 (탐지): 에이전트는 바이너리 탐색 도구를 사용하여 역컴파일된 코드를 탐색하고, 가상 디스패치를 해결하며, 데이터 흐름을 추적하여 대상 진입 함수 전반에 걸친 레이스 컨디션 취약점을 식별합니다.
• 2 단계 (PoC 생성): 1 단계에서 얻은 취약점 보고서를 사용하여 에이전트는 COM 검사 도구를 통해 활성화 메타데이터를 검색하고 뼈대 PoC 를 생성합니다. 그런 다음 동적 디버깅 도구를 사용하여 반복 루프에 진입하여 코드를 정제하고, 스레드 타이밍을 조정하며, 실제 충돌을 통해 취약점을 검증합니다.

주요 기여

1. 재사용 가능한 MCP 도구 인터페이스: 저자들은 바이너리 탐색, COM 검사, 동적 디버깅의 세 가지 범주 도구를 구축하여 MCP 호환 에이전트와 통합시켰으며, 이는 탐지와 PoC 생성의 주요 동력 역할을 합니다.
2. 종단 간 에이전트 파이프라인 (Slyp): 체크포인팅, 메모리, 검증과 같은 특정 엔지니어링 기능을 ReAct 루프와 결합한 장기적 바이너리 분석 시스템입니다. 이는 취약점 탐지 및 PoC 생성 모두에서 기존 생산용 코딩 에이전트보다 우수한 성능을 보입니다.
3. 벤치마크 구축: 수동으로 검증된 정답 레이블이 포함된 40 가지 취약점 사례를 다루는 20 개의 COM 객체 데이터셋으로, 순환성 없는 검증을 위한 8 개의 독립적으로 발견된 1 일 CVE 를 포함합니다.
4. 실제 영향: 9 개의 생산용 Windows 서비스 전반에 걸쳐 이전에 알려지지 않은 28 개의 제로데이 취약점을 발견했으며, 모두 Microsoft Security Response Center (MSRC) 에 의해 확인되었습니다.

실험 결과

저자들은 Slyp 를 여섯 개의 백본 모델을 대상으로 한 최첨단 생산용 코딩 에이전트 (Codex 및 Claude Code) 와, 최첨단 정적 분석기 (COMRace++) 의 재현본에 대해 평가했습니다.

• 취약점 탐지: 20 개의 COM 객체 (40 가지 사례) 로 구성된 벤치마크에서 Slyp 는 GPT-5.4 를 사용하여 F1 점수 0.973을 달성했습니다. 이는 기본 최소 도구를 갖춘 생산용 에이전트 (0.724–0.910 F1) 와 최첨단 정적 분석기 COMRace++ (0.299 F1) 보다 3.3 배 높은 성능이었습니다. 최소 도구만으로도 생산용 에이전트는 Slyp 보다 뒤처졌으며, 최대 0.208 F1 의 격차가 있었습니다.
• PoC 생성: Slyp 의 특정 COM 검사 및 동적 디버깅 도구가 없는 생산용 에이전트는 사실상 **0%**의 사례만 해결했습니다. 전체 도구 세트를 사용하면, 최상의 Slyp 구성 (Opus 4.6) 은 67.5% 검증률 (40 건 중 27 건) 을 달성했습니다. 상위 네 가지 구성은 전체 40 건 중 34 건 (85.0%) 을 해결했습니다.
• 실제 배포: 생산용 Windows 서비스에 배포된 Slyp 는 28 개의 제로데이 취약점을 발견했습니다. MSRC 는 이 28 건을 모두 확인하여 16 개의 CVE를 할당하고 $140,000의 보상을 지급했습니다. 해당 취약점들은 Low/Medium 무결성에서 System 무결성으로의 로컬 권한 상승을 가능하게 했습니다.

중요성 및 주장

본 논문은 Slyp 가 소스 코드 접근 없이 생산용 바이너리에서 제로데이 레이스 컨디션 취약점을 자율적으로 발견하고 디버거로 검증된 PoC 를 생성할 수 있는 최초의 종단 간 에이전트 파이프라인이라고 주장합니다.

저자들은 LLM 이 강력한 의미적 추론 능력을 갖추고 있지만, 복잡한 바이너리 분석 작업에서 효과적이기 위해서는 구조화된 지지와 도메인 특화 도구가 필요하다고 강조합니다. Slyp 는 의미적 추론과 반복적 검증 및 동적 디버깅을 결합한 에이전트 접근 방식이 오탐 및 바이너리 내 구조적 한계에 직면하는 기존 정적 분석과 방향성 없는 생산용 코딩 에이전트 모두를 크게 능가함을 보여줍니다.

이 연구는 바이너리 탐색, COM 특화 메타데이터 검사, 그리고 동적 디버깅의 결합이 취약점 발견과 실행 가능한 악용 증거 사이의 격차를 해소하는 데 필수적임을 강조합니다. 이 파이프라인은 일반화되도록 설계되어 Windows COM 서비스를 넘어 다른 상용 오프더셸 (COTS) 바이너리에도 적용 가능함을 시사합니다.