VCAO: Verifier-Centered Agentic Orchestration for Strategic OS Vulnerability Discovery

1. 연구 배경 및 문제 정의 (Problem)

운영체제 (OS) 취약점 발견의 패러다임은 도구 (Tool) 의 능력에서 오케스트레이션 (Orchestration) 지능으로 이동하고 있습니다. 최근 대규모 추론 모델 (LRM) 이 수천 개의 제로데이 취약점을 발견할 수 있음을 보여줬지만, 기존 커널 보안 워크플로 (CodeQL, Syzkaller, KASAN 등) 는 여전히 임의의 휴리스틱 (Ad-hoc heuristics) 으로 도구들을 조율하고 있습니다.

핵심 문제:

• 자원 할당의 비효율성: 제한된 분석 예산 (시간, 컴퓨팅 자원) 을 커널의 어떤 파일, 함수, 공격 경로에 할당해야 전략적 공격자의 이점을 가장 효과적으로 줄일 수 있는지에 대한 체계적인 의사결정 부재.
• 위험: 기존 방식은 도구별 성능에 의존할 뿐, 공격자의 전략적 반응 (Best Response) 을 고려하지 않아 발견 효율성과 오탐지 (False Positive) 감소에 한계가 있습니다.

2. 방법론 (Methodology)

저자들은 OS 취약점 발견 문제를 반복적 베이지안 스택버그 검색 게임 (Repeated Bayesian Stackelberg Search Game) 으로 공식화했습니다.

2.1 게임 이론적 공식화

• 참여자:
  • 수비자 (Defender): LRM 오케스트레이터. 커널 구성 요소 (파일, 함수) 에 분석 방법 (정적 분석, 퍼징 등) 과 예산을 할당하는 혼합 전략을 결정합니다.
  • 공격자 (Attacker): 다양한 유형 (APT, 기회주의적, 내부자 등) 을 가진 전략적 공격자. 수비자의 할당에 반응하여 최대 피해를 입히는 공격 경로를 선택합니다.
• 목표: 수비자는 공격자의 최선 대응 (Best Response) 을 고려하여 기대 효용을 최대화하는 전략을 사전에 약속 (Commitment) 합니다.
• 알고리즘: DOBSS (Double Oracle for Bayesian Stackelberg Security) 알고리즘을 기반으로 한 MILP(혼합 정수 선형 계획법) 를 사용하여 최적의 예산 할당 전략을 계산합니다.

2.2 VCAO 아키텍처 (6 계층 구조)

논문에서 제안한 VCAO는 다음과 같은 6 계층 구조로 구성됩니다.

1. L1 Surface Mapper: LRM 에이전트가 시스템 호출, ioctl, 파서 등 보안 관련 진입점을 추출하고 호출 그래프를 분석합니다.
2. L2 Intra-Kernel Attack Graph Builder: 커널 내부 공격 그래프 (Intra-Kernel Attack Graph) 를 구축합니다. 노드는 진입점, 내부 함수, 권한 경계, 공격 목표 (루트 권한 획득 등) 로 구성되며, 엣지는 제어 흐름/데이터 흐름/권한 전이를 나타냅니다.
3. L3 Game-Theoretic Ranker (핵심): 현재 베이지안 믿음 (Belief) 과 공격 그래프를 기반으로 DOBSS-VD 솔버를 실행하여 최적의 커버리지 벡터 ($c^*$) 를 생성합니다. (어떤 파일에, 어떤 도구를, 얼마나 할당할지 결정)
4. L4 Parallel Executor Agents: 할당된 예산에 따라 병렬로 분석을 수행하는 5 가지 전문 에이전트:
   • 패치 차 Miner (이전 수정의 누락 패턴 탐색)
   • CodeQL 에이전트 (데이터 흐름 정적 분석)
   • Fuzzing 에이전트 (Syzkaller 기반 퍼징)
   • KASAN 에이전트 (메모리 안전성 검사)
   • KCSAN 에이전트 (동시성 데이터 레이스 검사)
5. L5 Cascaded Verifier: 발견된 취약점을 3 단계 (재현성 확인, 심각도 평가, 중복 제거) 를 거쳐 검증하여 오탐지를 필터링합니다.
6. L6 Safety Governor: 모든 실행을 격리된 컨테이너에서 수행하고, 인간 검토를 필수화하며, 오남용을 탐지하는 안전 장치를 운영합니다.

2.3 학습 및 업데이트 메커니즘

• 베이지안 믿음 업데이트: 각 라운드에서 도구 출력 (경고, 정상, 크래시 등) 을 관찰하여 취약점 존재 확률을 업데이트합니다.
• 온라인 학습: 공격자의 행동이 초기에 불확실할 경우, $O(\sqrt{T})$ 의 후회 (Regret) 한계를 가지는 온라인 스택버그 학습 프로토콜을 적용합니다.

3. 주요 기여 (Key Contributions)

1. 게임 이론적 공식화: OS 취약점 발견을 반복적 베이지안 스택버그 게임과 커널 내부 공격 그래프로 모델링한 최초의 프레임워크 제시.
2. VCAO 아키텍처: LRM 오케스트레이션, 이질적 도구 통합, 계단식 검증을 포함한 6 계층 에이전트 시스템 구현.
3. 최적 예산 할당 알고리즘: DOBSS 기반의 MILP 와 공식적인 후회 (Regret) 한계를 가진 베이지안 믿음 업데이트 메커니즘 개발.
4. 포괄적인 평가: 5 개 리눅스 커널 서브시스템에 대한 광범위한 실험을 통해 검증된 취약점 발견률 향상과 오탐지 감소를 입증.

4. 실험 결과 (Results)

5 개 리눅스 커널 서브시스템 (파일시스템, 네트워킹, 네임스페이스/권한, 드라이버, io_uring/BPF) 에서 847 개의 역사적 CVE 를 재현 (Replay) 하고 실시간 발견을 수행한 결과:

• 발견 효율성 (SVUB):
  • 퍼징 전용 (Coverage-only fuzzing) 대비 2.7 배 향상.
  • 정적 분석 전용 (Static-analysis-only) 대비 1.9 배 향상.
  • 게임 이론이 적용되지 않은 다중 에이전트 파이프라인 대비 1.4 배 향상.
• 오탐지율 (False Positive Rate):
  • 인간 검토자에게 도달하는 오탐지율이 기존 도구 기반 (31.4~47.3%) 대비 68% 감소 (15.1% 수준).
• 시간 효율성:
  • 첫 번째 검증된 취약점 발견까지 걸리는 시간 (T2F) 을 기존 방법론 대비 크게 단축 (평균 3.2 시간).
• 아블레이션 연구:
  • 베이지안 업데이트 (-31%), 스택버그 최적화 (-21.2%), 공격 그래프 구조 (-24.8%) 가 전체 성능에 가장 큰 영향을 미치는 핵심 요소로 확인됨.

5. 의의 및 결론 (Significance)

• 전략적 자원 할당: 취약점 발견을 단순한 도구 실행이 아닌, 공격자의 전략적 반응을 예측하는 게임 이론적 의사결정 문제로 재정의함으로써, 제한된 자원으로 최대의 보안 효과를 달성하는 길을 제시했습니다.
• 실용적 안전성: '이중 사용 (Dual-use)' 연구의 위험을 관리하기 위해 격리된 환경, 인간 검토, 책임 있는 공개 프로세스를 아키텍처에 내장하여 안전성을 보장합니다.
• 미래 지향성: LRM 과 전통적인 보안 도구 (Fuzzer, Static Analyzer) 를 통합한 새로운 패러다임을 제시하며, 커널 보안 자동화의 지평을 넓혔습니다.

이 연구는 VCAO를 통해 OS 취약점 발견의 효율성과 정확성을 획기적으로 개선할 수 있음을 입증하였으며, 오픈소스 프레임워크를 공개하여 재현 가능한 연구를 지원합니다.