1. 연구 배경 및 문제 정의 (Problem)

소프트웨어 시스템의 복잡성 증가와 사이버 공격의 정교화로 인해 자동화된 취약점 탐지의 필요성이 급증하고 있습니다. 딥러닝 기반의 취약점 탐지 (DLVD) 모델은 방대하고 정확하게 레이블이 지정된 데이터셋에 의존하지만, 기존 데이터셋은 다음과 같은 심각한 한계를 가지고 있습니다:

• 노이즈가 많은 레이블: 휴리스틱 기반 라벨링은 정확도가 낮고 (일부 데이터셋은 25% 미만), 오탐 (False Positive) 이 많습니다.
• 현실성 부족: 합성 데이터는 구조적 복잡성이 부족하고, 실제 코드 기반 데이터는 레이블 신뢰도가 낮습니다.
• 기존 주입 (Injection) 기술의 한계: 취약점을 의도적으로 주입하여 데이터셋을 확장하는 기존 방법 (VGX, VulGen 등) 은 패턴 마이닝에 의존하여 커버리지가 제한적이거나 (예: VGX 는 23 개 CWE 만 지원), 문맥적 사실성 (Contextual Fidelity) 이 부족합니다. 또한, VulScribeR 과 같은 LLM 기반 방법은 하류 (Downstream) 성능을 최적화하려다 주입의 정확성을 희생하는 경향이 있습니다.

이러한 문제를 해결하기 위해 높은 사실성 (High-Fidelity), 광범위한 커버리지, 그리고 확장 가능한 자동화된 취약점 주입 프레임워크가 필요합니다.

2. 제안된 방법론: AVIATOR (Methodology)

저자들은 AVIATOR(AI Agentic Vulnerability Injection And Transformation with Optimized Reasoning) 라는 새로운 AI 에이전트 기반 워크플로우를 제안합니다. 이는 단일 모델이 모든 작업을 수행하는 방식이 아니라, 사이버 보안 전문가의 사고 과정을 모방하여 작업을 세분화하고 조정된 에이전트들이 협력하는 구조입니다.

핵심 아키텍처 및 구성 요소

1. 에이전트 워크플로우 (Agentic Workflow):

   • 전체 취약점 주입 과정을 13 개의 전문 에이전트 (9 개 AI 에이전트 + 4 개 도구 에이전트) 로 구성된 방향성 그래프로 분해합니다.
   • 주요 단계: 코드 이해 $\rightarrow$ 취약점 특정 분석 $\rightarrow$ 변환 (주입) $\rightarrow$ 검증 (차이 분석, 정적 분석, LLM 검토) $\rightarrow$ 자기 수정 (Self-correction).
   • 각 에이전트는 LLM 이나 정적 분석 도구 (Cppcheck 등) 로 구현되며, 이전 단계의 실패 시 재시도 또는 수정을 위한 피드백 루프를 가집니다.

2. 취약점 주입 모듈 (Injection Module):

   • 코드 이해 에이전트: benign 코드의 제어 흐름과 데이터 흐름을 분석합니다.
   • 정보 로더 (Information Loader): 주입할 취약점 유형 (CWE) 에 대한 상세 정의를 제공합니다.
   • 취약점 특정 코드 이해 (Vuln.-Specific Code Understanding): 코드의 안전 장치 (Sanitization checks 등) 를 식별하여 이를 우회하거나 약화시키는 지점을 찾습니다.
   • 취약점 주입기 (Vulnerability Injector): RAG(검색 증강 생성) 와 미세 조정 (Fine-tuning) 을 활용하여 코드를 변형합니다.
     • RAG: 유사한 benign/vulnerable 코드 쌍을 검색하여 컨텍스트를 제공합니다.
     • LoRA 기반 미세 조정: Supervised Fine-Tuning (SFT) 과 강화 학습 (GRPO) 을 적용하여 주입 에이전트의 성능을 향상시킵니다. 특히 SFT 가 GRPO 보다 효율적이고 안정적으로 성능을 개선함을 입증했습니다.
   • Polisher: 주입된 코드의 포맷팅을 정리하고 불필요한 주석 변경 등을 제거합니다.

3. 검증 모듈 (Validation Module):

   • 차이 분석 (Diff Analysis): 의미 있는 변경이 있었는지 확인합니다.
   • 정적 분석 (Static Analysis): Cppcheck 등을 사용하여 문법 오류나 명백한 결함을 탐지합니다.
   • 취약점 검증기 (Verifier): 정적 분석 결과와 LLM 의 컨텍스트 판단을 결합하여 의도한 취약점이 실제로 주입되었는지 최종 확인합니다. 실패 시 수정 에이전트 (Fixer) 를 통해 재시도합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 AI 에이전트 기반 취약점 주입 프레임워크: 단일 LLM 프롬프팅이 아닌, 다중 에이전트 협업과 도구 기반 검증을 통해 전문가 수준의 추론 과정을 자동화했습니다.
2. 높은 사실성과 광범위한 커버리지: 133 개의 CWE(취약점 유형) 를 지원하며 (기존 VGX 는 23 개), 주입 성공률 91~95% 를 달성했습니다. 패턴 마이닝에 의존하지 않아 다양한 CWE 에 적용 가능합니다.
3. 하류 작업 (Downstream) 성능 극대화: 생성된 데이터로 DLVD 모델을 학습시켰을 때, 기존 증강 기법 대비 가장 큰 성능 향상을 보였습니다.
4. 실용적인 확장성: 문법 거부율 2% 미만, VulScribeR 대비 4.3 배 낮은 생성 비용으로 대규모 데이터셋 구축이 가능합니다.

4. 실험 결과 (Results)

연구진은 SARD100, FormAI, PrimeVul 등 3 개의 벤치마크를 사용하여 AVIATOR 를 평가했습니다.

• 주입 성공률 (Injection Success Rate):

  • SARD100: 95%
  • FormAI: 91%
  • PrimeVul (수동 평가): 94%
  • 기존 방법 (VGX: 90%, VulScribeR: 82% 추정) 을 모두 상회하며, 특히 복잡한 실제 코드 환경에서도 높은 성능을 입증했습니다.

• 하류 DLVD 모델 성능 향상:

  • AVIATOR 로 증강된 데이터 (5,000 개 샘플) 를 사용하여 4 가지 DLVD 모델 (Devign, Reveal, LineVul, CodeT5) 을 학습시켰습니다.
  • F1 점수 향상: 증강 없음 (No Aug) 대비 평균 +21.8%, VGX 대비 +24.6%, 기존 최첨단 LLM 기반 방법인 VulScribeR 대비 +2.9% 향상.
  • 정밀도 (Precision) 와 재현율 (Recall) 동시 향상: VulScribeR 대비 재현율은 +7.4% 증가했으나 정밀도는 유지되거나 오히려 개선되었습니다. 이는 생성된 데이터의 노이즈가 적고 학습 신호가 명확함을 의미합니다.

• 분포 충실도 (Distributional Fidelity):

  • KL 발산 (KL Divergence) 분석 결과, AVIATOR 가 생성한 데이터는 원본 실세계 데이터의 분포와 가장 유사했습니다 (가장 낮은 왜곡). 이는 모델이 특정 패턴에 편향되지 않고 일반화 능력을 갖게 함을 시사합니다.

• 비용 효율성:

  • VulScribeR 대비 4.3 배 낮은 비용으로 1,000 개당 약 $0.44 의 비용으로 5,000 개 샘플을 생성했습니다.

5. 의의 및 결론 (Significance)

AVIATOR 는 소프트웨어 보안 데이터셋 구축의 패러다임을 전환합니다.

• 신뢰할 수 있는 벤치마크 구축: 높은 레이블 정확도와 사실성을 제공하여 DLVD 모델의 성능을 공정하게 평가할 수 있는 기준을 마련했습니다.
• 효율적인 데이터 증강: 기존 수동 주입이나 패턴 기반 방법의 한계를 넘어, 다양한 취약점 유형을 자동으로 생성하여 데이터 부족 문제를 해결합니다.
• 확장 가능성: 특정 언어나 취약점에 국한되지 않는 에이전트 설계로, 향후 다른 프로그래밍 언어나 더 복잡한 프로젝트 수준의 취약점 주입으로 확장 가능성이 큽니다.

결론적으로 AVIATOR 는 **정확성 (Fidelity), 커버리지 (Coverage), 효율성 (Efficiency)**을 모두 만족시키는 차세대 AI 기반 취약점 주입 솔루션으로, AI 기반 소프트웨어 보안 연구의 발전을 촉진할 것으로 기대됩니다.