기술 요약: VulTriage

문제 제기

자동화된 취약점 탐지는 소프트웨어 보안에서 여전히 중요한 과제로 남아 있습니다. 기존 딥러닝 방법 (예: GNN 과 사전 훈련된 코드 모델) 은 진전을 이루었지만, 다음과 같은 중대한 한계에 직면해 있습니다: GNN 기반 접근법은 복잡한 그래프 구성과 고품질 레이블을 요구하는 반면, 사전 훈련된 모델들은 일반적으로 코드를 선형 토큰 시퀀스로 취급하여 구조적 의존성과 실행 시맨틱을 포착하는 데 어려움을 겪습니다.

최근 대규모 언어 모델 (LLM) 은 코드 이해 분야에서 가능성을 보이지만, 취약점 탐지를 위해 원시 소스 코드에 직접 적용될 때는 세 가지 특정 결함을 겪습니다:

1. 구조적 맹점: LLM 은 코드를 토큰 시퀀스로 처리하므로 버퍼 오버플로우와 같은 취약점을 탐지하는 데 필수적인 문장 간 제어 흐름 경로와 데이터 전파 체인을 식별하기 어렵습니다.
2. 지식 부족: 범용 사전 훈련은 암시적이고 산발적인 보안 지식을 생성합니다. LLM 은 취약점 분류 체계 (예: CWE) 와 특정 취약 코드 패턴과 같은 명시적인 도메인 사전 지식이 부족합니다.
3. 시맨틱 격차: 포인터 연산, 중첩 분기, 암시적 형 변환과 관련된 복잡한 프로그램 로직은 미묘한 시맨틱 오해를 초래하여 오탐 (false positives) 이나 취약점 누락을 야기할 수 있습니다.

방법론: VulTriage

이러한 한계를 해결하기 위해 저자들은 Triple-Path Context Augmentation(삼중 경로 컨텍스트 증강) 을 통해 LLM 기반 취약점 탐지를 강화하는 프레임워크인 VulTriage를 제안합니다. VulTriage 는 원시 코드만으로 LLM 에 프롬프트를 제공하는 대신, 최종 추론을 안내하기 위해 통합된 지시문에 통합되는 세 가지 보완적 컨텍스트 스트림을 구성합니다.

1. 제어 경로 (구조적 컨텍스트)

이 경로는 정적 구조 정보를 추출하고 구어화하여 구조적 맹점을 완화하는 것을 목표로 합니다.

• 프로세스: 소스 코드는 세 가지 구조 그래프인 추상 구문 트리 (AST), 제어 흐름 그래프 (CFG), 데이터 흐름 그래프 (DFG) 로 파싱됩니다.
• 필터링: 컨텍스트 창 제한을 관리하고 노이즈를 줄이기 위해 다중 세분성 필터링 메커니즘이 적용됩니다. 이는 함수, 분기, 루프와 같은 스켈레톤 노드와 주요 연산자를 유지하면서 의미적으로 관련 없는 노드 (예: 형 확장) 를 제거합니다.
• 구어화: 필터링된 그래프는 코드 구성, 실행 경로, 데이터 전파 체인을 요약하는 간결한 자연어 설명으로 변환됩니다.

2. 지식 경로 (도메인 사전 지식)

이 경로는 검색 증강 생성 (RAG) 을 통해 명시적 취약점 패턴을 주입하여 지식 부족 문제를 해결합니다.

• 지식 베이스: 취약점 이름, 설명, 코드 예제를 포함하는 Common Weakness Enumeration (CWE) 데이터베이스에서 코퍼스가 구축됩니다.
• 쿼리 생성: LLM 은 먼저 입력 코드에 대한 잠재적 취약점 유형의 대략적인 예측을 생성하여 검색 쿼리로 활용합니다.
• 하이브리드 검색: 하이브리드 밀집 - 희소 검색 메커니즘 (BGE-M3 사용) 이 CWE 코퍼스와 쿼리를 매칭합니다. 이는 중요한 용어가 손실되지 않도록 시맨틱 일반화 (밀집 벡터) 와 어휘적 정밀도 (희소 가중치) 를 결합합니다.
• 조립: 상위 k 개의 검색된 CWE 항목이 연결되어 LLM 의 판단을 고정하는 지식 컨텍스트 $K$를 형성합니다.

3. 시맨틱 경로 (기능적 설명)

이 경로는 최종 판정 전에 코드의 노이즈가 제거된 기능적 뷰를 제공하여 시맨틱 격차를 완화합니다.

• 프로세스: LLM 에는 코드를 분석하고 기능적 행동에 대한 간결한 자연어 설명 ($E$) 을 생성하도록 쿼리가 전송됩니다.
• 초점: 이 설명은 입력 처리, 메모리 연산, 시스템 호출과 같은 주요 연산과 관찰 가능한 데이터 흐름을 강조하면서, 관찰 불가능한 의도에 대한 추측은 명시적으로 배제합니다.

통합 지시문

원시 코드 ($C$), 구조적 컨텍스트 ($S$), 지식 컨텍스트 ($K$), 그리고 시맨틱 설명 ($E$) 은 단일 지시 프롬프트로 조립됩니다. LLM 은 보안 엔지니어 역할을 수행하도록 지시받으며, 검색된 지식과 구조적 의존성의 렌즈를 통해 코드를 검사한 후 엄격한 "예/아니오" 판정을 내립니다.

주요 기여

1. VulTriage 프레임워크: 구조적, 지식 기반, 시맨틱 컨텍스트를 통합하는 Triple-Path Context Augmentation 에 기반한 새로운 LLM 기반 탐지 시스템.
2. 제어 경로 설계: AST, CFG, DFG 정보를 LLM 친화적인 자연어로 압축하는 메커니즘으로, 제어 및 데이터 의존성에 대한 인식을 개선합니다.
3. 지식 경로 설계: 명시적 도메인 사전 지식을 제공하기 위해 CWE 에서 파생된 패턴을 동적으로 검색하는 하이브리드 밀집 - 희소 검색 시스템.
4. 종합 평가: 프레임워크의 효과성과 일반화 능력을 입증하는 광범위한 실험.

실험 결과

이 프레임워크는 취약한 코드와 수정된 코드 쌍 사이의 미세한 구분을 테스트하도록 설계된 벤치마크인 PrimeVul 쌍 테스트 세트에서 평가되었습니다.

• 성능: VulTriage 는 딥러닝 베이스라인 (CodeBERT, CodeT5, UniXCoder, LineVul) 과 기존 LLM 기반 방법 (VulTrial, ConColl, GPTLens) 모두를 능가하는 최첨단 성능을 달성했습니다.
  • 147 개의 쌍별 정확 (Pair-wise Correct, P-C) 예측을 달성하여 다음으로 가장 좋은 LLM 기반 베이스라인 (81 점의 VulTrial) 을 크게 앞섰습니다.
  • 정확도 0.6356과 F1 점수 0.6907을 기록하여 이러한 주요 지표에서 모든 베이스라인을 선도했습니다.
• 절차적 연구: 세 가지 경로 (제어, 지식, 시맨틱) 중 하나를 제거하면 성능이 저하되었습니다.
  • 제어 경로를 제거하면 오류가 증가하여 구조적 증거의 필요성이 부각되었습니다.
  • 지식 경로를 제거하면 오탐률 (FPR) 이 증가하여 명시적 취약점 패턴의 가치를 나타냈습니다.
  • 시맨틱 경로를 제거하면 정확도와 F1 점수가 하락하여 기능적 이해의 중요성을 확인시켰습니다.
• 일반화: 저자원 Kotlin 데이터셋 (클래스 불균형) 에 대한 실험에서 VulTriage 는 0.57의 F1 점수를 기록하여 ConColl (0.44) 과 기타 베이스라인을 능가했으며, 저자원 환경에서의 견고성을 입증했습니다.
• 주의 분석: 주의 점수 분석 결과, 모델이 모든 입력 컨텍스트를 상호 보완적으로 활용하는 것으로 나타났습니다: 소스 코드와 시맨틱 설명은 초기 레이어에서 크게 가중치를 받으며, 지식은 중간 레이어에서, 구조적 정보는 후기 레이어에서 가중치를 받습니다.

의의

이 논문은 VulTriage 가 구조화되고, 지식을 인식하며, 시맨틱 컨텍스트를 증강하는 것이 LLM 기반 취약점 탐지를 개선하기 위한 효과적인 방향임을 보여준다고 주장합니다. 원시 토큰 시퀀스를 넘어 구조적 의존성, 도메인 특화 지식, 기능적 요약을 명시적으로 제공함으로써, 이 프레임워크는 LLM 이 미묘한 취약점 차이에 대해 더 신뢰할 수 있게 추론할 수 있게 합니다. 이러한 결과는 LLM 의 일반적 능력과 소프트웨어 보안 분석의 구체적이고 엄격한 요구 사항 사이의 격차를 효과적으로 해소함을 시사합니다.