From Theory to Practice: Code Generation Using LLMs for CAPEC and CWE Frameworks

1. 연구 배경 및 문제 정의 (Problem)

• 소프트웨어 취약점의 복잡성 증가: 디지털 환경의 복잡성 증가로 인해 사이버 범죄 비용은 2025 년까지 연간 10.5 조 달러에 이를 것으로 예상되며, 취약점 탐지와 대응이 더욱 어려워지고 있습니다.
• 이론과 실제 간의 격차: MITRE 에서 제공하는 CAPEC(공격 패턴 분류) 과 CWE(약점 분류) 는 취약점에 대한 포괄적인 이론적 설명을 제공하지만, 실제 코드 예시가 부족합니다.
  • 분석 결과, 최신 버전의 CAPEC(약 40%) 과 CWE(약 47%) 는 관련 코드 예시가 전혀 없거나 매우 부족했습니다.
  • 특히 JavaScript 와 Python 언어의 경우 코드 예시 가용성이 극히 낮았습니다.
• 기존 데이터셋의 한계: 기존 취약점 데이터셋 (Big-Vul 등) 은 레이블이 지정된 데이터에 의존하며, 새로운 공격 패턴을 반영하지 못하거나 실제 코드 맥락이 부족하여 머신러닝 모델 학습 및 교육에 한계가 있었습니다.

2. 제안된 방법론 (Methodology)

이 연구는 대규모 언어 모델 (LLM) 을 활용하여 CAPEC/CWE 설명에 기반한 취약한 코드 예시를 자동으로 생성하는 새로운 방법론을 제시합니다.

• 데이터 수집 및 매핑 (CAPEC-CWE Mapping):
  • CAPEC와 CWE 간의 1 대 다 (1-to-many) 관계를 활용합니다.
  • SBERT(Sentence-BERT) 를 사용하여 CAPEC 설명과 가장 의미적으로 유사한 CWE 설명을 찾아 매핑합니다.
  • 입력 데이터 증강 전략:
    • CAPEC 에 관련 CWE 가 5 개 이상이면 모두 포함합니다.
    • 5 개 미만인 경우, MITRE 데이터의 관련 CWE 에 SBERT 로 찾은 추가 CWE 를 더하여 총 5 개 이상의 컨텍스트를 제공합니다. 이는 LLM 이 취약점의 맥락을 더 잘 이해하도록 돕기 위함입니다.
• 코드 생성 프로세스:
  • 모델: GPT-4o, Llama 3, Claude-3-5-Sonnet 사용.
  • 프롬프트 엔지니어링: LangChain 을 활용하여 CAPEC 설명, 관련 CWE 설명, 프로그래밍 언어 (Java, Python, JavaScript) 를 포함한 상세한 프롬프트를 구성합니다.
  • 출력 형식: 생성된 코드는 JSON 형식으로 반환되며, 코드 스니펫, 기능 설명, 그리고 각 줄의 취약점을 설명하는 인라인 주석이 포함됩니다.
• 생성 대상: 총 615 개의 CAPEC 항목에 대해 Java, Python, JavaScript 3 개 언어로 코드를 생성했습니다.

3. 주요 기여 (Key Contributions)

• 대규모 취약점 코드 데이터셋 구축: CAPEC ID 615 개에 대응하는 615 개의 취약한 코드 스니펫을 3 개 언어로 생성하여 공개했습니다. 이는 해당 분야에서 가장 방대하고 다양한 리소스 중 하나입니다.
• 새로운 생성 방식의 확립: 기존에 존재하지 않았던 CAPEC 기반의 코드 생성 방법론을 정립했습니다. (기존 연구는 주로 CWE 기반이었습니다.)
• 교육 및 연구용 리소스 제공: 생성된 코드는 보안 교육 자료, 자동화된 취약점 탐지 도구 훈련, 그리고 취약점 메커니즘 이해를 위한 실용적인 자원으로 활용 가능합니다.

4. 평가 및 결과 (Results)

연구팀은 생성된 데이터셋의 품질을 정량적 및 정성적으로 평가했습니다.

• 컴파일 가능성 (Compilability):
  • 각 언어당 30 개의 무작위 샘플을 테스트한 결과, 약 90% 이상의 코드가 성공적으로 컴파일되었습니다. (Python 이 가장 높았으며, 그다음 Java, JavaScript 순서였습니다.)
• CAPEC 관련성 (Relevance):
  • 4 명의 전문가 (CS 박사 과정 학생) 가 독립적으로 평가한 결과, 생성된 코드가 CAPEC 설명과 일치하는 비율이 매우 높았습니다.
  • 평가자 간 합의도 (Average Pairwise Agreement, APA) 는 Java(95.83%), Python(93.33%), JavaScript(96.67%) 로 나타났습니다.
• 가독성 (Readability):
  • 15 점 척도에서 대부분의 코드가 **45 점**을 받아 가독성이 매우 높고 구조가 명확함을 확인했습니다. Python 코드가 특히 높은 점수를 받았습니다.
• 모델 간 일관성 (Consistency):
  • GPT-4o, Llama, Claude 세 모델 모두 동일한 입력에 대해 매우 유사한 코드를 생성했습니다.
  • 코사인 유사도 (Cosine Similarity): CodeBERT 를 사용하여 측정한 결과, Java 와 Python 은 0.98 이상, JavaScript 는 0.98 이상의 높은 유사도를 보여 모델 간 일관성이 뛰어났습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:
  • 이 연구는 이론적인 취약점 설명 (CAPEC/CWE) 을 실제 실행 가능한 코드 예시로 변환함으로써, 보안 연구, 교육, 그리고 자동화된 취약점 탐지 도구 개발에 중요한 기반을 마련했습니다.
  • LLM 이 복잡한 보안 컨텍스트를 이해하고 정확한 취약점 코드를 생성할 수 있음을 입증했습니다.
• 한계 및 향후 과제:
  • 비소프트웨어 관련 CAPEC: 물리적 잠금 우회 (CAPEC-391) 등 소프트웨어와 무관한 CAPEC 항목에도 코드가 생성되는 문제가 발생했습니다. 향후 필터링 메커니즘이 필요합니다.
  • CWE 개수 최적화: 현재 5 개의 CWE 를 기준으로 설정했으나, 이 수치를 조정하여 컨텍스트와 집중도 사이의 균형을 찾는 연구가 필요합니다.
  • 언어 확장: C++, Go 등 추가 언어로 데이터셋을 확장할 필요가 있습니다.

결론

본 논문은 LLM 을 활용하여 CAPEC/CWE 프레임워크에 기반한 고품질의 취약점 코드 데이터셋을 생성하는 성공적인 사례를 제시합니다. 이는 사이버 보안 교육의 실용성을 높이고, 머신러닝 기반의 취약점 탐지 기술 발전을 촉진하는 중요한 자원이 될 것으로 기대됩니다.