기술 요약: SynAT

문제 정의

사이버 공격은 소프트웨어 시스템에 중대한 위협이 되고 있으며, 취약점을 식별하고 위협을 모델링하기 위해 견고한 보안 지식 베이스(예: CVE, CAPEC 및 화웨이의 기업 데이터베이스)가 필수적입니다. 그러나 이러한 공식 저장소들은 정보 공개의 시차 문제로 인해 제로 데이(zero-day) 공격과 같은 신규 위험에 시스템이 노출되는 문제를 겪습니다. 반면, Stack Overflow와 같은 온라인 지식 공유 플랫폼에는 공식적인 공개보다 앞서 발생하는 풍부하고 실시간적인 크라우드 소스 보안 논의가 포함되어 있습니다. 문제는 비정형 텍스트 토론으로부터 구조화된 **공격 트리(attack trees)**를 직접 합성하는 것이 어렵다는 점입니다. 공격 트리는 여러 공격 이벤트 간의 복잡한 관계를 추론해야 하는 매우 추상적인 개념적 다이어그램이며, 크라우드 소스 텍스트의 노이즈와 다양성 때문에 이를 자동화하는 것은 매우 까다로운 작업입니다.

방법론: SynAT

본 논문은 크라우드 소스 보안 포스트로부터 공격 트리를 자동으로 합성하는 접근 방식인 SynAT을 제안합니다. 이 방법론은 3단계 파이프라인을 따릅니다.

1. 문장 범위 제한 (Restricting the Scope of Sentences)

전체 보안 포스트에 내재된 노이즈를 완화하기 위해, SynAT는 먼저 공격 정보가 포함될 가능성이 높은 문장으로 입력을 좁힙니다.

• 기법: 대규모 언어 모델(LLM)과 **프롬프트 학습(Prompt Learning)**을 결다하여 사용합니다.
• 구현: 포스트의 질문과 수락된 답변에서 공격 트리를 포함할 수 있는 특정 문장($K$)을 LLM이 예측하도록 설계된 "클로즈 테스트(Cloze-Testing)" 프롬프트 템플릿을 사용합니다.
• 모델 선택: 실험을 통해 Albert, T5, GPT-3, ChatGPT를 비교했습니다. GPT-3(특히 text-davinci-003)와 Fix-prompt 튜닝을 결합했을 때, 관련 문장을 식별하는 데 있어 가장 높은 성능(정밀도 97.24%, 재현율 99.36%)을 달성했습니다.

2. 이벤트 및 관계 공동 추출 (Joint Event and Relation Extraction)

범위가 제한되면, SynAT는 **전이 기반 프레임워크(transition-based framework)**를 사용하여 공격 이벤트와 그 논리적 관계를 동시에 추출합니다.

• 정의:
  • 공격 이벤트(Attack Event): 트리거(Trigger)(주동사), 대상(Target)(목적어), *도구(Instrument)*로 구성됩니다.
  • 관계(Relations): And(둘 다 필요), Or(둘 중 하나로 충분), AchievedBy(부모-자식 의존성)로 정의됩니다.
• 아키텍처: 모델은 제한된 문장을 한 번 훑으며 이동하는 12개의 전이 액션(예: GEN-TRG, RIGHT-SHIFT, O-DELETE)을 가진 상태 머신(state machine)을 활용합니다.
  • 상태($S$): 트리거($\xi$), 인자($\tau$), 버퍼($\beta$)를 위한 스택과 이벤트($E$) 및 관계($R$)를 위한 집합을 포함합니다.
  • 메커니즘: StackLSTM이 현재 상태를 임베딩하며, 멀티 레이블 분류기가 다음 액션을 예측합니다. 이를 통해 $O(n)$의 시간 복plexity를 가집니다.
• 정제: 추출 후, 시스템은 암시적 관계를 식별하고 트리의 순환 의존성을 방지하기 위해 이행적(Transitive) 및 비대칭적(Asymmetric) 규칙을 적용합니다.
• 학습: 모델은 이벤트/관계 추출 손실(SSVM)과 액션 예측 손실(Cross-Entropy)의 균형을 맞추는 결합 손실 함수를 사용하여 미세 조정(fine-tuning)됩니다.

3. 공격 트리 합성 (Synthesizing Attack Trees)

추출된 이벤트와 관계는 보안 전문가들과 함께 설계된 세 가지 휴리스틱 규칙을 사용하여 공식적인 공격 트리 구조로 변환됩니다.

1. 공격 목표 식별: 최종 대상(예: "세션 탈취")을 나타내는 이벤트가 루트 노드가 됩니다.
2. 공攻击 방법 식별: 중간 이벤트는 "공격자가 [도구]를 사용하여 [대상]을 공격한다"는 형식의 방법 노드가 됩니다.
3. 게이트 및 레이어 구축: AchievedBy 관계는 트리 레이어를 정의하며, And 및 Or 관계는 동일 레이어 내 노드 간의 논리 게이트를 정의합니다.

주요 기여

• 기법: SynAT은 LLM 기반의 범위 제한과 전이 기반의 공동 추출을 결 combination하여 크라우드 보안 포스트로부터 공격 트리를 자동으로 합성하는 최초의 연구입니다.
• 평가: 5,070개의 Stack Overflow 보안 포스트와 2,350개의 GitHub 이슈 리포트를 대상으로 종합적인 평가를 수행했습니다.
• 응용: 화웨이의 내부 보안 지식 베이스 및 공공 데이터베이스(CVE, CAPEC)를 강화하기 위한 실질적 배포가 가능합니다.
• 데이터: 1,354개의 레이블이 지정된 공격 트리와 소스 코드가 포함된 데이터셋을 공개합니다.

실험 결과

연구는 네 가지 연구 질문에 대해 SOTA(State-of-the-art) 베이스라인(Structured-Joint+, Albert, T5, GPT-3, ED3C, MLBiNet 등)과 SynAT을 비교 평가했습니다.

1. 공격 트리 합성: SynAT은 평균 해밍 거리(AHD) 10.24%, 트리 편집 거리 유사도(TEDS) 7.93%를 기록하며 가장 높은 정답 유사도를 보였으며, 이는 최선 성능의 베이스라인보다 각각 8.20%, 7.13% 더 우수한 결과입니다.
2. 이벤트 추출: SynAT은 평균 **F1 점수 80.93%**를 달성하여 최선 성능의 베이스라인보다 8.50% 앞섰습니다.
3. 관계 추출: SynAT은 평균 **F1 점수 87.81%**를 달성하여 최선 성능의 베이스라인보다 13.59% 앞섰습니다.
4. 지식 베이스 강화:
   • 공공 데이터베이스: 121개의 합성된 트리 중 **40.50%**가 CVE 공개보다 앞서 Stack Overflow에 제안되었으며, **16.53%**는 아직 CVE에 등록되지 않은 잠재적 신규 공격으로 식별되었습니다.
   • 개인 데이터베이스: 화웨이 데이터베이스의 경우, 합성된 트리의 **84.30%**가 실무자들에 의해 수용되었으며, 이는 기존 공격 트리 저장소의 42.32% 증가를 가져왔습니다.
   • 인간 평가: 실무자들은 정확성 및 적절성 측면에서 베이스라인(2.4–3.5)보다 SynAT의 트리(평균 점수 3.8/5)를 유의미하게 높게 평가했습니다 ($p < 0.01$).
   • 패치 설계: SynAT 트리를 통합했을 때, 수동 패칭의 취약점 수정율($Fix@10$)은 35.14%, 자동 패칭(CodeT5)의 경우 25.14% 향상되었습니다.

의의 및 주장

본 논문은 SynAT이 비정형 크라우드 토론과 구조화된 보안 지식 사이의 간극을 효과적으로 메운다고 주장합니다. 공격 트리를 자동 추출함으로써, SynAT은 공식 보안 데이터베이스의 결정적인 시간 지연 문제를 해결하여 조직이 신규 위협(예: 제로 데이)을 더 빠르게 식별하고 완화할 수 있도록 합니다. 공공(CVE/CAPEC) 및 개인(화웨이) 맥락 모두에서의 성공적인 적용은 소프트웨어 보안 태세를 강화하는 데 있어 이 접근 방식의 실용성을 입증합니다. 저자들은 이 방법이 휴리스틱 규칙과 LLM에 의존하지만, 전이 기반 추출을 통해 효율성과 높은 정확도를 보장하므로 지속적인 보안 지식 베이스 유지 관리에 실행 가능한 도구가 된다고 강조합니다.