TIJERE: A Novel Threat Intelligence Joint Extraction Model Based on Analyst Expert Knowledge

기술 요약: TIJERE – 분석가 전문가 지식 기반의 새로운 위협 인텔리전스 공동 추출 모델

문제 제기
비정형 보고서에서 구조화된 위협 인텔리전스를 추출하는 것은 위협 분석을 자동화하기 위해 사이버 보안 지식 그래프 (CKG) 를 구축하는 데 필수적입니다. 이 과정은 개체명 인식 (NER) 과 관계 추출 (RE) 에 의존합니다. 공동 추출 (JE) 모델은 오류 전파를 줄임으로써 파이프라인 추출 (PE) 보다 이론적 이점을 제공하지만, 사이버 보안 도메인의 기존 JE 방법은 다음과 같은 중대한 장애물에 직면해 있습니다:

1. 중첩된 관계: 문장에는 종종 동일한 개체가 서로 다른 역할로 참여하는 여러 개체 쌍이 포함되어 있어, 표준 태깅 방식이 이를 명확히 구분하기 어렵습니다.
2. 특성 혼란: 개체와 관계의 특성이 명확히 분리되지 않을 경우, 모델은 특히 중첩을 처리하기 위해 문장 복제를 사용할 때 노이즈가 발생하면서 두 작업을 동시에 학습하는 데 어려움을 겪습니다.
3. 모호한 관계 유형: 분석가들은 종종 "hasAttackTime"과 같은 일반 모델에 대한 의미적 명확성이 부족한 비어휘 표현을 사용합니다.
4. 도메인 언어 모호성: 일반 언어 모델은 "Mimikatz"와 같은 사이버 보안 특유의 전문 용어를 포착하지 못해 개체 탐지 성능이 저하되고 노이즈가 전파됩니다.
5. 데이터 부족: 사이버 보안 NER 및 RE 를 위해 특별히 설계된 공개된 공동 라벨링 데이터셋이 부족합니다.

방법론: TIJERE 프레임워크
저자들은 추출 작업을 다중 시퀀스 라벨링 표현 (MSLR) 문제로 재정의하는 데이터 기반 JE 프레임워크인 TIJERE를 제안합니다. 아키텍처는 다음과 같은 핵심 구성 요소로 이루어져 있습니다:

• 다중 시퀀스 라벨링 표현 (MSLR): 문장당 단일 시퀀스를 생성하는 대신, TIJERE 는 문장 내의 모든 유효한 개체 쌍에 대해 별도의 시퀀스를 생성합니다. 이 접근 방식은 각 특정 관계 예측을 위한 컨텍스트를 격리함으로써 본질적으로 중첩된 관계를 처리합니다.
• 전문 도메인 특성 (EDFs): 특성 혼란과 의미적 모호성을 해결하기 위해 모델은 MSLR 에 두 가지 전문가 주도 특성을 통합합니다:
  • 개체 유형: 주체와 목적어의 의미 범주 (예: "HackOrg"와 "Tool") 를 인코딩합니다. 이는 모델에 도메인 특유의 컨텍스트를 제공하여 분석가의 추론을 모방합니다 (예: 해커 그룹이 도구를 사용한다는 것은 "사용" 관계를 시사함).
  • 개체 마스크: 고려 중인 개체 쌍에 속하는 특정 토큰을 강조하는 벡터 기반 표현으로, 모델이 관련 위치 정보에 집중하도록 안내합니다.
• SecureBERT+ 임베딩: 이 프레임워크는 사이버 보안 텍스트에 대해 미세 조정된 SecureBERT 의 변형인 **SecureBERT+**를 활용하여 도메인 특유의 전문 용어를 포착하고 언어적 모호성을 줄이는 동적 임베딩을 생성합니다.
• 모델 아키텍처:
  • 인코더: 순차적 종속성을 포착하기 위해 SecureBERT+ 다음에 BiGRU 레이어가 배치됩니다.
  • NER 헤드: 토큰 수준 개체 태깅을 위한 Dense 레이어와 조건부 무작위장 (CRF) 레이어입니다.
  • RE 헤드: 개체 풀링 메커니즘이 개체 마스크를 기반으로 토큰 임베딩을 집계하여 정적 개체 유형 임베딩과 연결한 후, Softmax 가 적용된 Dense 레이어를 통해 관계 분류를 수행합니다.
  • 손실 함수: NER 손실 (CRF) 과 RE 손실 (교차 엔트로피) 의 가중 합을 사용하여 공동 최적화를 수행합니다.

주요 기여

1. TIJERE 모델: 외부 규칙 기반 모듈에 의존하지 않고 중첩된 관계와 특성 혼란을 해결하기 위해 MSLR 과 전문가 주도 특성 (개체 유형 및 마스크) 을 결합한 새로운 아키텍처입니다.
2. DNRTI-JE 데이터셋: 사이버 보안 NER 및 RE 를 위한 최초의 공개된 공동 라벨링 데이터셋을 도입했습니다. 이는 15 가지 사전 정의된 관계 유형과 도메인 온톨로지를 포함하여 6,592 개의 고급 지속적 위협 (APT) 그룹을 설명하는 문장을 확장한 원래 DNRTI 데이터셋을 기반으로 합니다.
3. 실증적 검증: 사이버 보안 도메인에서 기존 최첨단 JE 및 PE 방법보다 TIJERE 가 더 우수한 성능을 발휘함을 보여주는 포괄적인 평가입니다.

실험 결과
DNRTI-JE 데이터셋에서 평가된 TIJERE 모델 (특히 EDF 가 활성화된 SecureBERT+-BiGRU-CRF 변형) 은 최첨단 성능을 달성했습니다:

• NER 성능: F1 점수 0.93 (정밀도: 0.93, 재현율: 0.94).
• RE 성능: F1 점수 0.98 (정밀도: 0.98, 재현율: 0.99).
• 절대 실험:
  • EDF 를 활성화하면 RE 성능이 크게 향상되었습니다 (예: BERT-CRF RE F1 이 0.44 에서 0.97 로 급증), 반면 NER 성능은 안정적으로 유지되었습니다.
  • "개체 유형" 특성만으로도 상당한 향상을 제공했지만, 개체 유형과 개체 마스크의 조합이 가장 높은 정확도를 보여주어 의미적 및 위치적 단서의 상호 보완성을 확인시켰습니다.
  • SecureBERT+ 변형은 일관되게 표준 BERT 및 RoBERTa 모델을 능가하여 도메인 특유의 사전 학습의 중요성을 강조했습니다.

의의 및 주장
이 논문은 TIJERE 가 사이버 보안에서 공동 추출의 고유한 과제를 해결하도록 특별히 설계된 최초의 데이터 기반 접근법이라고 주장합니다. 분석가 전문가 지식을 모델의 특성 표현 (EDF 를 통해) 에 직접 통합하고 다중 시퀀스 라벨링 전략을 활용함으로써, TIJERE 는 기존 방법들을 괴롭히는 특성 혼란과 중첩된 관계 문제를 효과적으로 완화합니다.

저자들은 TIJERE 와 표준화된 DNRTI-JE 벤치마크의 결합이 의료, 금융, 생물정보학 등 구조화된 정보 추출이 필요한 다른 도메인으로 이전 가능한 잠재력을 가진 고성능 인텔리전스 추출을 가능하게 한다고 주장합니다. 이 연구는 접근 방식이 특성 공학과 데이터 모델링을 위해 전문가 지식을 필요로 하지만, 복잡하고 규칙이 많거나 계산 비용이 많이 드는 기존 솔루션에 비해 견고하고 효율적인 대안을 제공하여 선제적 방어를 위한 고품질 CKG 구축을 촉진한다고 강조합니다.