Operationalising Cyber Risk Management Using AI: Connecting Cyber Incidents to MITRE ATT&CK Techniques, Security Controls, and Metrics

이 논문은 제한된 자원을 가진 조직을 위해 자연어 처리 기술을 활용하여 사이버 사고를 MITRE ATT&CK 기법, CIS 통제 항목 및 SMART 지표에 자동 매핑하는 '사이버 카탈로그' 프레임워크와 정밀하게 미세 조정된 AI 모델을 제안하여 위협 인텔리전스를 실행 가능한 보안 조치로 전환하는 방법을 제시합니다.

핵심

이 논문은 **"사이버 공격을 자동으로 분석하고, 어떻게 방어해야 할지 알려주는 똑똑한 AI 비서"**를 개발한 이야기입니다.

작은 기업들은 해킹이 얼마나 위험한지 알지만, 전문 인력이나 돈이 부족해서 어떻게 막아야 할지 몰라 헤매는 경우가 많습니다. 이 연구는 그 문제를 해결하기 위해 자연어 처리 (NLP) 기술을 활용한 새로운 시스템을 만들었습니다.

이 복잡한 내용을 쉽게 이해할 수 있도록 세 가지 핵심 비유로 설명해 드릴게요.

---

1. 문제 상황: "해커의 수첩 vs 방화벽 매뉴얼"의 언어 장벽

상상해 보세요.

• **해커 (공격자)**는 'MITRE ATT&CK'라는 고급 암호화된 수첩을 들고 있습니다. 해커가 어떤 방식으로 침입했는지 (예: "문고리 따기", "창문 깨기") 이 수첩에 적혀 있습니다.
• **기업 (방어자)**은 'CIS'라는 방어 매뉴얼을 가지고 있습니다. "문고리는 잠그고, 창문은 강화유리로 교체하라"는 식의 구체적인 지침이 적혀 있습니다.

문제점:
기존에는 보안 전문가가 해커의 수첩을 하나하나 읽어보고, "아, 이건 '문고리 따기'네. 그럼 우리 매뉴얼의 3 번 조항을 적용해야겠다"라고 직접 연결해야 했습니다. 하지만 해커가 너무 많고, 매뉴얼도 두꺼워서 사람이 일일이 하려면 시간이 너무 오래 걸리고 실수도 많습니다. 특히 작은 기업은 이런 전문가를 고용할 돈도 없습니다.

2. 해결책: "사이버 카탈로그 (Cyber Catalog)"라는 거대한 연결고리

연구팀은 이 두 가지를 자동으로 연결해 주는 **거대한 지식 데이터베이스 (Cyber Catalog)**를 만들었습니다.

• 비유: 마치 구글 번역기처럼 작동합니다.
  • 해커가 쓴 복잡한 공격 설명 (자연어) 을 입력하면, 이 시스템이 자동으로 "아, 이건 MITRE ATT&CK 의 'T1059'라는 기술이네"라고 번역합니다.
  • 그리고 바로 이어 "그럼 'CIS 12 번'이라는 방어 조치를 취하면 되네"라고 연결해 줍니다.
  • 심지어 "이 방어 조치가 잘 작동했는지 확인하려면 '문이 1 초 안에 잠겼는지'를 측정하라"는 **구체적인 지표 (지표)**까지 알려줍니다.

이 시스템 덕분에 기업은 복잡한 전문 용어를 몰라도, "어떤 공격이 있었는지"만 입력하면 "어떻게 막아야 하고, 어떻게 효과를 측정할지"까지 자동으로 알려줍니다.

3. 기술의 핵심: "AI 의 훈련 과정" (왜 이 AI 는 더 똑똑할까?)

이 AI 를 만들기 위해 연구팀은 다음과 같은 특별한 훈련을 시켰습니다.

1. 데이터 부족을 해결 (가상 훈련):

   • 실제 해킹 사례 데이터는 762 건밖에 없어서 AI 를 가르치기에 부족했습니다.
   • 해결: 최신 AI(GPT-5) 를 시켜서 762 건의 사례를 바탕으로 7 만 5 천 건의 새로운 가상 해킹 시나리오를 만들어냈습니다. (예: "서울의 A 회사가 해킹당했다"를 "부산의 B 회사가 해킹당했다"로 바꾸되, 해킹 방법은 똑같이 유지).
   • 비유: 요리사가 레시피 1 개만 가지고는 요리를 못 배웁니다. 그래서 그 레시피를 바탕으로 7 만 5 천 가지의 변형된 요리를 만들어 연습시킨 셈입니다.

2. 오답 교정 (하드 네거티브 마이닝):

   • 해킹 기술은 서로 매우 비슷해서 헷갈리기 쉽습니다. (예: '문고리 따기'와 '열쇠 복사하기'는 비슷하지만 다름).
   • 해결: AI 가 "이게 문고리 따기야!"라고 잘못 말했을 때, "아니야, 이건 열쇠 복사야. 아주 비슷하지만 달라!"라고 가장 헷갈리는 오답들을 специально 보여주고 가르쳤습니다.
   • 비유: 시험을 볼 때, 정답과 가장 비슷한 오답 (함정 문제) 을 많이 풀어보게 해서 실수를 줄인 것입니다.

3. 결과:

   • 이 훈련을 받은 AI 는 기존 모델들보다 약 37% 더 정확하게 해커의 수첩을 해석하고 방어 매뉴얼을 찾아냈습니다.
   • 특히, "이 방어책이 효과가 있었는지"를 숫자로 측정할 수 있게 해주어, "우리가 돈을 잘 썼다"는 것을 증명할 수 있게 되었습니다.

---

요약: 이 연구가 우리에게 주는 의미

이 연구는 **"사이버 보안이 전문가만의 전유물이 아니게 되었다"**는 것을 보여줍니다.

• 작은 기업도: 전문 보안 팀이 없어도 이 AI 도구를 쓰면, 해킹 공격이 났을 때 "어떤 공격이었는지"와 "어떻게 막아야 하는지"를 즉시 알 수 있습니다.
• 의사결정: "우리가 방어를 잘하고 있나?"라는 질문에 "네, 해킹 시도가 50% 줄었고, 이 방어 조치가 90% 성공했습니다"라는 구체적인 숫자로 답할 수 있게 됩니다.

결론적으로, 이 연구는 복잡한 해킹 정보와 실제 방어 조치를 AI 가 자동으로 연결해 주어, 모든 기업이 더 안전하고 똑똑하게 사이버 공격에 대응할 수 있게 만든 혁신적인 도구입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem Statement)

• 배경: 사이버 공격의 빈도와 정교화가 가속화됨에 따라, 특히 인력, 예산, 전문성이 부족한 중소기업 (SME) 들은 사이버 위협에 대응하기 어렵습니다.
• 기존 방식의 한계:
  • 수동 프로세스: 비정형화된 사고 보고서 (Incident Descriptions) 를 분석하여 MITRE ATT&CK 기법으로 매핑하고, 이를 CIS Critical Security Controls 같은 보안 통제 항목과 연결하는 과정은 분석가의 수동 작업에 의존하여 시간이 많이 소요되고 오류가 발생하기 쉽습니다.
  • 주관적 평가: 보안 통제 조치의 효과성을 평가할 때 객관적인 데이터나 측정 가능한 지표 (Metrics) 가 부족하여, 보안 투자의 효과를 입증하거나 위험을 정량화하기 어렵습니다.
  • 지식 단절: 위협 인텔리전스 (ATT&CK), 방어 통제 (CIS Controls), 성과 지표 (Metrics) 가 서로 분리되어 있어 통합된 위험 관리가 어렵습니다.
• 핵심 질문: 어떻게 자동화된 AI 모델을 통해 사고를 기법으로 매핑하고, 이를 보안 통제 및 측정 가능한 지표와 연결하여 실행 가능한 위험 관리 프레임워크를 구축할 수 있는가?

2. 제안된 방법론 (Methodology)

이 연구는 Cyber Catalog라는 지식 베이스와 이를 활용하는 AI 기반 자동화 프레임워크를 제안합니다.

2.1. Cyber Catalog 개발

• 구조: 세 가지 핵심 요소를 통합한 지식 베이스입니다.
  1. CIS Critical Security Controls (v8): 18 개의 통제 항목과 153 개의 구체적 조치 (Safeguards).
  2. MITRE ATT&CK Techniques: 실제 관찰된 적대자 행동 기법.
  3. SMART Metrics: 통제 조치의 효과를 측정하기 위한 구체적이고 측정 가능한 지표 (Specific, Measurable, Achievable, Relevant, Time-bound).
• 매핑: 각 CIS 통제 조치 (Safeguard) 를 ATT&CK 기법과 양방향으로 매핑하여, 어떤 위협이 어떤 통제로 방어되는지 명확히 연결합니다.

2.2. 데이터 준비 및 증강 (Data Preparation)

• 기초 데이터: 유럽 사이버 사고 레포지토리 (EuRepoC) 의 762 건의 사고 - 기법 쌍 (Incident-Technique Pairs) 을 전문가가 수동으로 라벨링하여 확보했습니다.
• 합성 데이터 증강 (Synthetic Data Augmentation):
  • 데이터 부족 문제를 해결하기 위해 GPT-5를 활용하여 762 건의 원본 사고를 바탕으로 100 개씩의 합성 사고 설명을 생성하여 총 76,200 개의 데이터를 확보했습니다.
  • 품질 관리: 생성된 데이터의 의미적 일관성을 확인하기 위해 BERTScore를 사용 (F1 스코어 임계값 0.75 적용) 하여 74,986 개의 고품질 데이터로 정제했습니다.
  • 엔티티 무작위화: 지명, 조직명, 날짜 등을 무작위화하여 모델이 특정 개체에 과적합 (Overfitting) 되는 것을 방지했습니다.

2.3. 모델 아키텍처 및 학습 전략

• Base Model: all-mpnet-base-v2 (Sentence Transformers 기반) 를 선택했습니다.
• 학습 전략:
  • Hard Negative Mining: ATT&CK 기법 간 유사도가 높은 '거짓 부정 (False Negative)' 데이터를 GPT-5 를 통해 생성하여 모델이 세밀한 차이를 구분하도록 학습시켰습니다.
  • Duplicate-Aware Loss Function: 하나의 기법이 여러 사고에 매핑될 수 있는 '1 대 다 (One-to-Many)' 관계를 처리하기 위해, 배치 (Batch) 내 중복된 긍정 쌍을 제거하는 NoDuplicatesDataLoader를 적용하여 MultipleNegativesRankingLoss (MNRL) 의 오류를 수정했습니다.
• 학습 환경: PyTorch, Sentence-Transformers 라이브러리, NVIDIA Quadro RTX 5000 GPU 에서 10 에포크 학습 수행.

3. 주요 기여 (Key Contributions)

1. Cyber Catalog 공개: CIS Controls, MITRE ATT&CK, SMART 지표를 통합한 최초의 체계적인 지식 베이스를 공개하여, 위협 인텔리전스를 실행 가능한 통제 및 측정 가능한 결과로 연결하는 표준을 제시했습니다.
2. 고품질 학습 데이터 구축 방법론: BERTScore 기반의 품질 평가와 Hard Negative Mining, 중복 인식 (Duplicate-aware) 손실 함수를 결합하여 도메인 특화 데이터의 품질과 학습 효율성을 극대화하는 방법을 제시했습니다.
3. 성능 향상 입증: 범용 트랜스포머 모델을 사이버 도메인 데이터로 미세 조정 (Fine-tuning) 함으로써, 기존 베이스라인 모델 대비 유의미한 성능 향상을 달성했습니다.

4. 실험 결과 (Results)

제안된 미세 조정 모델 (ft_mpnet_v6) 은 여러 베이스라인 모델 (all-mpnet-base-v2, all-distilroberta-v1, all-MiniLM-L12-v2) 보다 월등히 우수한 성능을 보였습니다.

• 상관관계 (Correlation Metrics):
  • Spearman Correlation (ρ): 0.7894 (베이스라인 대비 약 0.20~0.23 향상). 이는 "매우 강한 (Very Strong)" 상관관계 수준으로, 사고와 기법의 매핑 순위가 매우 정확하게 예측됨을 의미합니다.
  • Pearson Correlation (r): 0.8756으로, 예측값과 실제값 간의 선형적 관계가 매우 강력합니다.
• 오차 지표 (Error Metrics):
  • MAE (평균 절대 오차): 0.1352 (베이스라인 대비 약 67% 감소).
  • MSE (평균 제곱 오차): 0.0272 (베이스라인 대비 약 90% 이상 감소).
  • 오차 분포: 모델의 오차 분포가 0 에 매우 밀집되어 있어, 예측의 일관성과 안정성이 높음을 확인했습니다.

5. 의의 및 활용 (Significance & Applications)

• 자동화된 사고 대응 (Triage): 보안 분석가는 사고 발생 시 수동 매핑 없이 AI 를 통해 즉시 관련 ATT&CK 기법과 대응해야 할 CIS 통제 항목을 식별할 수 있어, 대응 시간을 단축합니다.
• 데이터 기반 위험 관리: 통제 조치의 효과를 정량적인 지표 (Metrics) 로 추적하여, 어떤 보안 투자가 실제 위험 감소에 기여하는지 객관적으로 증명할 수 있습니다.
• 자원 제약 환경 지원: 전문 인력이 부족한 중소기업 (SME) 이도 이 프레임워크를 통해 체계적이고 증거 기반의 사이버 위험 관리 체계를 구축할 수 있습니다.
• 향후 연구 방향: 오픈소스 침입 탐지 시스템 (HIDS) 에 플러그인으로 통합하여 실시간 분석을 수행하고, NIST SP 800-53 등 다른 규제 프레임워크로의 매핑 범위를 확장할 계획입니다.

결론적으로, 이 연구는 비정형화된 사이버 사고 정보를 AI 를 통해 구조화된 위협 기법과 보안 통제, 그리고 측정 가능한 성과 지표로 자동 변환하는 실행 가능한 프레임워크를 제시함으로써, 사이버 위험 관리의 효율성과 과학성을 크게 높였습니다.