기술 요약: AegisShield – 생성형 AI를 통한 사이버 위협 모델링의 민주화

문제 정의

전통적인 위협 모델링 방법론(예: STRIDE, PASTA, OCTIVE)은 특히 소규모 및 자원이 부족한 조직에서 채택하기에 상당한 장벽에 직면해 있습니다. 이러한 장벽에는 높은 복잡성, 상당한 시간 요구량, 전문 지식에 대한 의존성, 그리고 클라우드 환경, IoT, 사이버-물리 시스템(CPS)과 같은 현대적이고 역동적인 시스템에 효과적으로 확장할 수 없는 능력이 포함됩니다. MITRE ATT&CK 및 STRIDE와 같은 프레임워크가 구조화된 접근 방식을 제공함에도 불구하고, 이를 수동으로 구현하는 과정은 종종 불완전한 평가, 일관되지 않은 출력, 그리고 조직의 극히 일부만이 위협 커버리지에 대한 확신을 갖게 되는 "기술 격차(skills gap)"를 초과하게 됩니다. 또한, 기존의 AI 중심 프레임워크들은 공격자의 능력에 대한 비현실적인 가정을 기반으로 하거나 실시간 위협 인텔리전스와의 통합에 실패하여, 다양한 실제 시나리오에서의 실질적인 유용성이 제한되는 경우가 많습니다.

방법론

본 연구는 AegisShield를 개발하고 평가하기 위해 디자인 과학 연구 방법론(DSRM)을 채택하였으며, 이는 Streamlit 프레임워크를 통해 배포되는 Python 기반의 생성형 AI 강화 위협 모델링 도구입니다.

도구 개발

• 아키텍처: AegisShield는 OpenAI의 GPT-4o 모델을 확립된 사이버 보안 프레임워크(STRIDE, MITRE ATT&CK, DREAD) 및 위협 인텔리전스 소스(National Vulnerability Database [NVD], AlienVault Open Threat Exchange [OTX])와 통합합니다. 성능을 최적화하고 API 의존성을 최소화하기 위해, 이 도구는 MITRE ATT&CK 데이터를 담은 로컬 저장 STIX JSON 파일을 활용합니다.
• 프롬프트 엔지니어링: 시스템은 전문가의 의사결정을 시뮬레이션하도록 설계된 구조화된 프롬프트 아키텍처를 사용합니다. 프롬프트는 일관성을 보장하고 환각(hallucination) 현상을 줄이기 위해 JSON 구조화된 출력을 강제하도록 설계되었습니다. 프롬프트는 다음 다섯 가지 핵심 구성 요소를 다룹니다:
  1. MITRE ATT&CK 매핑: 로컬에 저장된 STIX 데이터셋에서 관련 전술, 기법 및 절차(TTPs)를 선택합니다.
  2. 위협 식별: 시스템 설명과 외부 컨텍스트(NVD 및 OTX의 알려진 취약점 포함)를 바탕으로 STRIDE 카테고리(Spoofing, Tampering, Repudiation, Information Disclosure, Denial of Service, Elevation of Privilege) 전반에 걸친 위협을 생성합니다.
  3. 리스크 평가: 정량적 리스크 점수 산출을 위해 DREAD 모델(Damage, Reproducibility, Exploitability, Affected Users, Discoverability)을 적용합니다.
  4. 완화 전략: 실행 가능한 대응책을 생성합니다.
  5. 테스트 케이스: 행동 주도 개발(BDD)을 위한 Gherkin 구문 기반의 테스트 케이스를 생성합니다.
• 데이터 수집: 평가는 의료, 금융, IoT, 5G 등 다양한 도메인을 아우르는 학술 문헌의 15가지 다양한 사례 연구를 활용하였습니다. 이 사례 연구들은 전문가가 개발한 STRIDE 위협 모델을 제공했습니다.
• 실험 설계:
  • 데이터셋: 도구는 전문가가 추출한 243개의 위협과 비교하여 8,100개의 위협(30개 배치 × 15개 사례 연구 × 배치당 18개 위협)을 생성했습니다.
  • 지표:
    • 복잡성 (H1): Flesch-Kincaid 가독성 점수를 통해 측정되었습니다.
    • 의미적 유사성 (H2): stsb-roberta-large Sentence-BERT 모델을 사용한 코사인 유사도(Cosine Similarity)로 측정되었습니다.
    • 프레임워크 정렬 (H3): MITRE ATT&CK TTP에 성공적으로 매핑된 위협의 비율로 측정되었습니다.
  • 통계 분석: 비정규 분포 데이터를 고려하여 가독성 측정을 위해 비모수 검정(Mann-Whitney U)을 사용했습니다. 매핑 성공률에는 일비율 검정(one-proportion tests)과 신뢰 구간이 사용되었습니다.

주요 기여

1. 위협 모델링의 민주화: 본 연구는 생성형 AI가 위협 모델링의 진입 장벽을 낮추어, 전담 사이버 보안 아키텍트가 없는 조직에서도 이를 접근 가능하게 만들 수 있음을 입증합니다.
2. 표준화 및 자동화: AegisShield는 전통적으로 며칠 또는 몇 주가 소요되던 과정을 단 몇 분 만에 수행하며, 구조화되고 표준화된 위협 산출물(STRIDE 위협, DREAD 점수, 완화책 및 테스트 케이스) 생성을 자동화합니다.
3. 위협 인텔리전스 통합: 이 도구는 NVD 및 OTX 데이터를 프롬프트 내에 통합하여 컨텍스트 위협 인텔리전스를 제공함으로써, 위협 모델이 특정 시스템 컨텍스트와 관련된 알려진 취약점 및 신규 위협을 반영하도록 보장합니다.
4. 검증 프레임워크: 본 연구는 의미적 유사성과 프레임워크 매핑 지표를 사용하여 전문가 벤치마크 대비 AI 생성 위협 모델을 평가하는 정량적 프레임워크를 구축합니다.

결과

15가지 사례 연구에 대한 AegisShield의 평가는 세 가지 주요 가설을 뒷받침하는 통계적으로 유의미한 결과를 도출했습니다.

• H1: 복잡성 감소: AegisShield가 생성한 위협은 전문가가 생성한 위협보다 가독성이 유의미하게 높았습니다.
  • 중앙값 Flesch-Kincaid 점수: 도구 생성(12.7) vs 전문가 생성(13.5).
  • 통계적 유의성: Mann-Whitney U 검정 결과 유의미한 차이가 확인되었으며(p < 0.001), 이는 도구가 커버리지를 희생하지 않으면서도 더 접근하기 쉬운 설명을 생성함을 나타냅니다.
• H2: 의미적 유사성: 도구는 전문가 모델과 의미적으로 정렬된 출력을 생성했습니다.
  • 성공률: 15개 사례 연구 중 14개에서, 적어도 하나의 배치당 코사인 유사도 점수가 0.7 이상인 경우가 50% 이상의 실행에서 나타났습니다(통계적으로 유의함, p < 0.05).
  • 고성능 사례: 음성 기반 애플리케이션, 소셜 미디어와 같은 특정 사례에서는 유사도가 0.94까지 도달하여, 전문가 수준의 통찰력을 재현하는 모델의 능력을 입증했습니다.
• H3: MITRE ATT&CK 매핑: 도구는 확립된 프레임워크에 위협을 성공적으로 매핑했습니다.
  • 전체 성공률: 생성된 8,100개 위협 중 **85.4%**가 MITRE ATT&CK TTP에 성공적으로 매핑되었습니다.
  • 통계적 유의성: 이 비율은 80% 벤치마크를 통계적으로 유의미하게 초과했습니다(p < 0.001).
  • 카테고리별 성능: 매핑 성공률은 Spoofing(94.0%)과 권한 상승(Elevation of Privilege, 91.6%)에서 가장 높았으며, Repudiation(73.5%)은 프레임워크가 요구하는 기술적 구체성에 비해 개념적인 성격이 강해 상대적으로 낮은 성공률을 보였습니다.

의의 및 주장

본 논문은 AegisShield가 사이버 보안의 "민주화"를 위한 실행 가능한 솔루션임을 주장합니다. 위협 모델링의 초기 단계를 자동화함으로써, 이 도구는 조직이 고액의 시니어 아키텍트를 고용하거나 노동 집약적인 수동 프로세스를 거치지 않고도 설계 단계부터 보안(secure-by-design) 원칙을 채택할 수 있도록 합니다.

본 연구는 전통적인 방법론이 현대의 애자일 개발 라이프사이클에 비해 너무 복잡하고 느린 반면, AegisShield는 확장 가능하고 비용 효율적인 대안을 제공한다고 상정합니다. 연구는 이 도구가 위협 식별 시간을 단축할 뿐만 아니라(며칠에서 몇 분으로), 생성된 결과물이 의미적 의미와 프레임워크 정렬 측면에서 전문가 모델과 통계적으로 대등함을 강조합니다.

그러나 저자는 다음과 같은 한계점을 언급하며 신중한 태도를 유지합니다:

• 도메인 가변성: IoT, 5G와 같이 MITRE ATT&CK 매핑이 덜 정의된 신흥 기술 분야에서는 성능의 차이가 나타났습니다.
• AI의 한계: 도구는 기본 생성형 AI 모델(GPT-4o)의 역량에 의존하며, 환각 현상(드물지만 매핑되지 않은 위협의 약 1.15%) 및 학습 데이터의 잠재적 편향 문제가 남아 있습니다.
• 범위: 본 연구는 선제적 위협 모델링에 집중하였으며, 사고 대응이나 침해 발생 후 분석은 테스트하지 않았습니다.

결론적으로, 본 논문은 생성형 AI를 구조화된 프레임워크 및 위협 인텔리전스와 통합하는 것이 위협 모델링의 접근성과 효과성을 크게 향상시켜 전체 사이버 보안 생태계를 강화할 수 있다고 결론짓습니다.