Validating Threat Modeling Results with the Help of Vulnerable Test Applications

기술 요약: 취약한 테스트 애플리케이션을 통한 위협 모델링 결과 검증

문제 제기
위협 모델링 결과의 검증은 보안 공학에서 여전히 중요한 과제로 남아 있습니다. 위협 모델링은 초기 단계에서 잠재적 위협을 식별하기 위한 확립된'보안 설계 (security-by-design)'실천이지만, 생성된 위협 모델의 품질을 객관적으로 평가하는 것은 어렵습니다. 현재 검증 방법들은 일반적으로 전문가가 작성한 참조 모델이나 인간 기준선과 출력을 비교하는 데 의존합니다. 그러나 이러한 접근법은 참조 자체의 한계를 물려받습니다. 전문가들 간에 이견이 있을 수 있고, 추상화 수준이 다르거나, 단순히 관련 위협을 놓칠 수 있기 때문입니다. 결과적으로, 주관적인 인간 판단에만 의존하지 않고 위협 모델의 완전성을 판단할 수 있는 외부적이고 객관적인'오라클'이 부족합니다.

방법론
이를 해결하기 위해 저자들은취약점 기반 검증 접근법을 제안하고 평가합니다. 다른 인간 모델과 비교하는 대신, 이 방법은 알려진 취약점 세트를 가진 의도적으로 취약한 애플리케이션을 실제 오라클 (ground-truth oracle) 로 사용합니다. 핵심 연구 질문은 다음과 같습니다:아키텍처, 데이터 흐름 다이어그램 (DFD), 일반 설명을 입력으로 받았을 때, 위협 모델링 도구가 생성한 위협이 분석된 애플리케이션의 알려진 취약점을 어느 정도까지 포괄하는가?

이 연구는 두 가지 도구를 비교합니다:

1. ThreMoLIA: 저자들이 개발한 LLM 지원 위협 모델링 솔루션입니다. 프로젝트 문서, 고수준 아키텍처, DFD 를 통합하기 위해 검색 증강 생성 (RAG) 을 활용합니다. 전통적인 프레임워크 (STRIDE, LINDDUN, OWASP Top 10, MITRE ATT&CK) 와 AI 특화 프레임워크 (MITRE ATLAS, OWASP Top 10 ML, OWASP Top 10 LLM) 를 지원합니다.
2. Microsoft Threat Modeling Tool (MTMT): 널리 사용되는 STRIDE 기반 도구로, Microsoft SDL 관행에 기반을 두고 있습니다.

실험은 두 가지 벤치마크 애플리케이션을 활용했습니다:

• AzureGoat: 7 개의 알려진 취약점 (웹 및 클라우드 잘못된 구성) 을 포함하도록 설계된 취약한 Azure 인프라입니다.
• VulnBank: 63 개의 알려진 취약점 (웹, API, AI 통합 결함) 을 포함하도록 의도적으로 취약하게 만든 은행 애플리케이션입니다.

실험 절차

• 입력: 두 도구 모두 동일한 입력 (아키텍처 다이어그램, DFD, 설명) 을 받았습니다. 알려진 취약점 목록은 모델링 단계 중에는 숨겨졌고, 점수 매기기에만 사용되었습니다.
• 구성:
  • MTMT 는 애플리케이션당 한 번 실행되었습니다.
  • ThreMoLIA 는 OpenAI API 를 통해 GPT-5 모델을 사용하여 실행되었습니다. 여러 구성으로 테스트되었습니다: 0-shot(DFD 만), 1-shot(DFD + 문서), 2-shot(DFD + 추가 문서), 그리고 1-shot 과 2-shot 의 병합 결과.
  • LLM 의 변동성을 완화하기 위해 ThreMoLIA 는 각 구성당 세 번 실행되었고, 결과가 집계되었습니다.
• 지표: 주요 지표는위협 포괄도로, 모델링된 위협 중 적어도 하나에 의해 포괄된 알려진 취약점의 수를 알려진 취약점의 총수로 나눈 비율 ($V_{covered} / V_{known}$) 로 정의됩니다. 전문가가 모델링된 위협이 취약점이나 이를 악용할 수 있는 조건을 의미적으로 설명한다고 판단한 경우, 해당 취약점은'포괄된'것으로 간주되었습니다. 연구에 따르면, LLM 기반 검증 단계에서 허위 양성 (환각) 은 제거되었으며, 대응되는 취약점이 없는 유효한 위협은 패널티를 받지 않았습니다. 왜냐하면 위협 모델링에는 유효한 위협에 대한 이론적 상한이 없기 때문입니다.

주요 결과
논문 표 I 에 요약된 결과는 ThreMoLIA 가 두 애플리케이션 모두에서 MTMT 보다 높은 취약점 포괄도를 달성했음을 보여줍니다:

• AzureGoat: ThreMoLIA 는 100% 포괄도(7/7 취약점) 를 달성한 반면, MTMT 는 57.1%(4/7) 를 포괄했습니다.
• VulnBank:
  • ThreMoLIA(0-shot) 는 73.0%(46/63) 를 포괄하여 이미 MTMT 를 능가했습니다.
  • ThreMoLIA(1-shot) 는 85.7%(54/63) 에 도달했습니다.
  • ThreMoLIA(2-shot) 는 82.5%(52/63) 에 도달했습니다.
  • ThreMoLIA(병합 1+2) 는 92.1%(58/63) 를 달성했습니다.
  • MTMT 는 55.6%(35/63) 를 포괄했습니다.
• 특정 발견 사항: MTMT 는 기존 세션 관리 및 클라이언트 측 결함에 대해 잘 수행되었지만, VulnBank 의 10 개 AI 고객 지원 취약점 모두를 놓쳤습니다. 반면, 가장 좋은 ThreMoLIA 구성은 10 개 AI 취약점과 9 개 인증/권한 부여 취약점 모두를 포괄했습니다.
• 전체적으로: 가장 좋은 ThreMoLIA 구성은 두 애플리케이션의 총 취약점 70 개 중 92.9%(65/70) 를 포괄한 반면, MTMT 는 55.7%(39/70) 를 포괄했습니다.

의의 및 주장
이 논문은 취약한 테스트 애플리케이션이 위협 포괄도를 평가하기 위한실용적인 벤치마크를 제공하며, 전문가만 있는 기준선에 대한 측정 가능한 대안을 제시한다고 주장합니다. 평가 기준을"도구가 특정 전문가 보고서를 일치시켰는가?"에서"도구가 시스템에 실제로 존재하는 약점을 포괄했는가?"로 전환함으로써, 이 접근법은 주관적인 인간 합의에 대한 의존도를 줄입니다.

이 연구는 MTMT 가 표준 STRIDE 스타일 아키텍처 문제에 여전히 효과적이지만, ThreMoLIA 는 기존 및 AI 관련 공격 표면이 결합된 혼합 애플리케이션 환경에 더 적합함을 강조합니다. 결과는 프로젝트 문서 (프롬프트 전략) 로 증강된 LLM 지원 모델링이 복잡하고 AI 특화 취약점 발견을 크게 향상시킬 수 있음을 시사합니다.

한계 및 향후 작업
저자들은 몇 가지 한계를 인정합니다:

1. 포괄도는 품질의 한 차원에 불과합니다. 높은 재현율 (recall) 이 관련 없는 위협의 부재를 보장하지는 않습니다.
2. 병합된 ThreMoLIA 결과는 단일 결정론적 MTMT 실행과 엄격하게 비용이 동일하지 않습니다.
3. 연구는 두 개의 애플리케이션으로만 제한되었습니다.
4. GPT-5 모델이 이러한 특정 취약한 애플리케이션의 데이터로 훈련되었을 위험이 있지만, 저자들은 입력에서 애플리케이션 이름을 변경함으로써 이를 완화했습니다.

이 논문은 취약점 기반 검증이 전문가 기준선에 유용한 보완책이라고 결론지었습니다. 저자들은 이 방법론을통신 환경(5G 코어 네트워크 및 클라우드 네이티브 인프라 포함) 으로 확장하고 ThreMoLIA 를 오픈 소스로 출시할 계획입니다.