🤖 AI

Threat Modelling using Domain-Adapted Language Models: Empirical Evaluation and Insights

본 논문은 5G STRIDE 위협 모델링을 위한 도메인 적응형 대형 및 소형 언어 모델에 대한 포괄적인 실증 평가를 제시하며, 도메인 적응이나 모델 확장 중 어느 것도 일관되게 신뢰할 수 있는 성능을 보장하지 않는다는 사실을 밝혀 현재 구조화된 보안 작업에 대한 대형 언어 모델의 근본적인 한계와 향상된 추론 및 근거 기반의 필요성을 부각시킨다.

원저자: Saba Pourhanifeh, AbdulAziz AbdulGhaffar, Ashraf Matrawy

게시일 2026-05-12

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Saba Pourhanifeh, AbdulAziz AbdulGhaffar, Ashraf Matrawy

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다양한 크기의 로봇 그룹이 복잡한 5G 전화 네트워크의 보안 요원으로 행동하도록 가르치려 한다고 상상해 보세요. 당신의 목표는 특정 보안 위협 (예: 기지국으로 가장한 해커) 을 보고 STRIDE(Spoofing, Tampering, Repudiation, Information Disclosure, Denial of Service, Elevation of Privilege) 로 라벨링된 여섯 가지 특정 "통" 중 하나로 분류하게 하는 것입니다.

이 논문은 연구자들이 이 작업에 가장 적합한 로봇이 무엇인지 보기 위해 여덟 가지 다른 로봇을 시험해 본 시험의 성적표와 같습니다.

다음은 그들의 실험 내용과 발견한 바를 간단한 비유로 정리한 것입니다:

1. 참가자들: 일반주의자 vs 전문가

연구자들은 두 가지 유형의 로봇을 테스트했습니다:

일반주의자: 책, 코드, 뉴스 등 모든 것에 대해 훈련된 표준적인 똑똑한 로봇들입니다. 이들은 모든 것에 대해 조금씩 아는 사서와 같습니다.
전문가: 같은 로봇들이지만, 통신 및 사이버 보안에 특화된 "단기 집중 과정"을 추가로 받은 로봇들입니다. 이들은 지난 1 년 동안 5G 매뉴얼과 해커 가이드만 읽은 그 사서와 같습니다.

큰 질문: 로봇에게 전문적인 단기 집중 과정을 제공하면 일반적인 지식을 사용하는 것보다 보안 위협을 분류하는 데 더 나아질까요?

결과: 놀랍게도 아니요. "전문가" 로봇들이 "일반주의자" 로봇들을 일관되게 이기지 못했습니다. 때로는 전문가들이 더 좋았지만, 종종 일반주의자들과 똑같았거나 (때로는 더 나빴습니다). 분야에 대한 어휘를 아는 것만으로는 부족하며, 로봇은 사실뿐만 아니라 문제를 어떻게 생각해야 하는지를 알아야 함이 밝혀졌습니다.

2. 크기가 중요하지만 (전부는 아님)

연구자들은 다양한 크기의 로봇을 테스트했습니다:

**작은 로봇 **(10 억 개 파라미터): 똑똑한 유아와 같습니다.
**중간 크기 로봇 **(30 억 개 파라미터): 십대 청소년과 같습니다.
**큰 로봇 **(80 억 개 파라미터): 숙련된 성인처럼 행동합니다.

결과: 큰 로봇들이 일반적으로 가장 잘했습니다. 그들은 더 정확했고 실수가 적었습니다. 그러나 논문은 로봇을 단순히 크게 만드는 것만으로는 완벽함을 보장하지 않는다고 경고합니다. 가장 큰 로봇조차도 혼란을 겪거나, 일부 위협을 놓치거나, 말이 안 되는 답변을 제공했습니다. 크기가 도움이 되지만, 만능 열쇠는 아닙니다.

3. "요약 노트" (프롬프팅)

연구자들은 로봇에게 질문하는 두 가지 방법을 시도했습니다:

**Zero-Shot **(ZS): "이것은 어떤 통에 들어가나요?"처럼 질문을 직접 던지는 것입니다.
**Few-Shot **(FS): 로봇에게 몇 가지 예시를 먼저 제공하는 것입니다. 예를 들어 "이것은 'Spoofing' 통에 들어가는 위협입니다. 이것은 'Tampering'에 해당합니다. 이제 이 새로운 것은 어디에 들어가나요?"라고 묻는 것입니다.

결과: **예시 **(Few-Shot)를 제공하는 것이 일반적으로 로봇들이 정답을 더 많이 맞추는 데 도움이 되었으며, 특히 큰 로봇들에게서 그랬습니다. 시험 전에 학생에게 몇 가지 연습 문제를 보여주는 것과 같습니다. 그러나 작은 로봇들에게는 예시가 때로는 혼란을 주어 성능을 떨어뜨리기도 했습니다.

4. "스트레스 테스트" (디코딩 전략)

연구자들은 로봇에게 동일한 질문에 두 가지 방식으로 답하도록 요청했습니다:

Greedy Decoding: 로봇이 매번 가장 명백한 단일 답변을 선택합니다. 이는 항상 처음 보는 경로를 선택하는 로봇과 같습니다.
Stochastic Sampling: 로봇이 약간 무작위적으로 행동할 수 있습니다. "좋은" 답변 목록에서 선택합니다. 10 번 물어보면 10 개의 약간 다른 답변을 줄 수 있습니다.

결과: Stochastic 방법은 로봇들이 얼마나 불안정한지 확인하는 훌륭한 방법이었습니다. 작은 로봇들은 매우 불안정했습니다; 같은 질문을 10 번 물으면 10 개의 서로 다른 답변을 줄 수 있었습니다. 큰 로봇들은 훨씬 더 일관되었습니다. 이는 보안 작업에서는 답변을 번복하지 않는 로봇이 필요하다는 것을 보여줍니다.

5. "쓰레기" 문제 (잘못된 출력)

이는 주요 발견 사항이었습니다. 연구자들은 단순히 정답과 오답을 세는 것뿐만 아니라 말도 안 되는 내용도 확인했습니다.

일부 로봇은 규칙을 무시하고 통을 선택하는 대신 긴 에세이를 썼습니다.
일부 로봇은 존재하지 않는 새로운 통을 만들어냈습니다 (환각).
일부 로봇은 통 안에 답변을 제시한 후 그와 모순되는 설명을 썼습니다 (예: "이것은 Spoofing 입니다"라고 쓰지만 실제로는 "이것은 사실 Tampering 입니다"라고 씀).
일부 로봇은 포기하고 코드나 빈 공간만 썼습니다.

결과: 잘못된 출력률은 특히 작은 로봇들과 엄격한 형식 (예: 채팅 템플릿) 을 제공받지 않았을 때 높았습니다. 논문은 아직 이 로봇들을 혼자 일하게 신뢰할 수 없다고 결론 내립니다. 60% 의 확률로 정답을 맞춘다 하더라도, 나머지 40% 의 시간에는 터무니없는 내용을 쓰거나 스스로 모순된다면, 인간이 여전히 모든 답변을 확인해야 합니다.

결론

논문의 결론은 다음과 같습니다:

전문적인 훈련만으로는 부족합니다. 로봇에게 보안 책을 먹이고 보안 전문가가 되기를 기대할 수 없습니다; 위협 모델링이라는 특정 퍼즐을 해결하는 방법에 대해 훈련되어야 합니다.
크기가 크면 더 좋지만, 완벽하지는 않습니다. 큰 로봇은 더 신뢰할 수 있지만 여전히 실수를 합니다.
질문하는 방식이 중요합니다. 예시와 엄격한 형식을 제공하는 것이 도움이 되지만, 고장 난 로봇을 고치는 것은 아닙니다.
신뢰성이 핵심입니다. 보안 작업에서는 80% 정확하지만 20% "미친" 로봇은 위험합니다. 우리는 일관되고 지시를 완벽하게 따르는 로봇이 필요하며, 현재 기술은 아직 그 수준에 미치지 못합니다.

요약하자면: 이 AI 모델들은 보안을 위한 유망한 도구이지만, 현재로서는 똑똑하지만 망상에 빠지기 쉬운 인턴과 같습니다. 현실 세계에서 사용하기 전에 인간의 감독자가 그들의 작업을 다시 확인해야 합니다.

기술 요약: 도메인 적응형 언어 모델을 활용한 위협 모델링

문제 정의

대규모 언어 모델 (LLM) 은 취약점 탐지와 같은 사이버 보안 응용 분야에서 유망한 성과를 보이고 있지만, 구조화된 위협 모델링에서의 효과성은 아직 충분히 탐구되지 않았습니다. 기존 연구는 제한된 프롬프트 설정 하의 범용 LLM 에 주로 초점을 맞추었습니다. 5G 네트워크의 STRIDE 기반 위협 분류 맥락에서 도메인 적응형 모델(특히 통신 및 사이버 보안 코퍼스로 학습된 모델) 이 범용 모델보다 우수한 성능을 발휘하는지에 대한 이해에는 중요한 격차가 존재합니다. 또한, 모델 규모, 디코딩 전략 (결정론적 vs 확률적), 프롬핑 기법 (Zero-Shot vs Few-Shot) 이 구조화된 출력의 신뢰성과 타당성에 미치는 영향은 체계적으로 평가되지 않았습니다.

방법론

본 연구는 1B 에서 8B 파라미터에 이르는 8 개의 지시 튜닝 언어 모델에 걸쳐 52 가지 서로 다른 구성을 포함하는 포괄적인 실증 평가를 제시합니다. 포함된 모델에는 범용 LLM(예: Llama-3 변형) 과 도메인 적응형 모델 (통신용 Tele-LLM 과 사이버 보안용 Foundation-Sec) 이 있습니다.

실험 설정

작업: 5G 위협을 6 가지 STRIDE 카테고리 (Spoofing, Tampering, Repudiation, Information Disclosure, Denial of Service, Elevation of Privilege) 로 다중 레이블 분류.
데이터셋: Mahyoub 등 [14] 에서 도출된 모든 STRIDE 카테고리를 포괄하는 6 가지 대표적인 5G 위협.
프롬핑 전략:
- Zero-Shot (ZS): 예시 없이 직접적인 작업 지시.
- Few-Shot (FS): 위협 분류를 보여주는 컨텍스트 내 예시 포함.
- 채팅 템플릿: 지시 준수를 평가하기 위해 모델별 채팅 템플릿 사용 유무에 따른 평가.
디코딩 전략:
- Greedy Decoding: 결정론적 단일 실행 평가.
- Stochastic Sampling: 출력 일관성과 불확실성을 평가하기 위해 위협당 10 회 독립 실행 (Temperature=0.7, Top_p=0.9).
평가 지표:
- 표준 분류 지표 (정밀도, 재현율, F1-Score).
- 무효 출력률 (IOR): 요구된 형식에 부합하지 않는 출력의 비율 (예: 빈 응답, 환각된 레이블, 모순된 설명).
- 페널티 적용 F1-Score: 정확도와 출력 유효성을 모두 우선시하는 복합 지표로, $F1 \times (1 - IOR)$ 로 정의됨.

주요 기여

도메인 적응의 체계적 평가: STRIDE 기반 위협 분류를 위해 도메인 적응형 LLM(통신 및 사이버 보안) 과 범용 모델을 비교 분석한 최초의 논문입니다.
모델 속성 분석: 모델 규모 (1B–8B) 와 디코딩 전략 간의 상호작용을 조사하여, 확률적 샘플링이 소형 모델에서 분류 불확실성과 안정성 문제를 어떻게 드러내는지 규명했습니다.
프롬핑 기법의 영향: Few-Shot 프롬핑과 채팅 템플릿이 분류 품질과 지시 준수에 미치는 영향을 정량화했습니다.
출력 신뢰성에 대한 통찰: 표준 정확도 이상으로 자동화된 위협 모델링에 사용할 수 없는 모델 출력의 특정 실패 모드 (예: 환각된 카테고리, 레이블 - 설명 모순, 우아한 거부의 부재) 를 식별하고 분류했습니다.
실용적 프롬핑 가이드라인: 실증적 관찰을 바탕으로 구조화된 위협 모델링에 맞춰 출력 신뢰성을 향상시키기 위한 구체적인 프롬핑 전략을 제안합니다.

결과 및 발견

1. 도메인 적응은 만능이 아님

도메인 특화 학습이 우수한 성능을 보장한다는 가설과 달리, 도메인 적응형 모델은 범용 모델보다 일관되게 우수한 성과를 내지 못했습니다. Foundation-Sec-8B-Instruct 및 Tele-it 변형과 같은 모델들이 특정 설정에서 경쟁력 있는 점수를 달성했지만, 범용 모델 (예: Llama-3.1-8B-Instruct) 은 특히 Few-Shot 프롬핑 하에서 종종 이를 추월하거나 능가했습니다. 이는 작업별 추론과 지시 준수가 도메인 지식만큼이나 중요함을 시사합니다.

2. 모델 규모와 디코딩 전략

규모: 대형 모델 (8B 파라미터) 은 소형 모델 (1B 및 3B) 에 비해 일반적으로 더 높은 페널티 적용 F1-Score 와 더 큰 안정성을 달성했습니다. 그러나 규모 확장만으로는 분류 오류나 무효 출력을 제거하지 못했습니다.
디코딩: 확률적 샘플링은 소형 모델에서 상당한 변이성을 드러냈으며, 이는 실행 간 일관된 레이블 선택에 자주 실패함을 보여주었습니다. 반면 대형 모델은 더 안정적인 레이블 선택을 보였습니다.
Few-Shot 프롬핑: FS 프롬핑은 대형 모델이 다중 레이블 구조를 추론하는 데 도움을 주어 재현율과 F1-Score 를 일반적으로 향상시켰습니다. 그러나 소형 모델 (특히 1B) 의 경우 FS 프롬핑이 때로는 성능을 저하시키거나 무효 출력을 증가시켜 컨텍스트 내 예시 해석의 용량 한계를 나타냈습니다.

3. 출력 유효성 및 신뢰성

본 연구의 상당 부분은 **무효 출력률 (IOR)**에 초점을 맞추고 있습니다. 결과는 다음과 같습니다:

소형 모델과 채팅 템플릿이 없는 구성은 더 높은 무효 출력률 (예: 레이블 대신 설명 텍스트, 환각된 카테고리, 또는 코드 생성) 을 발생시켰습니다.
채팅 템플릿은 항상 분류 정확도를 향상시키지는 않았지만, 지시 준수를 크게 개선하여 잘못된 형식의 응답 빈도를 줄였습니다.
평가된 모델 중 어느 것도 유효한 분류를 결정할 수 없을 때 "우아하게 거부"하거나 불확실성을 표현하는 능력을 보여주지 않았으며, 대신 레이블을 환각하는 경향이 있었습니다.

중요성 및 주장

본 논문은 현재 LLM 이 도메인 적응과 규모 확장을 거쳤음에도 구조화된 위협 모델링에서 근본적인 한계에 직면해 있다고 결론 내립니다. 이 발견들은 단순히 더 많은 도메인 특화 학습 데이터를 추가하거나 모델 크기를 늘리는 것만으로는 신뢰할 수 있는 보안 자동화가 가능하다는 가정을 도전합니다.

저자들은 다음과 같이 주장합니다:

도메인 적응만으로는 구조화된 위협 모델링에 불충분하며, 모델은 특정 추론 작업과 출력 제약 조건에 대한 정렬이 필요합니다.
신뢰성은 정확성과 구별됩니다. 모델이 합리적인 F1-Score 를 달성하더라도 높은 비율의 무효 또는 모순된 출력으로 인해 운영상 신뢰할 수 없을 수 있습니다.
향후 개선은 데이터 규모 확장을 넘어 더 강력한 작업별 추론 메커니즘과 보안 개념에 대한 더 나은 기반을 포함해야 합니다.
프롬프팅 엔지니어링은 신뢰성을 향상시키는 중요한 수단이며, 특히 대형 모델의 경우 Few-Shot 예시 사용과 출력 유효성을 보장하기 위한 엄격한 형식 제약 (채팅 템플릿) 을 통해 이루어져야 합니다.

본 연구는 LLM 이 위협 모델링을 지원할 수는 있지만, 상당한 인간의 감독과 프롬핑 및 디코딩 매개변수의 신중한 구성 없이는 자율 에이전트로서 신뢰할 수 없다는 점을 시사하는 경계심 있는 실증적 기준선 역할을 합니다.