기술 요약: 자율주행 차량 취약점을 위한 구조화된 위협 정보 생성에 대한 오픈 웨이트 LLM 평가

문제 정의

커넥티드 및 자율주행 차량(CAV)은 센서, 전자 제어 장치(ECU), 텔레매틱스와 같은 소프트웨어 및 하드웨어 구성 요소의 복잡한 상호작용에 의존하며, 이로 인해 보안 취약성에 노출될 수 있습니다. 이러한 취약점은 현재 공통 보안 취약점(CVE) 데이터베이스에 비구조화된 평문 텍le 설명으로 기록되어 있습니다. 보안 전문가들은 위험을 효과적으로 완화하기 위해 영향을 받는 자산, 약점 유형 및 공격 동작에 관한 구조화된 정보가 필요합니다. STIX(Structured Threat Information Expression) 형식은 이러한 지식을 표현하는 표준화된 방법을 제공하지만, 비구조화된 CVE 설명을 STIX 번들(STIX 도메인 객체[SDO], STIX 관계 객체[SRO], 공통 약점 열거(CWE) 및 MITRE ATT&CK 매핑으로 구성됨)로 변환하는 것은 노동 집약적인 수동 프로세스입니다.

대규모 언어 모델(LLM)은 언어를 이해하고 구조화된 지식을 생성하는 능력을 갖추고 있지만, 선행 연구에 따르면 LLM이 생성한 STIX 출력은 불완전한 객체, 잘못된 관계, 유효하지 않은 구조 및 환각(hallucination)된 속도로 인해 문제가 발생하는 경우가 많습니다. 기존의 STIX 생성용 데이터셋은 일반적인 사이버 보안 텍스트나 CWE 예측과 같은 특정 작업에 집중되어 있으며, CAV 관련 CVE를 전체 STIX 번들로 매핑한 전용 벤치마크는 부족합니다. 따라서 이 특정 도메인을 위해 오픈 웨이트 LLM을 평가하고, 신뢰할 수 있는 자동화된 위협 인텔리전스 생성을 촉진하기 위한 그라운드 트루스(ground-truth) 데이터셋을 구축할 데 대한 비판적 요구가 존재합니다.

방법론

데이터셋 구축 (CAV-STIXGen)

도메인 특화 벤치마크의 부재를 해결하기 위해, 저자들은 다음 6단계 과정을 통해 CAV-STIXGen 데이터셋을 구축했습니다:

1. 키워드 구성: LLM을 사용하여 생성하고 저자들이 정교화한 도메인 특화 키워드 목록을 만들어 CAV 구성 요소(예: LiDAR, CAN 버스, V2X) 및 제조사를 포함했습니다.
2. CVE 수집: 키워드를 사용하여 국가 취약점 데이터베이스(NVD)에서 445개의 후보 CVE 레코드를 검색했습니다.
3. 관련성 필터링: 포함 기준(차량 구성 요소, EV 충전, 인포테인먼트 등) 및 제외 기준(일반 웹/소프트웨어 취약점)을 바탕으로 레코드를 필터링했습니다. 그 결과 183개의 고유하고 관련성이 높은 CAV 관련 CVE가 추출되었습니다.
4. 어노테이션(Annotation): 두 명의 저자가 STIX 2.1 사양에 따라 각 CVE에 대해 SDO 및 SRO를 수동으로 어노테이션하였으며, 94%의 평가자 간 일치도를 달성했습니다.
5. 매핑: CVE를 CWE 카테고리 및 MITRE ATT&CK 기법에 매핑했습니다. NVD에서 제공하는 매핑을 검증하였으며, NVD 데이터가 누락된 경우 수동 분석을 수행했습니다.
6. 변환: 검증된 어노테이션을 그라운드 트루스 STIX 2.1 JSON 번들로 변환했습니다.

LLM 평가

본 연구는 4가지 카테고리(일반 목적, 사이버 보안 특화, 코드 지향, 대용량 모델)에 걸쳐 11개의 오픈 웨이트 LLM(4B에서 120B 파라미터 범위)을 평가했습니다. 평가는 다음과 같이 진행되었습니다:

• 입력: CVE 식별자 및 설명.
• 전략: 세 가지 프롬프팅 전략을 테스트했습니다:
  • Contextless (문맥 없음): 최소한의 지침만 제공.
  • STIX-guided (STIX 가이드형): 객체 유형, 관계 및 매핑에 대한 명시적 지침 제공.
  • Dynamic Few-Shot (동적 퓨샷): 유사도 점수에 의해 선택된 5개의 유사한 그라운드 트루스 예시가 추가된 가이드형 프롬프팅.
• 파라미터: 실험은 온도(temperature) 0, 0.25, 0.75, 1.0에서 실행되었습니다.
• 지표: SDO, SRO 및 CWE 추출을 위해 마이크로 정밀도(Micro-precision), 재현율(Recall), F1 점수를 사용했습니다. MITRE ATT&CK의 경우, Match@1(적어도 하나의 올바른 기법)과 Match@All(모든 올바른 기법)을 모두 보고했습니다.
• 멀티 에이전트 설정: 역할별 분해(추출, 매핑, 검증 작업의 분리)가 성능을 향상시키는지 조사하기 위해 Gemma-4-31B와 Codestral-22B를 사용한 구성을 테스트했습니다.

위협 패턴 분석

그라운드 트루스 데이터셋을 분석하여 빈번하게 발생하는 CWE 카테고리와 MITRE ATT&CK 기법을 식려했습니다. FP-Growth(최소 지지도 0.02) 및 연관 규칙(최소 신뢰도 0.30)을 사용하여 공통 출현 분석을 수행함으로써 반복되는 공격 패턴을 식별했습니다.

주요 기여

1. CAV-STIXGen 데이터셋: 183개의 CAV 관련 CVE를 SDO, SRO, CWE 및 MITRE ATT&CK 매핑을 포함한 그라운드 트루스 STIX 2.1 JSON 번들로 매핑한 수동 어노테이션 벤치마크 데이터셋.
2. LLM 평가: 비구조화된 CAV 취약점 설명으로부터 구조화된 위협 인텔리전스를 생성하기 위한 11개 오픈 웨이트 LLM에 대한 포괄적인 평가.
3. 프롬프팅 전략 분석: 다양한 모델 크기와 유형에 따라 서로 다른 수준의 작업 가이드(contextless, guided, few-shot)가 생성 품질에 미치는 영향에 대한 비교 연구.
4. 위협 패턴 식별: 교통 보안 도메인에 특화된 빈번한 CWE 및 MITRE ATT&CK 공통 출현 패턴을 밝히는 그라운드 트루스 데이터 분석.

결과

데이터셋 특성

최종 데이터셋은 183개의 CVE를 포함하며, 1,383개의 SDO 인스턴스와 1,395개의 SRO 인스턴스로 구성됩니다. 가장 빈번한 SDO 유형은 인프라스트럭처, 공격 패턴, 취약점, 아이덴티티, 위협 행위자입니다. 평균적으로 각 CVE는 7.56개의 SDO, 7.62개의 SRO, 1.15개의 CWE 매핑 및 1.61개의 MITRE ATT&CK 매핑을 포함합니다.

LLM 성능

• 프롬프팅 전략: 동적 퓨샷(Dynamic few-shot) 프롬프팅이 모든 작업에서 일관되게 가장 좋은 결과를 보였습니다. Contextless 프롬프팅은 특히 암시적 객체 및 관계에 대해 낮은 성능을 보였습니다.
• 작업 성능:
  • SDO 추출: 상위 모델(예: Phi-4, LLaMA-70B, Codestral-22B)이 동적 퓨샷 프롬프팅 하에서 0.94의 F1 점수에 도달하며 높은 성능을 달성했습니다.
  • SRO 추출: 올바른 소스/타겟 쌍 및 관계 유형을 식별하는 복잡성으로 인해 성능이 낮았습니다. 최선의 결과는 Qwen-Coder의 F1 점수 0.63이었습니다.
  • CWE 매핑: 동적 퓨샷 프롬프팅 하에서 여러 모델이 0.99에 근접한 F1 점수를 기록하며 높은 정확도를 보였습니다.
  • MITRE ATT&CK 매핑: 가장 어려운 과제로 남았습니다. Match@1 점수는 개선되었으나(Gemma-4-31B의 경우 최대 0.68), Match@All 점수는 여전히 낮아 단일 CVE에 대한 모든 유효한 기법을 식별하는 데 어려움이 있음을 나타냈습니다.
• 모델 비교: 모든 하위 작업에서 탁월한 성능을 보이는 단일 모델은 없었습니다. 코드 지향 모델(Qwen-Coder, Codestral)과 대규모 일반 목적 모델(LLaMA-70B, GPT-120B)이 일반적으로 가장 우수한 성능을 보였습니다.
• 멀리 에이전트 설정: 멀티 에이전트 구성은 Gemma-4-31B의 SDO 추출 성능을 향상시켰으나(F1 0.91), SRO 추출에 대한 최상의 단일 모델 퓨샷 결과(Codestral-22B의 F1 0.43)를 일관되게 능가하지는 못했습니다.

위협 패턴 분석

• CWE: 가장 빈번한 약점은 CWE-787 (Out-of-bounds Write), CWE-284 (Improper Access Control), CWE-20 (Improper Input Validation)이었습니다. 데이터셋 내 상위 10개 CWE 중 5개가 2025년 CWE Top 25 목록과 중복되었습니다.
• MITRE ATT&CK: 가장 빈번한 기법은 T1499 (Endpoint Denial of Service), T1203 (Exploitation for Client Execution), T1210 (Exploitation of Remote Services)이었습니다.
• 공통 출현: 가장 빈번한 기법 쌍은 T1203–T1499(10개의 CVE에서 등장)였으며, T1210–T1499 및 T1068–T1548이 그 뒤를 이었습니다.

의의 및 주장

본 논문은 CAV-STIXGen 데이터셋이 교통 도메인에서의 AI 지원 위협 인텔리전스 생성을 평가하기 위한 필수적인 토대를 제공한다고 주장합니다. 연구 결과는 오픈 웨이트 LLM이 명시적인 취약점 객체를 추출하고 약점(CWE)을 매핑하는 데는 효과적이지만, 복잡한 관계 추출 및 포괄적인 공격 기법 매핑(MITRE ATT&CK)에 필요한 그래프 수준의 추론에는 어려움을 겪는다는 것을 보여줍니다.

저자들은 프롬프트 가이드가 결정적이라고 주장합니다. 특히 동적 퓨샷 프롬프팅은 타겟 관련 예시를 제공함으로써 contextless 또는 순수 가이드 방식보다 성능이 현저히 높습니다. 결론적으로, LLM이 CVE-to-STIX 변환의 일부를 자동화할 수는 있지만, 현재의 모델들은 관계 구축 및 다중 기법 공격 매핑과 같은 전체적인 구조적 위협 인텔리전스의 복잡성을 처리하기 위해 외부 검증 및 잠재적인 멀티 에이전트 또는 검색 증강(RAG) 접근 방식이 필요합니다. 본 연구는 데이터셋과 그 발견을 반복되는 위협 패턴을 식별함으로써 교통 보안의 방어 우선순위를 정하는 데 유용한 자원으로 위치시킵니다.