When to Trust the Map: Confidence-Aware LLM Routing for Automotive CVE-to-ATM Mapping

기술 요약: 자동차 CVE-to-ATM 매핑을 위한 신뢰도 인식형 LLM 라우팅

문제 정의
본 논문은 공통 취약점 및 노출(CVE)을 Auto-ISAC 자동차 위협 매트릭스(ATM)에 매핑하는 데 있어 발생하는 결정적인 과제를 다룹니다. CVE는 기술적 취약점을 설명하는 반면, ATM은 공격자의 행동을 전술(Tactics)과 기법(Techniques)으로 구조화합니다. 두 표현 방식이 서로 정렬되어 있지 않기 때문에 직접적인 자동 매핑은 어렵습니다. 특히 안전이 중요한 자동차 환경에서 잘못된 매핑은 위협 해석과 완화 우선순위 설정을 왜곡할 수 있습니다. 또한, 일반 목적의 프레임워크인 MITRE ATT&CK은 자동차 특유의 맥락(예: CAN 인젝션, OTA 침해)이 부족하며, 대규모 언어 모델(LLM)은 환각 현상과 생성 일관성 부족 문제를 겪고 있어 단일 출력 자동화는 안전 필수 작업에 신뢰하기 어렵습니다. 핵심 문제는 이를 선택적 자동화(selective automation) 과제로 공식화하는 것입니다. 즉, 자동 채택이 가능할 만큼 신뢰할 수 있는 매핑과 분석가의 검토가 필요한 매핑을 구분하는 것입니다.

방법론
제안된 프레임워크는 후보 매핑을 생성, 검증, 교정 및 라우팅하도록 설계된 4단계 파이프라인으로 작동합니다:

1. 2단계 계층적 후보 생성:

   • 시스템은 전술을 먼저 예측한 다음, 해당 전술에 종속된 기법을 예측하도록 작업을 분해합니다.
   • 이 시스템은 OpenAI GPT-5.2(추론 노력 수준 = 높음)를 활용한 **계층적 인컨텍스트 학습(Hierarchical In-Context Learning, ICL)**을 사용합니다.
   • 1단계 (전술): 모델은 온톨로지 위반을 방지하기 위해 함수 호출(function-calling) 스키마를 사용하여 14개의 유효한 전술 ID 중 하나를 선택합니다.
   • 2단계 (기법): 예측된 각 전술에 대해, 모델은 해당 전술과 연관된 특정 하위 집합에서 기법을 예측합니다. 모델은 전술 특화 패턴에 집중하기 위해 k-최근접 이웃(kNN) 검색을 사용하여 "엑셈플러 풀(Exemplar Pool)"(과거 CVE로부터 유도됨)에서 의미적으로 유사한 $k=8$개의 사례를 검색합니다.
   • 일관성: LLM의 불안정성을 완화하기 위해 각 단계는 $N=5$회 호출됩니다. 쌍 레벨(pair-level) 일관성 점수는 전술의 빈도와 해당 전술이 주어졌을 때 기법의 빈도의 곱으로 계산됩니다.

2. 다중 신호 검증:

   • 자주 발생하는 오류와 올바른 매핑을 구분하기 위해, 시스템은 증거 기반 LLM-as-a-Judge를 채택합니다.
   • 검증기는 CVE 텍스트에서 ISO/SAE 21434 TARA와 정렬된 6가지 구조적 요소(예: 영향을 받는 컴포넌트 및 공격 인터페이스)를 추출합니다. 명시되지 않은 요소는 증거 기반 추론을 강제하기 위해 "알 수 없음(unknown)"으로 표시됩니다.
   • 검증기는 세 가지 축(지지(support), 모순(contradiction), 충분성(sufficiency))을 기준으로 각 후보를 평가합니다. 편향을 방지하기 위해 검증 전 후보들은 익명화됩니다.

3. 신뢰도 교정 (Confidence Calibration):

   • 메타 모델(L2 정규화 로지스틱 회귀)이 개발 세트(Development Set)에서 학습되어, 생성 안정성(일관성)과 검증 신호(지지, 모순, 충분성)를 하나의 교정된 신뢰도 점수($\hat{p}$)로 통합합니다.
   • 이 모델은 생성 안정성과 사실적 지지가 모두 존재할 때만 신뢰도가 높아지도록 상호작용 항(예: 일관성 $\times$ 지지)을 포함합니다.
   • 과잉 또는 과소 신뢰를 교정하기 위해 사후 교정(sigmoid 및 temperature scaling)이 적용됩니다.

4. 3단계 운영 라우팅:

   • $\hat{p}$에 따라 후보를 세 가지 티어(Tier)로 라우팅합니다:
     • AUTO: 높은 신뢰도; 취약점 레지스트리에 자동으로 확정됨.
     • REVIEW: 중간 신뢰도; 지원 증거와 함께 분석가에게 전달됨.
     • HOLD: 낮은 신뢰도; 추가 증거가 확보될 때까지 보류됨.
   • 정밀도와 재현율의 균형을 맞추기 위해 임계값($\tau_{auto}, \tau_{hold}$)을 조정하여 다양한 운영 모드(고신뢰, 균형, 고커버리지)를 지원합니다.

주요 기여

• 공식화: 본 논문은 자동차 CVE-to-ATM 매핑을 자동 확정 가능한 사례와 인간의 감독이 필요한 사례를 명확히 분리하는 선택적 자동화 문제로 공식화했습니다.
• 프레임워크: 계층적 ICL, 자기 일관성 체크, 증거 기반 검증을 결합하여 교정된 3단계 결정 프로세스를 구동하는 다중 신호 라우팅 프레임워크를 도입했습니다.
• 데이터셋: 저자들은 이 특정 매핑 작업에 대한 공개 데이터의 부족을 해결하기 위해 269개의 자동차 CVE와 483개의 전문가 주석이 달린 전술-기법 쌍으로 구성된 벤치마크 데이터셋을 구축했습니다.

결과
58개의 CVE(98개 골드 페어) 테스트 세트에서 평가한 결과, 제안된 시스템은 베이스라인 대비 유의미한 개선을 보였습니다:

• 후보 품질: 제안된 시스템은 매칭된 재현율(0.745)을 유지하면서도, Flat Zero-shot GPT-5.2 베이스라인(0.277)보다 높은 0.395의 정밀도를 달성하였으며, CVE당 평균 예측 수를 4.55개에서 3.19개로 줄였습니다.
• 라우팅 성능: 고신뢰 모드($\tau_{auto} \approx 0.74$)에서 AUTO 티어는 후보 세트의 기본 비율(0.395)보다 두 배 이상 높은 0.878의 정밀도를 달성했습니다.
• 교정: 교정된 신뢰도 점수 $\hat{p}$는 올바른 후보와 잘못된 후보를 구분하는 데 있어 AUROC 0.868을 기록하여, 일관성 전용 베이스라인(AUROC 0.705)을 크게 앞질렀습니다.
• 절제 연구(Ablation): 증거 기반 판사 신호를 제거했을 때 AUROC가 급격히 하락하였으며, 이는 일관성만으로는 신뢰할 수 있는 신뢰도 추정에 불충분함을 확인시켜 줍니다.

의의 및 한계
본 논문은 이 프레임워크가 선택적 자동화를 위한 실행 가능한 경로를 제공한다고 주장합니다. 높은 신뢰도의 매핑을 격리함으로써, 시스템은 모호한 사례에 대한 분석가의 주의력을 보존하면서 자율적인 사이버 보안 관리 시스템(CSMS) 워크플로우를 지원합니다. 저자들은 이 프레임워크가 ISO/SAE 21434 준수 및 감사 워크플로우에 필요한 추적 가능한 결정 증거(신뢰도 점수 및 검증 신호)를 제공한다는 점을 강조합니다.

저자들은 다음과 같은 범위 제한 사항을 언급하며 신중한 입장을 유지합니다:

• 평가는 현재의 ATM 온톨로지(14개 전술, 75개 기법) 및 구축된 데이터셋에 국한됩니다.
• 시스템은 생성과 검증 모두에 단일 백본 모델(GPT-5.2)에 의존하지만, 자기 확증 편향을 완화하기 위해 증거 기반 추론 및 후보 익명화와 같은 안전 장치를 사용합니다.
• "REVIEW" 티어의 실제 효과를 확인하기 위해서는 향후 보안 분석가들과의 현장 연구가 필요합니다.
• 시스템은 현재 간접적인 이차적 효과나 추측성 확장을 처리하지 않으며, 직접적으로 검증 가능한 공격 단계에 엄격히 집중합니다.