WSymBert: A Weighted Neuro-Symbolic Attention Model for Interpretable CVSS Prediction

기술 요약: WSymBert – 해석 가능한 CVSS 예측을 위한 가중치 신경-기호적 어텐션 모델

문제 정의
소프트웨어 취약성의 급격한 증가는 보안 운영에 있어 심각한 병목 현상을 초래했습니다. CVSS(Common Vulnerability Scoring System) 메트릭을 수동으로 평가하는 작업은 시간이 오래 걸리고, 전문가 의존도가 높으며, 규모를 확장하기 어렵습니다. 결과적으로 많은 취약점이 적절한 점수가 매겨지지 않은 채 장기간 방치되어, 효과적인 패치 우선순위 지정과 리스크 완화를 저해하고 있습니다. BERT, SBERT와 같은 트랜스포머 기반 모델을 사용하는 자동화된 접근 방식이 예측 정확도를 개선했음에도 불구하고, 이들은 종로종종 "블랙박스"로 기능합니다. 이러한 모델들은 도메인 로직보다는 통계적 패턴에 의존하며, 이들이 생성하는 설명(주로 사후 기법을 통해 생성됨)은 무관한 토큰을 강조하거나 전문가의 추론과 일치하지 않을 수 있습니다. 따라서 본 연구의 과제는 8가지 CVSS v3.1 기본 메트릭(공격 벡터, 공격 복잡도, 권한 요구 사항, 사용자 상호작용, 범위, 기밀성, 무결성, 가용성)을 높은 정확도로 예측할 뿐만 아니라, 사이버 보안 도메인 지식과 일치하는 해석 가능한 추론을 제공하는 시스템을 개발하는 것입니다.

방법론: WSymBert 아키텍처
저자들은 문맥적 언어 이해와 구조화된 전문가 지식을 통합하는 가중치 신경-기호적(neuro-symbolic) 프레임워크인 WSymBert를 제안합니다. 이 아키텍처는 세 가지 주요 구성 요소로 이루어져 있습니다:

1. 의미론적 인코딩(Semantic Encoding): 모델은 미세 조정된 SBERT 인코더를 사용하여 비정형 취약점 설명으로부터 문맥적 토큰 임베딩($H$)을 생성합니다.
2. 기호적 지식 추출(Symbolic Knowledge Extraction): 공식 CVSS 가이드라인과 보안 온톨로지에서 유도된 전문가 정의 결정 트리(decision trees)가 "전문가 사전(expert lexicons)"을 구축하는 데 사용됩니다. 이 사전은 특정 기술 문구(예: "requires local access")를 CVSS 메트릭 값으로 매핑합니다. 또한, KeyBERT를 사용하여 입력 텍스트에서 모델 관련 키워드를 추출합니다.
3. 가중치 기호적 어텐션(Weighted Symbolic Attention): 이것이 핵심 혁신입니다. 학습된 어텐션에만 의존하는 대신, WSymBert는 기호적 가중치 메커니즘을 도입합니다.
   • 각 토큰에 대해, 전문가 사전과 모델이 추출한 키워드의 교집합에 존재하는지에 따라 기호적 가중치($w_i$)를 할당합니다.
   • 전문가 로직과 모델 의미론 모두에 의해 확인된 토큰은 높은 가중치(10)를 받고, 대칭 차집합에 있는 토큰은 가중치 1을 받으며, 그 외의 토큰은 0을 받습니다.
   • 기호적 매치가 부족할 때 벡터가 붕괴되는 "침묵 실패(silent failure)"를 방지하기 위해, 기본 가중치 1을 더하여 기호적 단서가 없을 때 모델이 학습된 풀링($\alpha_i$)으로 회귀할 수 있도록 보장합니다.
   • 8가지 메트릭 각각에 대한 최종 풀링된 표현($z_m$)은 학습된 어텐션 점수와 이러한 기호적 가중치를 융합하여 계산됩니다.
4. 멀티 헤드 예측(Multi-Head Prediction): 8개의 독립적인 선형 분류기가 융합된 표현을 학습하여 각 기본 메트릭에 대한 범주형 값을 예측합니다. SBERT 백본은 모든 헤드에 공유되어 학습 비용을 최소화하고 정규화 역할을 수행합니다.

주요 기여

• 신경-기호적 프레임워크: 본 논문은 트랜스포머 모델의 어텐션 메커니즘에 구조화된 전문가 지식을 명시적으로 통합하여 8가지 CVСС v3.1 기본 메트릭을 예측하는 하이브리드 모델인 WSymBert를 소개합니다.
• 유도된 어텐션(Guided Attention): 사후 설명 가능성 방법과 달리, 이 모델은 구조화된 가이드를 의사 결정 과정에 직접 포함시켜 어텐션이 전문가 규칙에 의해 정의된 보안 관련 단서로 향하도록 유도합니다.
• 강력한 성능: 모델은 두 가지 벤치마크 데이터셋("Combine" 데이터셋 및 큐레이션된 "NVD" 데이터셋)에서 평가되었으며, 특히 불균형하고 어려운 메트릭에서 강력한 베이스라인(SBERT 및 DistilBERT)보다 일관되게 우수한 성능을 입증했습니다.
• 정량적 설명 가능성: 본 연구는 WSymBert의 예측이 베이스라인 모델에 비해 무관한 토큰(불용어, 숫자 등)보다는 도메인 특화된 증거에 더 많이 의존한다는 것을 보여주는 엄격한 분석을 제공합니다.

실험 결과
모델은 Combine 및 NVD 데이터셋을 사용하여 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), F1-스코어(F1-score)로 평가되었습니다.

• 정확도: WSymBert는 NVD 데이터셋에서 평균 96.2%, Combine 데이터셋에서 약 **95%**의 정확도를 달립하여, SBERT(각각 92%, 92%)와 DistilBERT(각각 89%, 89%)를 능가했습니다.
• 불균형 메트릭: 공격 복잡도(AC) 및 권한 요구 사항(PR)과 같이 클래스 분포가 치우친 메트릭에서 상당한 개선이 관찰되었습니다. 예를 들어, Combine 데이터셋에서 WSymbert는 AC에 대해 97.76%의 F1-스코어를 기록했는데, 이는 DistilBERT의 56.10%, SBERT의 83.70%와 대조적입니다.
• 오차 감소: WSymBert는 최종 수치적 CVSS 점수를 예측하는 데 있어 베이스라인 모델들보다 낮은 평균 제곱 오차(MSE)와 평균 절대 오차(MAE)를 나타냈습니다.
• 해석 가능성 분석: 통합 그래디언트(Integrated Gradients, IG)를 사용한 분석 결과, WSymbert의 상위 10개 영향력 있는 토큰의 "노이즈 비율"(불용어, 숫자 또는 짧은 토큰의 비율)은 5% 미만이었던 반면, DistilBERT는 **30%**를 초과했습니다. 또한, WSymBert는 설명의 충실도(Fidelity)와 완결성(Completeness) 측면에서 더 높은 수치를 보여, 그 속성이 실제 모델의 추론 과정에 더 부합함을 나타냈습니다.

의의 및 주장
본 논문은 WSymBert가 고정밀 신경 예측과 도메인 정렬된 해석 가능성 사이의 간극을 메움으로써 자동화된 취약점 심각도 평가를 위한 실질적인 솔루션을 제공한다고 주장합니다. 어텐션 레이어에 직접 기호적 제약을 내장함으로써, 모델은 그 추론이 텍스트 내의 의미 있는 증거에 추적될 수 있도록 보장하며, 이는 표준 트랜스포머의 "블랙박스" 한계를 해결합니다. 저자들은 이 접근 방식이 보안 분석가에게 신뢰할 수 있는 기반을 제공하여, 통계적 지름길이 아닌 전문가의 로직과 일치하는 설명을 통해 심각도 결정을 정당화할 수 있게 한다고 주장합니다. 이 연구는 신경 학습과 기호적 가이드의 결합이 사이버 보안 분야에서 책임감 있고 설명 가능한 AI를 향한 실행 가능한 경로임을 입증합니다.

한계 및 향-후 방향
저자들은 사전 정의된 기호적 단서에 대한 의존도가 공격자가 심각한 점수를 높이기 위해 눈에 띄는 렉시콘 단서를 사용하여 취약점 설명을 조작할 수 있는 잠재적 공격 표면을 도입할 수 있음을 인정합니다. 향-후 연구에서는 이를 완화하기 위해 검증 메커니즘과 신뢰도 캘리브레이션(confidence calibration)을 통합할 것을 제안합니다. 또한, 문맥 이해을 더욱 강화하고 실시간 적용성을 높이기 위해 외부 구조화된 데이터(CWE, CPE) 및 지식 그래프를 통합하는 방향으로 모델을 확장할 것을 제안합니다.