Entity Embeddings and Ensemble Learning for Multi-Attribute Cyber-Attack Forecasting: A Benchmark and Evaluation Protocol for Merged Incident Repositories

사이버 보안의 고위험 세계에서 방어자들은 오랫동안 알람이 울린 후에야 움직일 수 있는 반응적인 모드로 운영되어 왔습니다. 침해가 탐지되었을 때는 이미 피해가 발생한 경우가 많습니다. 이러한 역학 관계를 바꾸기 위해 연구자들은 예측, 즉 공격이 발생하기 전에 어떤 종류의 공격이 일어날지, 어디를 타격할지, 그리고 누가 표적이 될지를 예측하려는 시도에 주목해 왔습니다. 이 분야는 과거의 사이버 공격 세부 정보를 기록한 '사건 저장소(incident repositories)'라고 불리는 방대한 양의 역사적 데이터에 의존합니다. 그러나 이러한 기록들은 종종 서로 다른 데이터베이스에 흩어져 있으며, 각기 다른 언어와 형식을 사용하고, 많은 부분이 중요한 세부 정보를 누락하고 있습니다. 미래의 유용한 그림을 그리기 위해 과학자들은 이 분리된 아카이브들을 하나의 완전한 이야기로 병합해야 하며, 보유한 데이터를 바탕으로 한 추론을 통해 누락된 빈틈을 채워 넣어야 합니다. 여기서의 과제는 이러한 추측이 모델이 학습하도록 설계된 바로 그 모델을 실수로 속여, 존재하지 않는 가짜 보안 신뢰를 만들어내지 않도록 보장하는 것입니다.

이슬라마바드의 국제 이슬람 대학교, 서울대학교, 그리고 프린스 무그린 대학교의 연구팀은 이러한 일반적인 관행의 신뢰성을 테스트하기 위해 나섰습니다. 그들은 두 개의 거대한 사이버 사건 데이터베이스를 결합했습니다. 하나는 심층적이고 구조화된 세부 정보를 제공하지만 2017년에 기록이 중단된 VERIS 커뮤니티 데이터베이스이고, 다른 하나는 최근의 사건들을 지속적으로 제공하지만 세부 정보는 덜 상세한 Hackmageddon입니다. 이 두 소스를 조화시킴으로써, 그들은 50년 이상의 기간을 아우르는 2만 건 이상의 사건이 담긴 통합 기록을 생성했습니다. 데이터를 사용 가능하게 만들기 위해, 그들은 공격자의 구체적인 동기나 표적이 된 자산의 유형과 같은 각 사건의 누락된 필드를 채워 넣어야 했습니다. 그들은 한 데이터베이스에 있는 정보를 바탕으로 누락된 세부 정보를 예측하도록 컴퓨터 모델을 훈련시켜 이 작업을 수행했습니다. 이 과정은 완전한 데이터셋을 만들어냈지만, 동시에 미묘한 함정을 도입했습니다. 누락된 레이블이 예측 모델이 나중에 예측을 수행할 때 사용할 것과 동일한 특징(features)을 사용하여 컴퓨터 모델에 의해 생성되었기 때문에, 예측 모델은 본질적으로 자신이 이미 인식하도록 훈련받은 정답을 가지고 테스트를 받게 된 셈이었습니다.

연구진이 이 병합된 데이터셋을 통해 예측 모델을 평가했을 때, 결과는 처음에는 유망해 보였습니다. 모델들은 표준 벤치마크를 능가하는 정확도로 미래의 공격 유형을 예측하는 것처럼 보였습니다. 그러나 연구팀은 이러한 높은 점수가 데이터 구축 방식에 의한 환상임을 의심했습니다. 이를 조사하기 위해, 그들은 테스트 데이터를 두 그룹으로 나누었습니다: 공격 유형이 원래 인간에 의해 관찰되고 기록된 기록과, 병합 과정에서 컴퓨터 모델에 의해 재구성된 기록입니다. 그 차이는 극명했습니다. 인간이 관찰한 레이블이 있는 기록에서 모델의 성능은 크게 떨어졌으며, 이는 전체 데이터셋에서의 높은 점수가 모델이 누락된 데이터를 채운 컴퓨터의 패턴을 단순히 암기한 것에 의한 것임을 드러냈습니다. 실제로 두 그룹 간의 격차는 너무 커서, 전체 평균 성능은 거의 44%포인트나 부풀려져 있었으며, 만약 연구진이 결합된 숫자만을 보았다면 이러한 왜곡은 숨겨졌을 것입니다.

이러한 인플레이션이 데이터의 시기적 차이 때문이 아니라 구체적으로 누락된 데이터를 채우는 행위 때문임을 확인하기 위해, 연구진은 통제된 실험을 수행했습니다. 그들은 모든 데이터가 원래 관찰되었던 단일 시점을 가져온 뒤, 레이블의 일부를 의도적으로 숨기고 메인 데이터셋에서 사용했던 것과 동일한 컴퓨터 모델을 사용하여 이를 채워 넣었습니다. 이 혼합된 데이터로 예측 모델을 훈련시켰을 때, 재구성된 레이블에 대한 성능은 관찰된 레이블에 비해 다시 한번 훨씬 높게 나타났습니다. 이는 데이터 보간(imputation) 행위 자체가 모델이 실제 현상이 아닌 '채우기 모델'을 흉내 내도록 만드는 순환 루프를 생성한다는 것을 증명했습니다. 또한 연구는 역설적인 발견을 보여주었습니다: 컴퓨터 모델이 누락된 데이터를 채우는 데 서툴수록, 예측 모델의 성능은 인위적으로 더 많이 부풀려졌습니다. 성능이 낮은 보간 모델은 누락된 데이터에 독특하고 특이한 패턴을 만들어내어 다운스트림 모델이 학습하기 쉽게 만드는 반면, 매우 정확한 보간 모델은 너무 잘 섞여 들어가서 별도의 학습 가능한 신호를 만들어내지 못하기 때문입니다.

데이터 누출 문제 외에도, 연구진은 이러한 기록 내의 정보를 어떻게 가장 잘 표현할 것인가를 탐구했습니다. 사이버 사건 데이터는 수백 개의 서로 다른 국가 이름이나 수천 개의 특정 조직 이름과 같은 고차원 범주(high-cardinality categories)로 가득 차 있습니다. 전통적인 방식은 이를 단순한 숫자로 취급하여 모델을 혼란스럽게 할 수 있습니다. 연구팀은 '엔티티 임베딩(entity embeddings)'이라 불리는 기술을 테스트했는데, 이는 각 범주에 대해 고유하고 밀집된 수학적 표현을 학습하여 모델이 범주 간의 관계를 이해할 수 있도록 합니다. 이 접근 방식은 공격 유형을 예측하는 모델의 능력을 획기적으로 개선하여, 전통적인 방식보다 성능을 거의 19%포인트 향상시켰습니다. 이 발견은 딥러닝 모델이 이러한 유형의 데이터에서 성능이 낮다고 주장했던 이전 연구들이 모델 자체의 문제라기보다는 데이터가 제시되는 방식에 의해 제한되었을 수 있음을 시사합니다.

연구는 또한 공격의 표적이 된 특정 국가를 예측하는 난이도를 조사했습니다. 모델은 가장 흔한 국가를 단순히 추측함으로써 높은 전체 정확도를 달성할 수는 있었지만, 빈도가 낮은 표적을 정확히 식별하는 데는 엄청난 어려움을 겪었습니다. 이 작업에 대한 성능은 다수 클래스를 항상 선택하는 베이스라인을 겨우 넘어서는 수준이었습니다. 연구진은 이것이 데이터의 부족이나 공격 수의 불균형 때문이 아니라, 수백 개의 서로 다른 국가를 구분할 수 있을 만큼의 구체적인 정보가 가용 기록에 충분히 존재하지 않기 때문이라고 판단했습니다. 데이터에 존재하는 특징들은 이러한 미세한 지리적 예측을 신뢰할 수 있게 만들 만큼 필요한 지리적 신호를 담고 있지 않았습니다.

마지막으로, 팀은 엄격한 시계열적 평가(chronological evaluation), 즉 과거의 데이터로 훈련하고 미래의 데이터로 테스트하는 방식으로 모델을 테스트했습니다. 이것이 예측 시스템을 진정으로 평가할 수 있는 유일한 방법입니다. 이러한 현실적인 조건 하에서 성능은 더 떨어졌으며, 이전에 단순한 트리 기반 모델에 뒤처졌던 딥러닝 모델들이 마침로 그들을 앞질렀습니다. 이러한 역전은 딥러핑 모델이 더 나은 데이터 표현의 도움을 받아 새로운 미지의 시기에 대해 더 잘 일반화할 수 있는 반면, 단순한 모델들은 훈련 윈도우에 특화된 패턴을 단순히 암기하고 있었음을 시사합니다. 연구진은 일반적인 공격 유형을 예측하는 것은 적절한 성공을 거둘 수 있지만, 특정 국가나 정확한 공격 패턴을 예측하는 것은 현재의 데이터와 방법으로는 불가능하다는 결론을 내렸습니다. 그들의 주요 기여는 새로운 예측 알고리즘이 아니라, 병합된 데이터셋의 숨겨진 결함을 드러내는 엄격한 평가 프로토콜을 제시함으로써, 향후 사이버 보안 및 기타 분야의 연구가 데이터 구축의 부산물을 진정한 예측력으로 오해하지 않도록 보장하는 데 있었습니다.