Operationalizing Cyber Attack Prediction: A Gap-Prioritized Framework with Dataset and Model Selection Guidelines

이 논문은 150개 이상의 데이터셋과 200개의 연구를 분석하여 핵심적인 구현 장애물을 우선순위화하고, 격차 우선순위 지정 프레임워크를 도입하며, 데이터셋 선택 및 모델 배포를 위한 실행 가능한 가이드라인을 제공함으로써, AI 기반 사이버 방어 분야의 이론적 연구와 실제 배포 사이의 간극을 메웁니다.

핵심

당신은 디지털 요새를 위한 초지능형 보안 요원을 만들려고 한다고 상상해 보십시오. 당신은 이 요원이 도둑(사이버 공격자)이 침입하기 전에 미리 발견하기를 원합니다. 수년 동안 과학자들은 오래된 교과서와 연습 훈련을 통해 이 요원들을 훈련시켜 왔습니다. 그들은 이 요원들이 도둑을 잡는 데 99% 완벽하다고 주장합니다.

하지만 여기 문제가 있습니다: 훈련 방식이 구식이며, 도둑들의 수법은 변했습니다.

Mr. Aminu Muhammad Auwal 씨가 작성한 이 논문은 현실 점검 역할을 합니다. 이 논문은 과학자들이 실험실에서 말하는 내용과 실제 세상에서 작동하는 것 사이의 간극을 살펴봅니다. 저자는 "갭 분석(gap analysis)"을 사용하여 현재 시스템의 다섯 가지 주요 구멍을 찾아내고, 이를 해결하기 위한 실질적인 가이드를 제공합니다.

다음은 간단한 비유를 사용한 논문의 결과 요약입니다:

1. 다섯 가지 큰 구멍 (격차)

저자는 이러한 "완벽한" AI 요원들이 왜 실생활에서 실패하는지에 대한 다섯 가지 구체적인 이유를 식별했습니다:

• "오래된 교과서" 문제 (시간적 노후화):
  소방관에게 1998년판 매뉴얼로 불을 끄는 법을 가르친다고 상상해 보십시오. 오늘날의 화재는 리튬 배터리와 스마트 홈 기기에 의해 발생하지만, 소방관은 여전히 나무와 등유만을 찾고 있습니다.

  • 논문의 주장: 많은 AI 모델은 8~15년 된 데이터셋(데이터 모음)으로 훈련되었습니다. 그들은 AI 기반 피싱이나 딥페이크와 같은 현대적인 위협을 알지 못합니다. 이는 1990년대 경찰 전술로 현대적인 도시를 방어하려는 것과 같습니다.

• "한 가지 도구" 문제 (좁은 공격 범위):
  담을 넘는 사람을 막는 법만 아는 보안 요원을 상상해 보십시오. 만약 도둑이 정문으로 걸어 들어오거나 열쇠를 사용한다면, 보안 요원은 반응하지 않습니다.

  • 논문의 주장: 대부분의 데이터셋은 AI에게 몇 가지 유형의 공격(예: 3개 또는 4개)만을 가르칩니다. 현실 세계에는 수십 가지의 다양한 공격 방식이 존재합니다. 만약 AI가 훈련 과정에서 특정 유형의 공격을 본 적이 없다면, 그것을 잡아내지 못할 것입니다.

• "블랙박스" 문제 (해석 가능성):
  보안 요원이 "도둑이다!"라고 소리치지만, 왜 혹은 어디에 도둑이 있는지 말해주기를 거부한다고 상상해 보십시오. 당신은 그들의 논리를 이해할 수 없다면 그들을 신뢰할 수 없습니다.

  • 논문의 주장: 가장 정확한 AI 모델들은 "블랙박스"입니다. 그들은 답을 내놓지만, 어떻게 그 답에 도달했는지 설명하지 못합니다. 인간 보안 팀은 조치를 취하기 위해 왜 경보가 울렸는지 알아야 하지만, AI는 알려주지 않습니다.

• "트릭스터(속임수 쓰는 자)" 문제 (적대적 강건성):
  검은색 후드를 쓴 도둑을 아주 잘 찾아내는 보안 요원을 상상해 보십시오. 하지만 도둑이 밝은 노란색 모자를 쓰면, 보안 요원은 그를 무시합니다. 도둑은 단지 보안 요원을 속이기 위해 아주 작은 것 하나만 바꾸면 됩니다.

  • 논문의 주장: 해커들은 AI를 속이기 위해 자신들의 공격에 미세하고 눈에 보이지 않는 변화를 줄 수 있습니다. 현재의 연구는 AI가 이러한 속임수를 처리할 수 있는지 확인하기 위한 테스트가 충분하지 않습니다.

• "프라이버시" 문제 (윤리):
  나쁜 놈들을 찾아내기 위해 모든 사람의 사적인 대화를 지켜보는 보안 요원을 상상해 보십시오. 설령 그들이 나쁜 놈들을 잡더라도, 그들은 법을 어기거나 사람들을 불안하게 만들 수 있습니다.

  • 논문의 주장: AI 시스템은 작동하기 위해 개인 데이터를 살펴봐야 하는 경우가 많지만, 프라이버시나 공정성을 침해하지 않고 이를 수행하는 방법에 대한 규칙이나 가이드라인이 부족합니다.

2. 해결책: 우선순위 프레임로크

저자는 단순히 문제점만 나열하는 것이 아니라, 무엇을 가장 쉽고 효과적으로 먼저 고칠 수 있는지에 기반한 "할 일 목록"을 제공합니다. 저자는 영향력(얼마나 심각한가?), 비용(얼마나 많은 돈/시간이 드는가?), 시간(얼마나 빨리 고칠 수 있는가?)을 기준으로 문제를 평가했습니다.

• "빠른 승리" (최우선 순위): 블랙박스 문제를 해결하십시오.
  • 이유? "설명 가능한 AI(XAI)"를 추가하는 것은 비교적 저렴하고 빠릅니다. 이것은 보안 요원에게 무전기를 주어 "도둑이 가방을 들고 뛰고 있기 때문에 보고합니다"라고 말할 수 있게 하는 것과 같습니다. 이는 신뢰를 구축하고 인간이 즉각적인 결정을 내릴 수 있도록 돕습니다.
• "대규모 프로젝트" (중요하지만 어려운 과제): "오래된 교과서" 문제를 해결하십시오.
  • 이유? 이것은 가장 위험한 격차(오래된 데이터 사용)이지만, 새로운 데이터를 수집해야 하므로 고치는 데 비용이 많이 들고 시간이 오래 걸립니다. 장기적인 안전을 위해 필수적이지만 빠른 해결책은 아닙니다.
• "중간 단계": "한 가지 도구" 문제와 "트릭스터" 문제를 해결하는 데는 더 많은 자원과 시간이 필요합니다.

3. 실질적인 로드맵 (당신의 요원을 만드는 방법)

이 논문은 다양한 규모의 조직을 위한 단계별 가이드를 제공합니다.

• 소규모 조직 (제한된 예산):

  • 직접 매우 복잡한 AI를 구축하려고 하지 마십시오.
  • "랜덤 포레스트(Random Forest)"(정확도가 높고, 실행 비용이 저렴하며, 이해하기 쉬운 특정 유형의 AI)를 사용하십시오.
  • 오래된 것 대신 더 최신인 공개 데이터셋(예: CICIDS2017)을 사용하십시오.
  • 시스템이 왜 경보를 울리는지 알 수 있도록 즉시 "설명 가능한 AI" 도구를 추가하십시오.

• 대규모 조직 (큰 예산):

  • 자체적인 프라이빗 데이터셋을 구축할 여력이 있습니다(오래된 공개 데이터를 사용하는 대신).
  • 더 나은 패턴 인식을 위해 복잡한 딥러닝 모델(CNN 또는 LSTM 등)을 사용할 수 있습니다.
  • 시스템이 속임수에 넘어가지 않도록 "트릭스터"에 맞서 테스트(적대적 테스트)를 수행해야 합니다.

요약

이 논문은 우리가 종이 위에서는 훌륭해 보이지만, 오래된 데이터로 훈련되어 스스로를 설명하지 못하고 쉽게 속아 넘어가는 AI 보안 모델들을 축하해 왔다고 주장합니다.

저자의 핵심 메시지는 다음과 같습니다: 즉시 가장 복잡한 AI를 만들려고 애쓰지 마십시오. 대신, AI를 설명 가능하게 만들어(인간이 신뢰할 수 있도록) 시작하고, 더 새로운 데이터를 사용하며, 보유한 자금과 시간에 따른 단계별 계획을 따르십시오. 이것이 "공상 과학"과 "현실 세계의 보안" 사이의 간극을 메워줍니다.

기술 요약

기술 요약: 사이버 공격 예측의 운영화

문제 정의
사이버 공격 예측을 위한 인공지능(AI) 및 머신러닝(ML)의 상당한 발전에도 불구하고, 이론적 연구 역량과 실제 운영 환경의 배치 사이에는 심각한 단절이 존재한다. 학술 문헌에서는 높은 탐지 정확도(예: UKM-IDS20에서 Random Forest가 99.92% 달성)를 보고하고 있지만, 보안 실무자들은 이러한 시스템을 효과적으로 구현하는 데 어려움을 겪고 있다. 이러한 "연구와 실무 간의 격차"는 다섯 가지 주요 한계점에 의해 발생한다: 현대적 위협을 반영하지 못하는 시간적으로 낙후된 데이터셋 사용, 모델의 일반화를 제한하는 좁은 공격 범위 커버리지, 실시간 해석성을 저해하는 딥러닝 모델의 "블랙박스" 특성, 불충분한 적대적 강건성 테스트, 그리고 개인정보 보호 및 윤리적 문제를 다루기 위한 실질적인 프레임워크의 부재이다.

방법론
본 연구는 200개 이상의 연구 논문과 150개 이상의 벤치마크 데이터셋을 검토한 Ankalaki 등(2025)의 포괄적인 서베이를 바탕으로 체계적인 격차 분석(Gap Analysis)을 수행한다. 방법론은 다음과 같다:

1. 격차 식별: 서베이 결과를 분석하여 실세계 구현을 가로막는 다섯 가지 핵심 장벽을 분류한다.
2. 격차 우선순위 지정 프레임-워크: 각 격차를 세 가지 축인 탐지 효과성($I$), 구현 비용($C$), 해결 시간($T$)을 기준으로 평가하는 다차원 점수 시스템을 개발한다. 우선순위 점수는 $Priority = I \times (11 - \frac{C+T}{2})$ 공식을 사용하여 계산된다.
3. 데이터셋 품질 평가 프레임워크(DQAF): 시간적 최신성, 공격 범위, 트래픽 실재성, 가용성을 기준으로 45개의 벤치마크 데이터셋을 세 가지 범주(Production-Ready, Research-Only, Unusable)로 분류하는 의사결정 지원 도구를 생성한다.
4. 구현 로드맵: 이러한 조사 결과들을 데이터셋 선택, 모델 선택, 설명 가능한 AI(XAI) 통합, 그리고 조직의 자원 제약을 고려한 윤리적 배포를 위한 실행 가능한 가이드라인으로 합성한다.

주요 기여
본 논문은 AI 기반 사이 cybersecurity 분야에 네 가지 주요 기여를 한다:

1. 비판적 격차 분석: 배포를 저해하는 다섯 가지 구체적인 격차(데이터셋의 시간적 낙후성, 좁은 공격 범위, 실시간 해석성 문제, 불충분한 적대적 강건성, 미해결된 윤리적 고려사항)를 식별하고 정량화한다.
2. 격차 우선순위 지정 프레임워크: 조직이 자원을 할당할 수 있도록 격차를 순위 매기는 정량적 매트릭스를 도입한다. 분석 결과, 데이터셋 낙후성과 적대적 강건성이 높은 영향력을 가짐에도 불구하고, **실시간 해석성(Real-Time Interpretability)**이 높은 영향력과 낮은 비용 및 짧은 구현 시간을 결합하여 가장 높은 전체 우선순위 점수(56.0)를 제공하는 것으로 나타났다.
3. 데이터셋 품질 평가 프레임워크: 45개의 데이터셋을 분류하여 단 4개(Edge-IIoTset, CICIDS2017, Bot-IoT, UNSW-NB15)만이 "Production-Ready"임을 식와했다. 또한, 16~27년의 시간 격차로 인해 NSL-KDD (2009) 및 DARPA 1998과 같은 널리 사용되는 레거시 데이터셋을 "Research-Only" 또는 "Unusable"로 명시적으로 분류하였다.
4. 실무적 구현 로드맵: 실무자를 위한 단계적이고 자원 인지적인 가이드를 제공한다. 여기에는 데이터셋 선택을 위한 의사결정 트리, ML/DL 모델의 성능 비교 테이블(비용 대비 성능 균형 측면에서 Random Forest가 최적임을 강조), 3단계 XAI 통합 전략, 그리고 윤리적 배포를 위한 체크리스트가 포함된다.

결과
우선순위 지정 프레임워크 적용을 통해 다음과 같은 구체적인 전략적 통찰을 얻었다:

• 고가치 레버로서의 XAI: 설명 가능한 AI(특히 SHAP 및 LIME)를 통합하는 것은 막대한 자원 투자 없이도 "블랙박스" 모델의 신뢰 및 책임 문제를 해결할 수 있는 가장 비용 효율적인 즉각적 개선책으로 식별되었다.
• 데이터셋 낙후성: 분석 결과, 8~15년 이상 된 데이터셋(예: NSL-KDD, DARPA 1998)으로 학습된 모델은 근본적인 지능 결함을 가지고 있으며, AI 기반 피싱이나 LLM 기반 악성코드와 같은 현대적 위협에 대해 무력함을 확인하였다.
• 모델 선택: Random Forest는 자원이 제한된 조직에 가장 적합한 베이스라인으로 강조되었으며, 높은 정확도(평균 ~99.2%)와 내재된 해석성을 제공한다. 딥러닝 모델(CNN, LSTM)은 높은 정확도를 보이지만, 운영 가능한 수준이 되기 위해서는 상당한 계산 자원과 외부 XAI 통합이 필요하다.
• 전략적 계층화: 프레임워크는 조치를 Tier 1(핵심: 해석성 및 데이터셋 최신성)과 Tier 2(높음/중간: 공격 범위, 강건성, 윤리)로 분류하여, 다양한 규모의 조직이 개선 사항의 우선순위를 정할 수 있는 명확한 경로를 제공한다.

의의
본 논문은 포괄적인 서베이 결과를 실질적인 의사결정 지원 도구로 변환함으로써, AI 기반 사이버 방어에서 요구되는 운영 지향적 가이드라인에 대한 필요성을 직접적으로 해결하며 그 의의를 찾는다. 순수하게 학술적인 정확도 지표에서 운영 가능성(비용, 시간, 해석성 고려)으로 초점을 전환함으로써, 본 연구는 보안 실무자들이 복잡한 사이버 보안 AI 연구 환경을 헤쳐 나갈 수 있도록 돕는다. 효과적인 사이버 방어에는 단순한 예측 정확도뿐만 아니라, 해석 가능하고, 강건하며, 윤리적이고, 최신 데이터로 학습된 시스템이 필요함을 주장한다. 이는 이론적 잠재력과 운영상의 현실 사이의 간극을 메우는 작업이다.