Multi-LLM Consensus Framework for Evaluating Banking-Sector NIDS Dataset Coverage of MITRE ATT&CK Techniques

인터넷을 거대하고 북적이는 도시라고 상상해 보십시오. 여기서 은행은 가장 중요한 금고입니다. 이 금고들을 안전하게 지키기 위해, 네트워크 침입 탐지 시스템(NIDS)이라는 이름의 보안 요원들이 디지털 거리를 순찰하며 누군가 침입하려고 하는지 감시합니다. 이 요원들은 "연습 훈련"인 가짜 공격 데이터의 거대한 집합체, 즉 데이터셋을 통해 훈련받습니다. 문제는 대부분의 훈련이 일반적이라는 점입니다. 이 훈련들은 요원들에게 흔한 소매치기나 차량 절도범을 막는 법은 가르쳐 주지만, 은행의 특수한 송금 시스템을 해킹하거나 ATM을 속이는 법을 정확히 알고 있는 설계자를 막는 법은 거의 가르쳐 주지 않습니다. 이는 마치 소방관에게 주방 화재에 대해서만 훈련시킨 뒤 화학 공장의 폭발 사고를 진압하러 보내는 것과 같습니다. 그들은 호스 사용법은 알지 몰라도, 화학 물질이 반응하기 시작할 때 무엇을 해야 할지는 모를 것입니다. 이 논문은 단순하지만 매우 중요한 질문을 던집니다. 우리의 현재 훈련 과정이 실제로 이러한 디지털 요원들을 은행을 겨냥한 구체적이고 교활한 공격에 대비하도록 준비시키고 있는가, 아니면 단지 요원들에게 근거 없는 자신감만 심어주어 오히려 취약하게 만들고 있는가?

이 논문의 저자들은 이러한 격차를 조사하기 위해, 이 훈련 데이터셋을 테스트하는 더 똑똑하고 새로운 방법을 구축함으로써 이 문제를 조사하기로 했습니다. 단순히 데이터셋에 얼마나 많은 "악당"이 포함되어 있는지 세는 대신, 그들은 실제 세계의 보안 센서가 실제로 작동하는 방식을 모방하는 방법을 사용했습니다. 그들은 먼저 MITRE ATT&CK라는 유명한 가이드에서 가져온, 해커가 은행을 공격할 수 있는 210가지의 서로 다른 방식 목록에서 시작했습니다. 하지만 그들은 실제 보안 센서에는 한계가 있다는 점을 알고 있었습니다. 센서는 암호화된 메시지(잠긴 편지처럼) 내부를 볼 수 없고, 컴퓨터의 두뇌 내부에서 일어나는 일(파일이 삭제되는 것과 같이)을 볼 수 없으며, 교통 흐름을 차단하지 못한 채 마치 전봇트에 달린 카메라처럼 수동적으로 관찰만 할 수 있습니다.

센서가 그 210가지 공격 중 실제로 볼 수 있는 공격이 무엇인지 파악하기 위해, 연구진은 단 한 명의 전문가에게 묻는 대신 네 개의 강력한 인공지능 모델로 구성된 "합의 엔진"을 사용했습니다. 이것은 네 명의 아주 똑똑한 형사가 특정 공격이 눈에 보이는 흔적을 남기는지에 대해 모두 동의해야 하는 패널과 같습니다. 만약 네 명의 형사 중 세 명이 "네, 우리는 그것을 볼 수 있습니다"라고 말한다면, 그것은 탐지 가능한 것으로 간주되었습니다. 만약 의견이 일치하지 않는다면, 팀은 신중하게 해당 공격이 센서에 보이지 않는 것으로 간주했습니다. 이 엄격한 규칙을 통해 리스트는 실제 은행 센서가 현실적으로 포착할 수 있는 68개의 공격으로 걸러졌습니다.

다음으로, 그들은 이 68개의 "탐지 가능한" 은행 공격을 가지고 다섯 가지의 대중적인 훈련 데이터셋을 가져와, 이들이 이러한 특정 위협들을 얼마나 잘 커버하는지 확인했습니다. 결과는 놀라웠습니다. 연구진은 UNSW-NB15라는 데이터셋이 가장 우수하며, 중요한 은행 공격의 약 82.2%를 커버한다는 것을 발견했습니다. 그러나 함정이 있었습니다. 그 커버리지 중 직접적인 일치는 18.4%에 불고했습니다. 나머지는 마치 연기를 보고 그것이 화재 때문인지 바비큐 때문인지 모르는 것처럼 모호한 힌트일 뿐이었습니다. 반면에, 테스트용으로 자주 사용되는 CIC-DDoS2019라는 데이터셋은 은행 보안 측면에서 재앙 수준이었습니다. 이 데이터셋은 핵심적인 은행 행위의 89.9%를 놓쳤으며, 거대한 사각지대를 남겼습니다. 이 데이터셋은 크고 시끄러운 서비스 거부 공격(DoS)을 포착하는 데는 훌륭하지만, 돈을 훔치기 위해 해커들이 사용하는 미묘하고 다단계적인 속임수를 포착하는 데는 완전히 무용지물이라는 것이 밝혀졌습니다.

이 논문은 오래되고 일반적인 데이터셋에 의존하는 것이 은행에 "가짜 보안 의식"을 심어준다고 제안합니다. 보안 시스템이 일반적인 테스트에서 높은 점수를 받았다고 해서, 실제 해커가 SWIFT 송금을 조작하거나 ATM을 해킹하려고 할 때도 작동한다는 의미는 아닙니다. 저자들은 우리가 은행에 특화된, 즉 은행이 사용하는 고유한 언어와 프로토콜을 포함하는 새로운 훈련 데이터가 시급히 필요하다고 결론짓습니다. 그때까지 디지털 요원들은 흔한 도둑을 포착하는 데는 매우 능숙할지 모르나, 글로벌 금융 시스템을 실제로 위협하는 정교한 강도 사건에는 속수무책으로 당할 가능성이 높습니다.