Structural Leakage in Host Intrusion Alert Corpora: An Evaluation Framework for ATT&CK Technique and Tactic Mapping
이 논문은 Wazuh 호스트 침입 탐지 경보를 MITRE ATT&CK 전술 및 기술에 매핑하는 데 있어 규칙 식별자와 경보 템플릿으로부터 발생하는 구조적 데이터 누출로 인해 표준 평가 방법이 성능을 과대평가함을 입증하며, 이러한 편향을 제어했을 때 전술 수준의 예측은 여전히 견고하게 유지됨을 보여주는 누출 인지 평가 프레임워크를 소개한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
디지털 세상에서 모든 컴퓨터와 서버는 누군가 그것과 상호작용할 때마다 디지털 발자국을 남깁니다. 이 발자국은 '경보(alerts)'라고 불리며, 보안 팀이 무언가 비정상적인 일이 일어나고 있음을 알 수 있게 해주는 주요한 수단입니다. 수백 대의 보안 카메라가 있는 건물을 상상해 보십시오. 문이 열리거나 불빛이 깜빡일 때마다 카메라 하나가 중앙 모니터로 메시지를 보냅니다. 사이버 영역에서 이러한 메시지는 비밀번호를 추측하려고 시도하거나 만져서는 안 될 파일을 옮기는 것과 같은 수상한 활동을 감시하는 소프트웨어에 의해 생성됩니다. 이 정보의 홍수를 이해하기 위해 보안 전문가들은 MITRE ATT&CK라는 공유된 언어를 사용합니다. 이것은 소프트웨어의 한 종류가 아니라, 알려진 범죄 행위들을 모아놓은 거대한 카탈로그이며, 도서관처럼 각 항목이 공격자가 사용할 수 있는 특정 전술(tactic)과 이를 달성하기 위해 사용하는 기법(technique)을 설명합니다. 목표는 가공되지 않은 혼란스러운 컴퓨터 메시지를 공격자가 무엇을 하려 하는지에 대한 명확한 이야기로 번역하여, 방어자들이 위협을 이해하고 이를 저지할 수 있도록 하는 것입니다.
하지만 새로운 연구에 따르면, 연구자들이 이 메시지들을 번역하는 능력을 테스트해 온 방식이 근본적으로 결함이 있을 수 있다고 합니다. 드로먼트 대학교(De Montfort University)의 연구원 에마드 셰리프(Emad Sherif)는 컴퓨터 프로그램이 이러한 가공되지 않은 보안 경보를 범죄 행위 카탈로그와 성공적으로 매칭할 수 있는지 조사했습니다. 이 연구는 실제 기업 네트워크를 모방했지만 외부 세계와는 격리된 통제된 디지털 환경인 '사이버 레인지(Cyber Range)'에서 수행되었습니다. 이 디지털 샌드박스 안에서 연구원은 공격자가 취약점을 스캔하고, 비밀번호를 훔치고, 흔적을 지우는 등의 행동을 하며 네트워크를 이동하는 시뮬레이션을 설정했습니다. 보안 소프트웨어인 와주(Wazuh)는 이 공격 중에 생성된 모든 경보를 기록하여 2,000개가 넘는 메시지로 구성된 데이터셋을 만들었습니다. 과제는 인공지능이 이 메시지들을 보고 어떤 범죄 행위를 나타내는지 정확히 식별할 수 있는지 확인하는 것이었습니다.
연구원은 이전의 문제 해결 시도들이 의도치 않게, 하지만 의도치 않게 사용된 지름길에 의존했을 가능성이 높다는 것을 발견했습니다. 많은 컴퓨터 실험에서는 데이터를 무작위로 학습 그룹과 테스트 그룹으로 나눕니다. 컴퓨터는 학습 그룹으로부터 배우고, 그 후 보지 못한 테스트 그룹을 통해 얼마나 잘 일반화되는지 테스트를 받습니다. 그러나 이 특정한 유형의 보안 데이터의 경우, 경보들은 인간이 작성한 고유한 문장이 아닙니다. 그것들은 고정된 규칙에 의해 생성됩니다. 만약 어떤 규칙이 "비밀번호 실패 시 경보 발생"이라고 되어 있다면, 해당 사건이 발생할 때마다 정확히 동일한 텍st를 생성하게 됩니다. 연구는 데이터셋 내에서 경보의 텍스트와 그것을 만든 규칙이 특정 범죄 행위와 너무 완벽하게 연결되어 있어서, 컴퓨터가 단순히 규칙을 암기하여 높은 정확도로 정답을 맞힐 수 있었다는 것을 발견했습니다. 이는 마치 질문 자체에 정답이 포함된 시험을 치르는 학생과 같았습니다. 만약 동일한 규칙이 학습 그룹과 테스트 그룹 모두에 나타났다면, 컴퓨터는 실제로 행위를 인식하도록 학습한 것이 아니라 단지 규칙 템플릿을 인식한 것에 불과했습니다.
이를 해결하기 위해 연구원은 실험 규칙을 변경했습니다. 데이터를 무작위로 나누는 대신, 특정 규칙에 따라 경보를 그룹화했습니다. 이는 만약 특정 규칙이 컴퓨터 학습에 사용되었다면, 해당 규칙이 테스트 단계에서는 완전히 금지됨을 의미했습니다. 컴퓨터는 규칙 자체를 인식하는 지름길에 의존하지 않고도 행위의 근본적인 의미를 배워야 했습니다. 이 더 엄격한 테스트가 적용되었을 때, 컴퓨터의 성능은 크게 떨어졌으며, 이는 이전의 높은 점수들이 실제로 부풀려졌음을 드러냈습니다. 결과는 컴퓨터가 "자격 증명 탈취"나 "증거 은닉"과 같은 광범위한 범주를 식별할 수는 있었지만, 규칙 템플릿을 암기할 수 없을 때는 구체적이고 미세한 기법들을 정확히 짚어내는 데 어려움을 겪는다는 것을 보여주었습니다.
연구는 가공되지 않은 보안 경보를 명확한 범죄 행위의 그림으로 번역하는 것은 가능하지만, 이러한 구조적 지름길을 방지하기 위해 극도로 세심한 평가가 이루어져야 한다고 결론지었습니다. 컴퓨터는 공격자가 데이터를 훔치려 하는지 혹은 서비스를 방해하려 하는지와 같은 일반적인 의도를 식별하는 데는 더 뛰어난 성능을 보였으나, 사용된 정밀한 방법론을 식별하는 데는 어려움을 보였습니다. 이는 보안 팀들에게 있어, 이러한 경보들이 침입자의 미세한 도구보다는 침입자의 광범위한 의도를 이해하는 데 가장 유용하다는 것을 시사합니다. 이 연구는 분야에 중요한 경고를 던집니다. 데이터에 숨겨진 패턴을 제어하지 않는다면, 네트워크를 보호하기 위해 설계된 도구들이 실제보다 훨씬 더 유능해 보일 수 있다는 것입니다. 앞으로의 방향은 경보의 반복적인 텍스트를 넘어 그 맥락을 이해할 수 있는 시스템을 구축하는 것이며, 이를 통해 보안 팀이 경고를 볼 때 그것이 데이터 수집 방식의 통계적 산물이 아니라 실제 위협의 실질적인 증거에 기반하도록 보장하는 것입니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.