SOC Copilot: A Complete, Lightweight, and Explainable Multi-Model Anomaly Detection Engine for Security Log Analysis
이 논문은 레이블이 지정된 데이터나 GPU 인프라 없이도 HDFS 보안 로그 분석에서 99.84%의 정확도를 달성하기 위해 개선된 Isolation Forest와 Deep Autoencoder를 SHAP 기반 설명 가능성과 결합한 경량 CPU 전용 비지도 다중 모델 이상 탐지 엔진인 SOC Copilot을 소개한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
오늘날 현대적인 컴퓨터 시스템은 로그라고 알려진 방대한 양의 디지털 기록을 매일 생성합니다. 로그는 사용자가 로그인하는 것부터 네트워크를 통해 파일이 이동하는 것까지, 기계가 자신의 활동에 대해 자동으로 작성하는 기록입니다. 대규모 조직에서 이러한 로그는 수백만 개씩 쌓이며 거대하고 혼란스러운 정보의 흐름을 만들어냅니다. 보안 운영 센터(SOC)로 알려진 보안 팀은 이 흐름을 감시하여 문제의 징후를 포착하는 임무를 맡습니다. 문제는 그 양이 인간이 읽기에는 너무 방대하며, 알려진 나쁜 행동의 특정 패턴을 찾는 기존 방식은 공격자들이 보이지 않는 새로운 방법을 사용할 때 실패한다는 점입니다. 시스템이 과부하되면 실제 위협을 놓치거나 무해한 이벤트에 경보를 울려, 분석가들을 지치고 혼란스럽게 만듭니다. 현대 보안 연구의 목표는 이 소음 속에서 자동으로 정보를 걸러내고, 공격의 신호가 될 수 있는 드물고 이상한 이벤트를 찾아내며, 값비싸고 전문적인 하드웨어나 모든 범죄 사례를 라벨링할 전문가 팀 없이도 왜 그것을 발견했는지 정확히 설명할 수 있는 시스템을 구축하는 것입니다.
연구진은 이 특정 문제를 해결하기 위해 'SOC 코파일럿(SOC Copilot)'이라는 도구를 개발했습니다. 그들은 많은 고급 인공지능 도구들이 필요로 하는 거대하고 전력을 많이 소모하는 그래픽 카드가 필요하지 않은, 표준 컴퓨터 프로세서에서 실행되는 완전한 시스템을 만들었습니다. 대신, 이 시스템은 알려진 공격에 대한 데이터베이스에 의존하는 대신, 무엇이 '정상적인' 행동인지 학습하고 그 패턴에서 벗어나는 것을 포착합니다. 연구진은 이 엔진을 하둡 분산 파일 시스템(HDFS, 대량의 데이터를 저장하는 데 흔히 쓰이는 기술)에서 추출한 1,100만 개 이상의 로그 라인으로 구성된 방대한 데이터셋으로 테스트했습니다. 그들은 관련 이벤트를 블록 단위로 묶고, 특정 유형의 메시지가 나타난 횟수나 이벤트 시퀀스의 지속 시간과 같은 58가지의 서로 다른 특성으로 변환하여 데이터를 관리 가능한 형식으로 처리했습니다.
시스템의 핵심은 서로 다른 전문성을 가진 두 명의 전문가처럼 함께 작동하는 두 가지 서로 다른 방법을 사용합니다. 첫 번째 방법은 통계적 도구로, 군중으로부터 멀리 떨어져 있는 데이터 포인트를 식별하여 이상치를 찾아냅니다. 두 번째 방법은 정보를 압축한 후 다시 재구성하는 법을 배우도록 설계된 컴퓨터 프로그램인 신경망입니다. 만약 프로그램이 이전에 접해보지 못한 패턴을 보게 되면, 그것을 재구성하는 데 어려움을 겪게 되며, 그 어려움이 바로 무언가 잘못되었다는 신호가 됩니다. 연구진은 두 방법 모두 정상적이고 안전한 행동의 예시만을 사용하여 학습시켰습니다. 학습 단계에서 공격의 예시를 보여주지 않았는데, 이는 시스템이 이전에 본 적 없는 새로운 유형의 위협을 탐지할 수 있게 하기 위함입니다.
시스템의 신뢰성을 높이기 위해 연구진은 단순히 두 방법이 결정에 투표하게 두지 않았습니다. 그들은 먼저 각 방법의 점수를 공정하게 비교할 수 있도록 조정하였고, 별도의 데이터셋을 통한 테스트로 결정된 특정 가중치 전략을 사용하여 점수를 결합했습니다. 최종 결과는 해당 로그 블록이 얼마나 의심스러운지를 알려주는 단일 점수가 됩니다. 점수가 특정 선을 넘으면 시스템은 이를 이상 징후로 표시합니다. 결정적으로, 시스템은 단순히 "이것은 나쁘다"라고 말하는 데 그치지 않습니다. 로그 항목의 어떤 특징이 경보를 일으켰는지 정확히 강조하며 결정에 대한 상세한 설명을 제공합니다. 또한, 낮음에서 심각함까지의 심각도 수준을 할당하여 분석가가 어떤 경보를 먼저 조사할지 결정할 수 있도록 돕습니다.
팀이 이 최종 시스템을 한 번도 본 적 없는 데이터셋으로 테스트했을 때, 결과는 매우 정밀했습니다. 6만 4천 개 이상의 로그 블록 중에서 시스템은 단 하나만을 제외하고 거의 모든 이상 징후를 정확히 식별했습니다. 또한 오경보를 매우 낮게 유지하여, 정상적인 활동 중 아주 적은 부분만을 의심스러운 것으로 표시했습니다. 두 방법의 결합은 각각의 방법보다 더 강력한 것으로 증명되었습니다. 신경망이 개별 탐지기로서는 더 뛰어났지만, 통계적 방법은 신경망이 놓친 소수의 위협을 잡아냈습니다. 이들을 융합함으로써 시스템은 주요 성능 지표에서 거의 99%에 달하는, 이 분야에서 보기 드문 정확도에 도달했습니다.
연구진은 또한 분석가가 시스템과 상호작용할 수 있는 시각적 대시보드를 구축했습니다. 이 인터페이스는 경보, 심각도 점수, 그리고 각 경보가 발생한 이유에 대한 설명을 표시합니다. 또한 경보를 트리거한 특정 로그 템플릿과 결정에 가장 크게 기여한 특징들을 보여줍니다. 이러한 투명성은 인간이 기계의 판단을 신뢰하고 위협의 맥락을 이해할 수 있게 하는 데 필수적입니다. 전체 시스템은 가볍고 설명 가능하도록 구축되었으며, 이는 강력한 보안 도구가 실행하기에 너무 비싸거나 이해하기 너무 불투명하다는 일반적인 불만 사항을 해결합니다.
이 연구는 거대한 컴퓨팅 파워나 알려진 공격에 대한 방대한 라벨링된 데이터셋에 의존하지 않고도 매우 효과적인 보안 엔진을 구축할 수 있음을 확인시켜 줍니다. 정상적인 행동의 형태를 학습하는 비지도 학습에 집중하고 여러 탐지 방법을 결합함으로써, 팀은 정확하면서도 이해 가능한 도구를 만들어냈습니다. 그들은 정상 데이터만을 사용하여 학습하고, 세심한 캘리브레이션(교정)을 통해 튜닝하며, 거대한 로그 스트림에서 거의 모든 이상 징후를 잡아낼 수 있도록 배포할 수 있음을 입증했습니다. 이 작업이 모든 보안 문제를 해결한다고 주장하는 것은 아니며, 현재는 이 특정 유형의 로그 데이터에서 가장 잘 작동한다는 점을 인정합니다. 그러나 이 연구는 사후 대응적인 규칙 검사에서 벗어나, 사용하는 사람들이 이해하고 신뢰할 수 있는 선제적이고 지능적인 이상 탐지로 나아가는 명확하고 작동 가능한 사례를 제공합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.