Machine Learning Based Intrusion Detection for Cloud Storage: An Empirical Evaluation of Signature and Random Forest Fusion
본 연구는 레이블이 지정되지 않은 Microsoft Azure 트레이스에 공격을 주입함으로써 클라우드 스토리지용 준합성 침입 탐지 프로토타입을 경험적으로 평가하며, 랜덤 포레스트 모델이 유용한 순위 신호를 제공하기는 하지만, 시간적 워크로드 드리프트 하에서의 불안정한 성능과 저속 공격(low-and-slow attacks)에 대한 낮은 탐지율은 해당 모델들이 아직 실제 운영 환경에 배포될 준비가 되지 않았음을 나타낸다는 점을 밝혀냈다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
현대 디지털 세상에서 방대한 양의 개인 및 비즈니스 정보는 단일 컴퓨터가 아닌 원격 서버에 데이터를 보관하는 시스템인 클라우드 스토리지에 존재합니다. 이 데이터는 어디서나 접근할 수 있기 때문에, 무단 침입의 가능성은 전통적인 고립된 저장 시스템보다 훨씬 큽니다. 이러한 정보를 보호하기 위해 보안 팀은 디지털 망루 역할을 하는 침입 탐지 시스템에 의존합니다. 이 시스템은 일반적으로 두 가지 방식으로 작동합니다. 어떤 것들은 특정 범죄자의 얼굴을 알아보는 보안 요원처럼 알려진 악성 행동 패턴을 찾고, 다른 것들은 정상적인 활동이 무엇인지 학습한 뒤 무언가 특이한 일이 발생하면 경보를 울립니다. 문제는 정당한 사용자들도 의심스러운 행동을 할 수 있고, 공격자 또한 정상적인 행동을 모방할 수 있어, 과도한 오보를 일으키지 않으면서 이 둘을 구별하는 것이 어렵다는 점입니다.
연구자 사이먼 우시포(Simon Usifoh)와 올라왈레 올라니이(Olawale Olaniyi)는 주요 클라우드 제공업체인 마이크로소프트 애저(Microsoft Azure)의 실제 데이터를 사용하여 이 문제를 해결하기 위한 특정 접근 방식을 테스트하고자 했습니다. 그들은 고정된 규칙 세트(명백한 문제 징후를 찾는 방식)와 데이터 패턴을 학습하는 머신러닝 모델을 결합하여 클라우드 스토리지 내 침입자를 포착하도록 설계된 프로토타입 시스템을 구축했습니다. 연구팀은 이 분야에서 흔히 쓰이는 가짜 공격 데이터셋을 사용하는 대신, 실제 애플리케이션에서 추출한 3만 개의 라벨이 없는 실제 액세스 로그로 시작했습니다. 이 로그에는 보안 라벨이 붙어 있지 않았기 때문에, 연구진은 이를 중립적인 정상 활동의 배경으로 간주했습니다. 그런 다음 그들은 통제된 시뮬레이션 공격 캠페인을 이 실제 데이터에 정교하게 주입했습니다. 세 가지 특정 공격 템플릿인 버스트 엑스필트레이션(burst exfiltration), 광범위한 액세스 프로빙(broad access probing), 오버라이트 버스트(overwrite bursts)는 모든 훈련, 검증 및 테스트 기간에 나타났으며, 네 번째 유형인 로우 앤 슬로우 엑스필트레이션(low-and-slow exfiltration)은 테스트 기간에만 주입되었습니다. 이를 통해 연구진은 실제의 복잡한 인간 활동 속에 숨겨진 위협에 직면했을 때 그들의 탐지 시스템이 어떻게 작동하는지 확인할 수 있었습니다.
결과는 실제 환경에서 무엇이 작동하고 무엇이 작동하지 않는지에 대한 복잡한 양상을 보여주었습니다. 랜덤 포레스트(Random Forest)로 알려진 머신러닝 모델은 이벤트의 순위를 매기는 데 매우 유능했는데, 이는 어떤 활동이 다른 활동보다 공격일 가능성이 높은지를 성공적으로 식별할 수 있음을 의미합니다. 그러나 연구진이 경보를 울릴 특정 기준선을 설정하려고 했을 때, 시스템은 불안정해졌습니다. 일부 테스트에서 모델은 공격의 약 61%를 잡아냈지만, 동시에 상당수의 무해한 활동을 위험한 것으로 분류했습니다. 성능을 개선하기 위해 머신러닝 모델을 고정된 규칙과 결합했을 때, 시스템은 더 좋아지지 않았습니다. 오히려 더 많은 오보를 생성하며 성능이 저하되었습니다. 사실 가장 효과적인 버전은 단순히 머신러닝 모델 단독 사용이었으며, 이를 다른 방법과 융합하려는 시도는 가치를 더하기는커녕 소음만을 증가시켰습니다.
특히 눈에 띄는 발견은 느리고 미묘한 공격을 탐지하는 데 있어 시스템의 무능력이었습니다. 모델은 급격한 데이터 탈취, 광범례한 스캐닝, 오버라이트 버스트를 포착하는 데는 비교적 성공적이었으나, 데이터를 아주 천천히 훔치는 특정 유형의 공격을 알아차리는 데는 거의 완전히 실패했습니다. 이 "로우 앤 슬로우(low-and-slow)" 행동은 표준 경보를 피하기 때문에 종종 가장 위험한 유형임에도 불구하고, 94% 이상의 사례에서 탐지되지 못했습니다. 또한 연구는 시간의 문제를 강조했습니다. 시스템은 한 주 동안의 데이터로 훈련되었고 그다음 주의 데이터로 테스트되었습니다. 근본적인 기술은 동일함에도 불구하고, 애플리케이션이 작동하는 방식은 시간이 지남에 따라 자연스럽게 변하는데, 연구진은 이를 '템포럴 드리프트(temporal drift, 시간적 표류)'라고 부릅니다. 이러한 변화로 인해 이전 데이터에 최적화된 시스템의 신뢰도 설정은 이후 데이터에 적용되었을 때 완전히 실패했으며, 이는 한 순간에 잘 작동하는 모델이 다음 순간에는 그렇지 않을 수 있음을 입증했습니다.
궁극적으로, 본 연구는 머신러닝 접근 방식이 의심스러운 패턴을 식별하는 데 유망함을 보여주지만, 현재 형태로는 아직 실제 현장에 배치될 준비가 되지 않았다고 결론짓습니다. 시스템은 실용적이지 않을 정도로 너무 많은 오보를 생성하며, 느리고 은밀한 공격을 탐지하는 능력 또한 현재로서는 너무 취약합니다. 연구진은 자신들의 작업의 가치가 완성된 제품이 아니라, 실제 데이터를 사용하여 현재 방식의 한계를 보여주는 재현 가능한 프레임워크에 있다고 강조합니다. 그들은 향후 노력이 변화하는 사용자 행동에 적응할 수 있는 시스템을 만드는 것과, 느리고 악의적인 활동과 평온하고 조용한 운영 기간을 더 잘 구별하는 방법을 찾는 것에 집중되어야 한다고 제안합니다. 이러한 과제들이 해결되기 전까지, 이러한 시스템은 연구 및 감사에는 유용한 도구가 될 수 있으나, 라이브 클라우드 스토리지를 보호하는 중요한 임무를 수행하기에는 아직 미치지 못합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.