A Novel System-Call Dataset for AI-Driven Host-Based Intrusion Detection in Containerized Cloud Environments

현대 디지털 세상에서 애플리케이션은 종종 "컨테이너"라고 불리는 것 안에서 실행됩니다. 컨테이너는 프로그램이 작동하는 데 필요한 모든 것을 담고 있는 가볍고 휴대 가능한 상자와 같습니다. 이 상자들은 소프트웨어를 한 컴퓨터에서 다른 컴퓨터로 쉽게 옮길 수 있게 해주기 때문에 인기가 높습니다. 하지만, 완전히 격리된 방과는 달리, 이 모든 컨테이너는 호스트 컴퓨터의 동일한 기본 운영 체제를 공유합니다. 이러한 공유된 기반은 취약점을 만듭니다. 만약 컨테이너가 침해되면, 공격자가 이 상자 밖으로 빠져나와 호스트 시스템 전체를 제어할 수 있기 때문입니다. 이를 막기 위해 보안 전문가들은 호스트 기반 침입 탐지 시스템을 사용합니다. 이 시스템은 프로그램이 컴퓨터의 핵심에 보내는 근본적인 요청들을 감시하는 경계심 강한 관찰자 역할을 합니다. "시스템 콜(system calls)"이라고 알려진 이 요청들은 파일 열기, 네트워크 연결, 또는 메모리 사용과 같이 프로그램이 무언가를 하기 위해 사용하는 기본적인 명령입니다. 이러한 요청의 패턴을 분석함으로써, 보안 소프트웨어는 프로그램이 원래 의도되지 않은 동작을 시도하는 것과 같이 이상하게 행동하는 것을 포착할 수 있습니다.

문제는 기존의 이러한 시스템 콜 기록들이 현대의 컨테이너화된 환경을 겨냥한 정교한 속임수들을 잡아내기에는 너무 단순하거나 시대에 뒤처져 있었다는 점입니다. 그것들은 단순히 프로그램이 무엇을 하고 있는지뿐만 아니라, 어떻게 하고 있는지, 언제 발생했는지, 그리고 어떤 자원을 사용하고 있는지에 대한 상세한 맥락(context)이 부족했습니다. 이를 해결하기 위해 연구자 암마르 무스타파(Ammar Moustafa), 알리 유네스(Ali Younes), 발삼 에이드(Balsam Eid)는 CHASE라는 새로운 고도로 상세한 데이터셋을 제작했습니다. 이 컬렉션은 거의 5,000개의 별개 기록을 포함하며, 정상적인 운영과 특정하고 해로운 공격을 모두 포착합니다. 이 데이터셋은 실제 클라우드 환경을 모방한 통제된 실험실 환경에서 구축되어, 데이터가 현대 컴퓨팅의 복잡성을 반영하도록 했습니다. 여기에는 4,482개의 정상 세션과 498개의 해로운 세션의 추적이 포함되어 있으며, 컨테이너 탈출부터 인공지능 자원에 대한 공격에 이르기까지 광범위한 시나리오를 다룹니다.

CHASE가 차별화되는 점은 모든 이벤트에 대해 기록하는 정보의 깊이입니다. 단순히 프로그램이 내린 명령 목록을 나열하는 대신, 이 데이터셋은 각 명령이 걸린 시간, 해당 명령을 내린 특정 프로세스와 스레드, 그리고 그 순간의 메모리 및 네트워크 사용량과 같은 컴퓨터 자원의 상태를 포착합니다. 또한 컨테티브 자체에 대한 메타데이터도 포함하여, 활동이 발생한 환경에 대한 전체적인 그림을 제공합니다. 해로운 추적들은 커맨드 인젝션(command injection) 및 리소스 하이재킹(resource hijacking)과 같은 9가지 서로 다른 공격 유형을 바탕으로 알려진 보안 결함에 근거하여 22가지 특정 공격 시나리오를 나타내도록 정교하게 구성되었습니다. 결정적으로, 데이터셋 내의 정상 활동은 단순한 배경 소음이 아니었습니다. 여기에는 웹 서버, 데이터베이스, 인공지능 작업 등을 포함한 실제적이고 복잡한 워크로드가 포함되었습니다. 이는 테스트되는 보안 시스템이 위험한 행동과 합법적인 컴퓨터 사용의 복잡하고 다양한 현실 사이를 구분해내야 함을 보장합니다.

연구진은 이 새로운 데이터셋을 이상 징후를 포착하기 위해 설계된 여러 유형의 인공지능 모델에 입력하여 테스트했습니다. 그들은 모델이 본 적 없는 공격 유형에 대해 테스트하거나, 데이터가 다른 컴퓨터 환경에서 왔을 때도 모델이 여전히 작동할 수 있는지 확인하는 등 결과의 신뢰성을 확보하기 위해 엄격한 방법을 사용했습니다. 결과는 이 데이터셋이 매우 효과적임을 보여주었습니다. 결정 트리(decision trees)의 집합을 사용하여 예측을 수행하는 랜덤 포레스트(Random Forest)라는 모델은 정상 활동과 해로운 활동을 구별하는 데 있어 매우 높은 점수를 기록했습니다. 더 중요한 것은, 연구진이 모델의 일반화 능력을 테스트했을 때, 모델이 보지 못한 대부분의 공격 유형에 대해 탁월한 성능을 보였다는 점입니다. 한 가지 공격 유형을 제외한 모든 공격 유형으로 학습되었을 때, 모델은 네트워크 인터셉션(Network Interception) 및 커맨드 인젝션(Command Injection)과 같은 몇몇 유형에 대해 완벽에 가까운 정확도를 달성했지만, 웹 인젝션(Web Injection) 제품군은 0.8204로 낮게 나타나는 등 성능의 차이가 있었습니다. 이는 데이터셋이 공격의 기저에 깔린 행동 패턴을 매우 잘 포착하고 있어, 보안 시스템이 직접 보지 못한 새로운 위협을 인식할 수 있도록 학습할 수 있음을 시사합니다. 다만, 탐지 효율성은 특정 공격 유형에 따라 달라질 수 있습니다.

또한 연구는 데이터의 어떤 부분이 탐지에 가장 중요한지를 조사했습니다. 타이밍 세부 정보나 명령의 구조적 세부 정보와 같은 서로 다른 그룹의 정보를 제거해 봄으로써, 연구진은 행동적 특징(behavioral features)이 공격을 식별하는 데 가장 결정적이라는 것을 발견했습니다. 이벤트의 타이밍도 도움이 되었지만, 프로그램의 핵심 동작과 시스템과의 상호작용 방식이 주요 위험 지표였습니다. 또한 이 데이터셋은 레이블이 지정된 예시 없이 악의적인 행위자를 찾아내려는 비지도 학습(unsupervised learning)의 한계를 보여주는 데에도 그 가치를 입증했습니다. 이 테스트에서 모델들은 상당히 고전하였으며, 이는 이 특정한 유형의 보안 문제에 있어서는 레이블이 지정된 공격 사례를 갖는 것이 성공에 필수적임을 강조합니다.

궁극적으로, CHASE 데이터셋은 컨테이너화된 클라우드를 위한 차세대 보안 도구를 개발하고 테스트할 수 있는 강력한 토대를 제공합니다. 이 데이터셋은 단순한 명령 목록을 넘어 컴퓨터 행동에 대한 풍부하고 맥락적인 뷰를 제공함으로써, 연구자들이 복잡하고 진화하는 사이버 위협에 더 잘 대처할 수 있는 시스템을 구축할 수 있게 합니다. 이 연구는 적절한 종류의 데이터가 있다면, 정확할 뿐만 아니라 새로운 미지의 위험에도 적응할 수 있는 탐지 시스템을 만드는 것이 가능하다는 것을 보여줍니다. 이러한 발전은 현대 인터넷의 상당 부분을 뒷받침하는 인프라를 보호하는 데 있어 중요한 진전이며, 컨테이너 기술의 공유된 특성이 시스템의 약점이 되지 않도록 보장합니다.