CAM-LDS: Cyber Attack Manifestations for Automatic Interpretation of System Logs and Security Alerts

이 논문은 자동화된 로그 분석의 한계를 극복하기 위해 다양한 공격 시나리오를 포괄하는 새로운 데이터셋 'CAM-LDS'를 제안하고, 이를 활용한 대규모 언어 모델 (LLM) 기반의 로그 해석 가능성과 효과를 입증합니다.

핵심

🕵️‍♂️ 1. 문제: "수백만 개의 영수증 속에서 범인 찾기"

상상해 보세요. 거대한 쇼핑몰 (컴퓨터 시스템) 이 있습니다. 이곳에서는 매일 수백만 장의 영수증 (시스템 로그) 이 나옵니다.

• 정상적인 활동: "아이스크림 1 개 구매", "화장실 사용", "엘리베이터 탑승" 같은 평범한 영수증들입니다.
• 해커의 활동: "보안관 옷을 훔침", "비밀 금고 열기", "화장실 창문 깨기" 같은 범칙 행위가 섞여 있습니다.

기존의 문제점:
과거에는 보안 전문가들이 이 엄청난 양의 영수증을 눈으로 직접 뒤져야 했습니다. 하지만 해커들은 아주 교묘하게 위장하거나, 새로운 방법을 쓰기도 해서, 미리 정해진 규칙 (예: "화장실 창문이 깨지면 경보") 만으로는 잡아내기 힘들었습니다. 게다가 규칙을 직접 만들어야 하니까 너무 힘들고 비효율적이었습니다.

🧠 2. 해결책: "초능력을 가진 AI 탐정"

최근 등장한 **거대 언어 모델 (LLM, 예: 챗봇)**은 단순히 영수증의 숫자를 세는 게 아니라, 영수증의 내용을 읽고 "아, 이건 이상하네!"라고 문맥을 이해할 수 있는 능력이 있습니다. 마치 경험이 풍부한 형사가 영수증만 보고도 범인의 심리를 파악하는 것처럼요.

하지만 이 AI 탐정을 훈련시키려면 **정말 다양한 범행 사례 (공격 데이터)**가 필요합니다. 그런데 문제는, 실제 해킹 사례는 기밀이라서 공개된 데이터가 거의 없다는 점입니다.

🏗️ 3. CAM-LDS: "완벽한 범행 시뮬레이션 세트"

이 논문은 그 빈틈을 메우기 위해 CAM-LDS라는 새로운 데이터를 만들었습니다.

• 비유: 마치 범죄 수사관 훈련을 위해, 실제와 똑같은 가짜 도시를 짓고, 전문 배우 (해커) 들을 고용해 **다양한 범죄 시나리오 (7 가지)**를 완벽하게 재연한 것입니다.
• 내용: 해커가 어떻게 들어오고, 어떻게 권한을 얻고, 어떻게 데이터를 훔치는지 등 81 가지의 다양한 공격 기술을 모두 기록했습니다.
• 특징: 이 데이터는 오픈 소스로 공개되어, 전 세계 연구자들이 이 '가짜 범행 현장'을 분석하며 새로운 수사 기법을 개발할 수 있게 했습니다.

🔍 4. 실험 결과: AI 는 얼마나 잘할까?

연구진은 이 데이터로 AI 탐정 (LLM) 을 시험해 보았습니다.

• 실험 방식: AI 에게 "이 영수증들을 보고, 해커가 뭘 했는지 추측해 봐"라고 물었습니다. (학습 데이터 없이 바로 테스트했습니다.)
• 결과:
  • 약 33% (1/3): AI 가 범인의 행동을 완벽하게 알아맞혔습니다. ("아, 이건 ZoneMinder 라는 프로그램을 해킹해서 들어왔구나!")
  • 약 33% (1/3): 대략적으로 맞췄습니다. (정확한 기술명은 몰라도 "무언가 해킹이 일어났구나"는 걸 알아냈습니다.)
  • 나머지: 아직은 헷갈리는 부분도 있었습니다.

재미있는 발견:

• 해커가 명령어를 직접 입력한 흔적이 명확히 남았을 때 AI 가 가장 잘 찾았습니다.
• 해커가 너무 많은 로그를 남기거나 (예: 급하게 파일들을 훑을 때), 경보 시스템이 울렸을 때도 AI 가 잘 찾아냈습니다.
• 하지만 해커가 아주 조용히, 혹은 시스템 설정을 살짝 건드리는 식으로 했을 때는 AI 가 놓치기도 했습니다.

💡 5. 결론: "AI 는 훌륭한 조수지만, 아직 완벽하지는 않음"

이 연구는 **"AI 가 시스템 로그를 읽고 해커의 행동을 이해할 수 있는 잠재력이 매우 크다"**는 것을 증명했습니다.

• 기존 방식: "이런 패턴이 나오면 해킹이다"라는 고정된 규칙만으로는 잡을 수 없는 해커도, AI 는 문맥을 이해해서 잡아낼 수 있습니다.
• 미래: 아직 AI 가 모든 것을 완벽하게 해석하지는 못하지만, 보안 전문가들의 강력한 조수가 되어, 방대한 로그 속에서 중요한 단서를 찾아내는 데 큰 도움을 줄 것입니다.

한 줄 요약:

"이 논문은 해커의 다양한 범죄 수법을 완벽하게 재현한 **'범행 데이터 세트'**를 만들고, 이를 통해 AI 가 로그를 읽어 해커를 찾아내는 능력이 이미 꽤 훌륭하다는 것을 증명했습니다."

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 로그 분석의 한계: 침입 탐지 및 포렌식 조사에 시스템 로그는 필수적이지만, 방대한 데이터 양, 이질적인 포맷, 비정형 메시지 등으로 인해 수동 분석은 매우 번거롭습니다.
• 기존 자동화 도구의 결함: 기존 자동화 방법들은 주로 전문가가 정의한 시그니처 규칙, 수동으로 제작된 로그 파서, 또는 수동 특징 공학 (feature engineering) 에 의존합니다. 이는 새로운 공격에 대한 대응이 어렵고, 로그의 의미적 (semantic) 이해와 근본 원인 설명이 부족합니다.
• LLM 의 잠재력과 데이터 부족: 대규모 언어 모델 (LLM) 은 도메인과 포맷에 구애받지 않고 로그를 자연어처럼 해석할 수 있는 잠재력을 가지고 있습니다. 하지만 LLM 기반 로그 해석 연구를 저해하는 가장 큰 장벽은 다양한 공격 기법을 포괄하는 공개된 레이블이 지정된 데이터셋의 부재입니다. 기존 데이터셋들은 주로 네트워크 트래픽에 치중하거나, 특정 OS(Windows 등) 로 제한되어 있거나, 공격 시나리오의 다양성이 부족합니다.

2. 제안 방법론 및 데이터셋 구축 (Methodology)

저자들은 이러한 격차를 해소하기 위해 CAM-LDS(Cyber Attack Manifestation Log Data Set) 를 개발했습니다.

• 데이터셋 구성:
  • 범위: 7 개의 공격 시나리오, 13 개의 전술 (Tactics), 81 개의 고유한 공격 기법 (Techniques) 을 포함합니다.
  • 환경: 완전한 오픈소스 및 재현 가능한 테스트 환경 (AttackBed) 에서 구축되었으며, Linux 기반의 기업 네트워크 토폴로지를 시뮬레이션합니다.
  • 데이터 소스: 18 개의 서로 다른 소스로부터 수집된 시스템 로그 (audit, syslog, auth 등), 애플리케이션 로그, 네트워크 패킷 캡처 (PCAP), 그리고 호스트/네트워크 기반 침입 탐지 시스템 (Wazuh, Suricata) 의 경고 (Alerts) 를 포함합니다.
• 생성 프로세스:
  1. 시나리오 설계: MITRE ATT&CK 프레임워크에서 관측 가능성 (Observability), 실행 가능성 (Feasibility), 자동화 (Automation) 기준에 따라 122 개의 기법을 선별하여 7 개의 일관된 킬 체인 (Kill Chain) 으로 구성했습니다.
  2. 공격 실행: AttackMate라는 오픈소스 적대적 모방 (Adversarial Emulation) 프레임워크를 사용하여 스크립트 기반의 공격을 수행했습니다. 이는 재현성을 보장하면서도 인간의 행동과 유사한 상호작용 (예: 키보드 입력 시뮬레이션) 을 포함하여 현실성을 높였습니다.
  3. 데이터 수집 및 전처리: 공격 실행 전 15 분의 안정화 기간을 두고, 공격 시작 후 18 개 소스에서 로그를 수집했습니다. 배경 잡음 (Background Noise) 을 제거하기 위해 공격 전 10 분의 유휴 시스템 로그를 기준 (Baseline) 으로 삼아 필터링을 적용했습니다.

3. 주요 기여 (Key Contributions)

1. CAM-LDS 데이터셋 공개: 시스템 로그와 보안 경고를 직접적으로 포함하는, LLM 기반 해석 연구를 위해 설계된 최초의 공개 레이블 데이터셋입니다.
2. 공격 표현 (Manifestation) 의 체계적 분석: 수집된 데이터를 바탕으로 공격이 로그에 어떻게 나타나는지 (명령어 가시성, 이벤트 빈도, 성능 지표 변화, IDS 경고 등) 를 심층적으로 분석하고 분류했습니다.
3. LLM 기반 로그 해석의 실증적 평가: 제안된 데이터셋을 활용하여 LLM 의 로그 해석 능력을 제로샷 (Zero-shot) 환경에서 평가한 사례 연구 (Case Study) 를 제시했습니다.

4. 실험 결과 및 분석 (Results)

4.1. 공격 표현의 특성 분석

• 명령어 가시성: 전체 공격 단계 (243 개) 중 약 47.3% 는 감사 로그 (Audit Logs) 에 실행된 명령어가 명시적으로 포함되었습니다. 하지만 공격 수행 방식 (SSH, 역셸, 플러그인 등) 에 따라 로그의 가시성과 세분화 정도가 크게 달라졌습니다.
• 이벤트 빈도: 스캐닝이나 브루트포스 공격과 같은 단계는 수천 개의 로그 이벤트를 생성하여 빈도 기반 이상 탐지에 유용하지만, 일부 공격은 로그를 거의 생성하지 않거나 배경 잡음과 구별하기 어렵습니다.
• IDS 경고의 한계: 시그니처 기반의 IDS (Wazuh, Suricata) 는 공격 단계 중 약 22% (43/198) 만을 'Low-High' 심각도 경고로 탐지했습니다. 나머지 상당수는 탐지되지 않았으며, 이는 시그니처 기반 탐지의 한계를 보여줍니다.

4.2. LLM 기반 해석 평가 결과

• 실험 설정: ChatGPT 를 사용하여 198 개의 공격 단계에 대한 로그를 입력하고, MITRE ATT&CK 기법을 분류하도록 요청했습니다 (학습 데이터 없이 제로샷).
• 성능:
  • 공격 단계의 약 3 분의 1은 LLM 이 완벽하게 (Top-1 또는 Top-2) 올바른 공격 기법을 예측했습니다.
  • 추가 3 분의 1은 올바른 기법이 Top-10 안에 포함되어 적절하게 분류되었습니다.
  • 나머지 3 분의 1 은 예측이 부정확했습니다.
• 성능 영향 요인:
  • 명령어 가시성: 로그에 공격 명령어가 명확히 포함된 경우 분류 정확도가 가장 높았습니다.
  • 이벤트 빈도: 로그 이벤트 수가 많은 공격 단계일수록 정확도가 높았습니다.
  • IDS 경고: IDS 경고가 발생한 공격 단계는 LLM 이 더 정확하게 분류했습니다.

5. 의의 및 결론 (Significance)

• LLM 의 실용성 입증: LLM 은 별도의 학습 없이도 시스템 로그의 의미적 패턴을 추출하고 공격 기법을 식별할 수 있는 능력을 가지고 있음을 증명했습니다. 이는 보안 분석가의 업무 부담을 줄이고, 로그 해석의 자동화 가능성을 보여줍니다.
• 보완적 접근의 필요성: 시그니처 기반 IDS 가 탐지하지 못하는 공격이 많으며, LLM 은 이러한 공백을 메울 수 있는 유망한 보완 도구임을 시사합니다.
• 재현 가능한 연구 기반: CAM-LDS 는 오픈소스 인프라, 공격 스크립트, 실험 아티팩트와 함께 공개되어, 향후 로그 기반 보안 분석 및 LLM 연구의 표준 벤치마크로 활용될 수 있습니다.
• 향후 과제: LLM 해석 정확도를 높이기 위해 시스템 구성 정보 (Asset Information) 나 이전 공격 단계의 맥락 정보를 프롬프트에 추가하는 연구, 그리고 다양한 모델 아키텍처 및 인간 전문가와의 비교 평가가 필요하다고 제안합니다.

이 논문은 사이버 보안 분야에서 LLM 의 도입을 가속화하기 위한 중요한 데이터 인프라와 실증적 근거를 제공한다는 점에서 의의가 큽니다.