1. 문제 정의 (Problem)

현대 사이버 보안 운영 센터 (SOC) 는 공격의 양과 복잡성이 증가함에 따라 심각한 부담을 겪고 있습니다.

• 데이터 과부하: 하루에 수천 개의 경보가 생성되지만, 분석가는 이를 모두 검토할 수 없어 피로와 사고 누락이 발생합니다.
• 분석의 어려움: 사고 조사는 침입 탐지 시스템 (IDS), 네트워크 트래픽, 인증 로그 등 다양한 소스에 흩어진 증거를 수집하고 연결해야 하는 노동 집약적인 작업입니다.
• 기존 기술의 한계: 시그니처 기반 탐지는 새로운 공격 패턴을 포착하지 못하며, 기존 머신러닝 방법은 경보 분류에 그쳐 사고의 전체적인 내러티브 (Narrative) 를 재구성하지 못합니다.
• LLM 의 직접 적용 불가: 원시 로그 (Raw Logs) 를 직접 LLM 에 입력하는 것은 비현실적입니다. 단일 사고는 수백만 개의 로그 엔트리를 생성하여 모델의 컨텍스트 한계를 초과하고, 정상적인 활동 속에 숨겨진 공격 신호를 찾기 어렵기 때문입니다.

2. 방법론 (Methodology)

저자들은 검색 증강 생성 (RAG, Retrieval-Augmented Generation) 아키텍처를 기반으로 한 보안 사고 분석 시스템을 제안합니다. 이 시스템은 원시 로그를 LLM 에 직접 주입하는 대신, 타겟 쿼리 기반 필터링과 의미론적 추론을 결합합니다.

핵심 아키텍처

1. 보안 컨텍스트 추출 (Security Context Extraction):

   • 타겟 IOC 쿼리: Suricata, Zeek, Windows 이벤트 로그 등 다양한 소스에서 악성 지표 (IOC) 를 추출하기 위해 사전 정의된 쿼리 라이브러리를 사용합니다.
   • MITRE ATT&CK 매핑: 각 쿼리는 특정 공격 기법 (예: ESC1, Kerberos 티켓 위조) 과 매핑되어 있습니다.
   • 집계 (Aggregation): 수천 개의 이벤트 패턴을 압축하여 의미 있는 요약 데이터로 변환합니다. 이는 개별 로그가 아닌 행동 패턴을 드러냅니다.
   • 임베딩 및 인덱싱: 추출된 데이터를 벡터 데이터베이스에 저장하여 의미론적 검색을 가능하게 합니다.

2. RAG-LLM 분석 (RAG-LLM Analysis):

   • 검색 (Retrieval): 분석가가 질문을 입력하면, 관련 있는 로그 조각 (Chunks) 이 의미 유사성 (Semantic Similarity) 을 기반으로 검색됩니다.
   • 증강 생성 (Generation): 검색된 컨텍스트와 질문을 LLM 에 제공하여 증거 기반의 사고 보고서나 공격 시나리오 재구성을 생성합니다.
   • 작동 모드:
     • 포렌식 질문 답변: 감염된 호스트, C2 서버, 초기 침입 경로 등을 특정합니다.
     • 공격 시퀀스 재구성: 시간 순서대로 공격 단계를 연결하여 전체 공격 경로를 설명합니다.

3. 주요 기여 (Key Contributions)

1. LLM 기반 사고 분석 문제 공식화: 구조화된 질문 답변 (IP, 호스트명, 도메인 집합 등 유형별 매칭) 과 공격 시퀀스 재구성을 통합한 프레임워크를 제시했습니다.
2. 보안 인식형 RAG 아키텍처 설계: 단순 텍스트 검색이 아닌, 보안 데이터에 특화된 '타겟 쿼리 - 집계 - 의미론적 청킹' 파이프라인을 설계했습니다. 이를 통해 개별적으로 정당한 활동이라도 조합되었을 때 악성임을 식별하는 (예: 인증서 요청과 발급 간의 불일치) 교차 이벤트 추론이 가능해졌습니다.
3. LLM 제공자 평가 및 비용 효율성 분석: 클라우드 API(Claude, DeepSeek, GPT 등) 와 온프레미스 배포 (Llama, Cisco) 를 포함한 8 가지 구성을 평가했습니다.
4. 재현성 확보: 쿼리 라이브러리, RAG 파이프라인, 평가 스크립트 및 말웨어 트래픽 시나리오 데이터를 공개했습니다.

4. 실험 결과 (Results)

저자들은 4 가지 말웨어 트래픽 시나리오와 1 가지 Active Directory (AD) 공격 시나리오를 통해 시스템을 평가했습니다.

말웨어 트래픽 분석 (Question Answering)

• 성능: Claude Sonnet 4와 DeepSeek V3는 4 가지 시나리오 모두에서 **100% 재현율 (Recall)**을 달성했습니다.
• 비용 효율성: DeepSeek V3 는 Claude 와 동등한 정확도를 유지하면서 분석당 비용이 15 배 낮았습니다 ($0.008 vs $0.12).
• 로컬 배포: Llama 3.1:70b(95% 재현율) 과 Cisco Foundation-Sec-8B(90% 재현율) 는 데이터 민감도가 높은 환경에서 클라우드 대안으로 적합했습니다.
• RAG 의 필수성: RAG 를 사용하지 않고 원시 로그를 직접 입력한 베이스라인은 컨텍스트 제한으로 인해 공격 인프라 (C2 서버 등) 를 전혀 탐지하지 못했습니다 (0% 탐지).

Active Directory 공격 분석 (Attack Reconstruction)

• 정확도: 공격 단계 탐지에서 **100% 정밀도 (Precision)**와 82% 재현율을 달성했습니다.
• 심층 추론: 시스템은 개별적으로 정당한 활동 (인증서 요청, Kerberos 티켓 발급) 이 조합되어 권한 상승 (Privilege Escalation) 을 유도하는 경우를 식별하여 공격을 성공적으로 재구성했습니다.
• 방어 권고: 분석가가 수행한 방어 조치 (인증서 취소, KRBTGT 재설정 등) 와 100% 일치하는 방어 권고를 생성했습니다.

RAG 아키텍처의 중요성 (Ablation Study)

• RAG 부재 시: LLM 은 피해자 호스트 (IP, 호스트명) 는 식별할 수 있었으나, 공격 인프라 (악성 도메인, C2 서버) 를 모두 놓쳤습니다. 이는 로그의 양이 많고 노이즈가 심할 때 LLM 이 핵심 신호를 놓친다는 것을 의미합니다.
• 컨텍스트 크기: 검색된 청크 수 ($k$) 가 증가할수록 성능이 향상되었으며, Claude 와 DeepSeek 은 $k=7$에서 최대 성능을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용성: 이 시스템은 사고 분석 시간을 분 단위로 단축하여 실시간 대응이 가능하게 합니다. (말웨어 분석 1~2 분, AD 공격 분석 5 분 윈도우당 1 분 미만).
• 비용과 성능의 균형: DeepSeek V3 와 같은 모델을 사용하면 고비용의 클라우드 LLM 을 대체하면서도 동등하거나 더 나은 성능을 얻을 수 있어, 대규모 SOC 운영에 경제적 타당성을 제공합니다.
• 전문성 vs 일반성: 보안 특화 모델 (Cisco 8B) 이 일반 목적 모델 (Claude, DeepSeek) 보다 성능이 우월하지 않았으며, 이는 복잡한 포렌식 작업에서 도메인 특화 사전 학습보다 추론 능력 (Reasoning Capability) 이 더 중요함을 시사합니다.
• 미래 방향: 다양한 공격 유형에 대한 검증과 대규모 배포를 위한 추가 연구가 필요하지만, RAG 기반의 필터링과 LLM 추론의 결합은 정확하고 비용 효율적인 보안 분석의 새로운 표준이 될 수 있음을 입증했습니다.

이 연구는 보안 분석가의 업무 부담을 줄이고, 복잡한 다단계 공격을 정확하게 식별 및 설명할 수 있는 AI 기반 사고 대응 체계의 실현 가능성을 보여줍니다.