기술 요약: 파서 없는 보안 로그 쿼리

문제 제기

보안 분석가는 시스템 로그를 쿼리하여 위협을 탐지하고 사고를 조사하는 작업을 정기적으로 수행하지만, 로그 포맷의 다양성이 상당한 병목 현상을 초래합니다. 로그는 생성 비용은 저렴하지만, 각 소스 (방화벽, 인증 서비스, 엔드포인트 에이전트 등) 가 자체의 반구조화된 포맷을 사용하기 때문에 활용 비용은 높습니다.

산업 표준 접근 방식은 분석 전 로그를 구조화된 스키마 (예: OCSF) 로 정규화하기 위해 소스별 파서를 구축하는 것입니다. 이는 강력하지만 포맷이 진화함에 따라 파서를 유지 관리하기 위한 지속적인 엔지니어링 노력이 필요합니다. 예를 들어, Google SecOps 는 약 1,000 개의 활성 파서를 유지하며 월간 200 건 이상의 업데이트를 수행합니다. 반면, 파싱을 건너뛰고 grep 이나 즉흥적 스크립트와 같은 도구로 원시 파일을 직접 검색하는 방식은 유지 관리 비용을 회피하지만, 그 부담을 분석가에게 전가합니다. 이 수동 방식은 특정 메시지 변형에 대한 깊은 지식을 요구하며, 상태, 그룹화, 집계 기능이 필요한 복잡한 다중 줄 시간 쿼리 (예: "60 초 이내에 두 개의 다른 IP 에서 로그인한 사용자 찾기") 를 표현하는 데 어려움을 겪습니다.

두 가지 접근 방식 모두 동일한 이유로 실패합니다. 즉, 소스 로그의 구문과 의미에 대한 사전 지식을 요구한다는 점입니다. 구조화된 파이프라인은 이를 파서에 인코딩하는 반면, 원시 텍스트 워크플로우는 분석가가 이를 수동으로 재구성해야 합니다.

방법론: Sieve 시스템

저자들은 사전 구축된 파서나 정규화된 스키마 없이 자연어 보안 질문에서 실행 가능한 쿼리 코드를 생성하는 Sieve 시스템을 제시합니다. Sieve 는 경량화된 자동으로 추출된 로그 포맷 컨텍스트로 대규모 언어 모델 (LLM) 을 그라운딩 (grounding) 하여 작동합니다.

파이프라인 개요

Sieve 는 네 단계로 작동합니다:

1. 프롬프트 구성: 시스템은 자연어 쿼리, 로그 파일 경로, "컨텍스트 전략" (로그 템플릿 또는 원시 줄의 예시) 을 포함한 프롬프트를 조립합니다. 또한 제약 조건 (예: 코드는 Python 또는 Bash 여야 함, 네트워크/파일 쓰기 금지) 과 출력 사양을 포함합니다.
2. 코드 생성: LLM(주로 Gemini 3.1 Pro Preview 또는 OpenAI GPT-5.4) 이 쿼리당 한 번 호출되어 자체 완결형 Python 또는 Bash 스크립트를 생성합니다. 모델은 신뢰할 수 있는 추출을 보장하기 위해 코드를 JSON 래퍼로 반환하도록 지시받습니다.
3. 샌드박스 실행: 생성된 코드는 네트워크 접근이 없고 파일 시스템 권한이 제한된 하위 프로세스에서 실행됩니다. eval, exec, rm 등을 거부하는 안전성 검사 및 출력 형식 검증을 거칩니다.
4. 재시도 메커니즘: 실행이 실패하거나 스크립트가 예외를 발생시키거나 출력 형식이 위반되면, 오류 메시지가 LLM 에게 피드백되어 재시도가 이루어집니다. 최대 네 번의 재시도가 허용됩니다.

컨텍스트 전략

LLM 을 특정 로그 포맷에 그라운딩하기 위해 Sieve 는 컨텍스트를 제공하기 위해 다섯 가지 전략을 평가합니다:

• 마트료시카 템플릿: 고품질 의미 템플릿과 이름이 지정된 필드 자리 표시자를 생성하기 위해 오프라인 LLM 파이프라인을 사용합니다.
• Drain3: 단일 패스로 일반 와일드카드가 포함된 템플릿을 추출하는 스트리밍 파서입니다.
• 빈도 기반 템플레이터: IPLoM 에서 영감을 받은 경량 휴리스틱 알고리즘으로, 토큰을 정규화하고 길이에 따라 그룹화하며 변수 위치를 식별하여 LLM 호출 없이 10 초 이내에 템플릿을 생성합니다.
• 무작위 샘플: 명시적인 템플릿 없이 100 개의 무작위 샘플링된 로그 줄을 제공합니다.
• 컨텍스트 없음: 단일 샘플 줄만 제공하며 모델의 사전 훈련된 지식에 의존합니다.

시스템은 LLM 을 컴파일러로 취급합니다. 추출 로직을 한 번 생성하고, 결과 스크립트는 전체 로그에 대해 정상 프로그램 속도로 결정론적으로 실행됩니다.

주요 기여

1. Sieve 파이프라인: 자연어에서 실행 가능한 코드를 생성하며 쿼리당 LLM 호출 한 번과 그 후의 결정론적 실행만 필요한 원시 보안 로그의 LLM 지원 쿼리를 위한 오픈 소스 시스템입니다.
2. 벤치마크: 5 가지 로그 유형 (Linux Audit, SSH, cron, Puppet, DHCP) 에 걸쳐 133 개의 보안 쿼리로 구성된 새로운 벤치마크입니다. 쿼리는 단순 필터 (12 등급) 에서 시간 창과 상태 집계를 포함하는 복잡한 다중 줄 상관관계 (34 등급) 까지 다양합니다. 모든 쿼리에 대한 정답 (Ground truth) 이 제공됩니다.
3. 디자인 공간 탐색: 로그 쿼리를 위한 최적 구성을 결정하기 위해 컨텍스트 전략, 실행 언어 (Python 대 Bash), 모델 계열에 대한 평가입니다.
4. 베이스라인 비교: 인간 베이스라인 (10 분 미만 내에 grep/Python 스크립트를 작성하는 분석가) 과 자동화된 구조화 파싱 파이프라인 (Matryoshka) 에 대한 비교입니다.

실험 결과

평가 는 5 가지 로그 유형의 133 개 쿼리에 대해 수행되었습니다.

• 인간 베이스라인 대비 성능: Sieve 는 단순 필터 쿼리에서 인간 성능과 일치하지만 복잡한 쿼리에서는 수동 스크립팅을 크게 능가합니다. 복잡한 작업 (무차별 대입 공격 탐지, 세션 이상 식별, 교차 이벤트 상관관계) 에서 Sieve 는 평균 오류율을 0.34(인간) 에서 0.10으로 줄여 약 3.6 배 감소시켰습니다. 가장 큰 개선은 타임스탬프 파싱, 공유 식별자로 이벤트 조인, 롤링 윈도우 상태 유지를 요구하는 작업에서 관찰되었습니다.
• 구조화 파싱 대비 성능: 단순 필터링 작업에서 Sieve(경량 Drain3 컨텍스트 사용) 는 0.981의 매크로 F1 점수를 달성하여 Matryoshka 구조화 파싱 파이프라인 (0.999) 의 노이즈 범위 내에 있습니다. 이는 오프라인 파서 생성 단계 없이도 LLM 생성 코드가 완전히 파싱된 표현의 정확도에 근접할 수 있음을 보여줍니다.
• 컨텍스트 전략: 템플릿 소스의 선택은 예상보다 덜 중요합니다. LLM 호출 없이 몇 초 만에 실행되는 간단한 빈도 기반 템플레이터는 고노력 Matryoshka 템플릿과 통계적으로 구별되지 않는 결과를 생성했습니다. 결정적 요인은 템플릿 표현의 정교함보다는 메시지 변형의 커버리지입니다.
• 언어 선택: Python 은 복잡한 쿼리에 대한 우수한 기본 옵션입니다. Bash 는 단순 필터에서 비교 가능한 성능을 보이지만, 데이터 구조 및 타임스탬트 연산 처리의 한계로 인해 상태가 있는 시간 쿼리 (예: DHCP 복잡한 쿼리는 Python 의 0.815 F1 에서 Bash 의 0.446 으로 하락) 에서 크게 실패합니다.
• 모델 견고성: 파이프라인은 모델 계열 (Gemini 3.1 Pro 및 GPT-5.4) 간에 이전되지만, 이 특정 구성에서 GPT-5.4 는 복잡한 상태 작업에서 더 낮은 성능을 보였습니다.

중요성 및 주장

이 논문은 Sieve 가 구조화된 로그 쿼리의 표현력과 원시 파일로 직접 작업하는 즉시성 사이의 간극을 메운다고 주장합니다. 그 주요 중요성은 LLM 생성 코드가 지속적인 파서 유지 관리의 필요성을 제거하면서도 구조화된 분석의 정확성을 유지하는 저스트인타임 (just-in-time) 쿼리 계획으로 기능할 수 있음을 입증하는 데 있습니다.

저자들은 Sieve 가 SIEM 의 정규화된 스키마 밖으로 떨어지는 분석가 쿼리의 "긴 꼬리"나 파서 구축을 위한 시간적 압박이 있는 즉흥적 조사에 특히 가치 있다고 주장합니다. 지속적인 엔지니어링 (파서 유지 관리) 에서의 비용을 바운드된 쿼리당 비용 (LLM 호출 한 번 + 결정론적 실행) 으로 전환함으로써, Sieve 는 "먼저 정규화한 후 나중에 쿼리"하는 아키텍처에 대한 확장 가능한 대안을 제공합니다. 결과는 복잡한 보안 조사의 경우 시스템이 충분한 로그 포맷 컨텍스트로 그라운딩된다면 자동 코드 생성이 수동 스크립팅보다 실행 가능할 뿐만 아니라 우월함을 시사합니다.