SCOPE: Tree-based Self-Correcting Online Log Parsing via Syntactic-Semantic Collaboration

논문 요약: SCOPE (Syntactic-Semantic Collaboration 기반 트리 기반 자기 수정 온라인 로그 파싱)

1. 문제 정의 (Problem)

현대 소프트웨어 시스템에서 로그 분석은 이상 탐지, 근본 원인 분석, 시스템 진단 등에 필수적입니다. 로그 파싱 (Log Parsing) 은 원시 로그 메시지를 일정한 템플릿과 변수로 변환하는 과정으로, 자동화된 로그 분석의 핵심 단계입니다. 기존 방법론들은 다음과 같은 한계를 가지고 있습니다:

• 전통적 휴리스틱 기반 방법 (Heuristic-based): Drain, Brain 등 구조적 패턴 마이닝을 사용하며 효율성이 높지만, 시맨틱 (의미) 적 맥락을 고려하지 않아 정확도가 낮고, 다양한 로그 포맷에 적용 시 수동 튜닝이 필요합니다.
• LLM 기반 방법 (LLM-based): GPT 와 같은 대규모 언어 모델을 활용하여 높은 정확도를 달성하지만, API 호출 빈도가 높아 지연 시간 (Latency) 과 비용이 크게 증가합니다. 또한, 모든 로그에 대해 LLM 을 호출하는 것은 비효율적입니다.

이러한 배경에서 효율성과 정확성 사이의 균형을 이루면서, 온라인 환경에서 실시간으로 작동할 수 있는 새로운 파싱 프레임워크가 필요했습니다.

2. 제안 방법론 (Methodology: SCOPE)

저자들은 SCOPE라는 새로운 프레임워크를 제안했습니다. 이는 휴리스틱 방법의 효율성과 LLM 의 시맨틱 이해 능력을 통합한 자기 수정 (Self-Correcting) 온라인 로그 파싱 시스템입니다. SCOPE 는 크게 네 가지 핵심 구성 요소로 이루어져 있습니다.

가. 전처리 (Preprocessing)

• 로그 메시지를 토큰으로 분할하고, IP 주소, 타임스탬프, 숫자 등 일반적인 변수 패턴을 정규 표현식으로 식별하여 플레이스홀더 (<*>) 로 대체합니다.
• 특수 기호 (등호, 콜론 등) 를 별도의 토큰으로 처리하여 문법적 단서 (Syntactic cues) 를 강화합니다.

나. 양방향 파싱 트리 (BDPT: Bi-Directional Parse Tree)

• 기존 Drain 방법의 단방향 트리를 개선하여 **양방향 (Forward & Reverse)**으로 탐색하는 트리 구조를 도입했습니다.
• 로그 메시지의 변수가 앞부분이나 뒷부분에 집중되는 경향을 반영하여, 정방향과 역방향 모두에서 템플릿 매칭을 수행합니다.
• 동적 깊이 (Dynamic Depth): 템플릿 길이에 따라 트리 깊이를 동적으로 조정하여 매칭 성공률을 높입니다.
• 자기 수정 메커니즘: 매칭 실패 시 잘못된 분기를 새로운 분기로 대체하거나 병합하여 트리를 지속적으로 업데이트합니다.

다. 우선순위 기반 템플릿 매칭 풀 (PTMP: Priority-based Template Match Pool)

• BDPT 에서 매칭이 실패한 경우 (예: 변수가 메시지의 앞뒤 모두에 존재하는 복잡한 경우) 를 대비한 글로벌 백업 매커니즘입니다.
• 모든 알려진 템플릿 풀에서 유사도 기반 검색을 수행하되, 우선순위 (Priority) 전략을 적용합니다.
  • 업데이트 이력이 없거나 매칭된 로그 수가 적은 '불확실한' 템플릿을 먼저 검색하여 효율성을 높입니다.

라. NLP 기반 템플릿 추출기 (NLPE: NLP-based Template Extractor)

• 구문 - 시맨틱 협업 (Syntactic-Semantic Collaboration) 2 단계 프레임워크를 도입하여 LLM 호출을 최소화합니다.
  • 1 단계 (구문 분석): 경량 NLP 모델 (spaCy 등) 을 사용하여 품사 (POS) 태깅을 수행합니다. 위치가 다른 토큰이 고정된 상수 (예: 동사, 명사 등) 로 판단되면 LLM 호출 없이 즉시 매칭을 종료합니다.
  • 2 단계 (시맨틱 분석): 1 단계에서 결정하기 어려운 모호한 경우에만 LLM 을 선택적으로 호출합니다. LLM 에게 Chain-of-Thought (CoT) 프롬프트를 적용하여 템플릿 추출 규칙을 명확히 하고, 문맥적 의미를 고려해 변수와 상수를 구분하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. 통합 프레임워크 제안: 휴리스틱 방법의 효율성과 LLM 의 정확성을 결합한 최초의 통합 로그 파싱 프레임워크를 제안했습니다.
2. 양방향 파싱 트리 (BDPT): 동적 깊이 설계를 가진 양방향 트리를 통해 템플릿 매칭 능력을 향상시키고, 자기 수정 메커니즘을 통해 매칭 정확도를 높였습니다.
3. 구문 - 시맨틱 협업 프레임워크: 경량 NLP 모델 (POS 태깅) 과 LLM 을 계층적으로 결합하여 LLM 호출 횟수를 획기적으로 줄이면서도 높은 정확도를 유지했습니다.
4. 오픈 소스 공개: 코드와 데이터셋을 공개하여 연구의 투명성과 재현성을 보장했습니다.

4. 실험 결과 (Results)

Loghub-2.0 의 14 개 대규모 데이터셋을 대상으로 기존 최첨단 (SOTA) 방법 (Drain, Brain, LILAC, LogBatcher, LUNAR 등) 과 비교 평가했습니다.

• 정확도 (Effectiveness):
  • SCOPE 는 모든 평가 지표 (GA, PA, FGA, FTA) 에서 가장 높은 평균 정확도를 기록했습니다.
  • 기존 휴리스틱 파서 (Drain, Brain) 대비 GA/PA 에서 각각 16.1%, 49.5% 향상, F1 점수에서는 94.8%~167.7% 의 큰 개선을 보였습니다.
  • LLM 기반 파서 (LILAC 등) 대비도 평균 3.8%~13.5% 더 높은 정확도를 달성했습니다.
• 효율성 (Efficiency):
  • 속도: Drain 과 유사하거나 더 빠른 파싱 속도를 보였습니다 (360 만 개 로그당 약 483 초).
  • LLM 호출 비용: 다른 LLM 기반 파서들에 비해 **약 6 분의 1 수준 (약 15%)**의 LLM 호출 횟수만 사용하여 비용과 지연 시간을 크게 절감했습니다.
  • 비용 분석: 데이터셋당 약 $0.062 의 비용으로, 높은 정확도 향상과 비교할 때 매우 경제적입니다.
• 성분 분석 (Ablation Study):
  • NLPE(구문 - 시맨틱 모듈) 를 제거할 경우 정확도가 15% 이상 급감하여 이 모듈의 핵심적 역할을 입증했습니다.
  • POS(품사) 분석만 제거해도 LLM 호출이 53% 증가하여, 경량 NLP 모델이 LLM 부하를 효과적으로 분산시킴을 확인했습니다.

5. 의의 및 결론 (Significance)

SCOPE 는 로그 파싱 분야에서 효율성과 정확성의 트레이드오프를 해결한 획기적인 접근법입니다.

• 실용성: 온라인 환경에서 실시간으로 처리가 가능하며, LLM 의 높은 비용을 줄여 실제 산업 환경에 배포하기 용이합니다.
• 적응성: 다양한 LLM 모델 (Qwen, GPT-4o 등) 에 대해 강건하며, 프롬프트 전략 (CoT) 을 통해 소형 모델에서도 우수한 성능을 발휘합니다.
• 혁신성: 단순한 LLM 호출이 아닌, 구문 분석을 통한 필터링과 LLM 의 시맨틱 분석을 계층적으로 결합한 '자기 수정' 구조는 향후 지능형 시스템 모니터링 및 로그 분석 시스템의 새로운 표준이 될 수 있습니다.

이 연구는 복잡한 시스템의 로그 데이터를 효율적이고 정확하게 분석할 수 있는 강력한 도구를 제공하며, 오픈 소스로 공개되어 향후 연구와 산업 적용을 촉진할 것으로 기대됩니다.