LogSemFuse: Semantic Evidence Fusion for Explainable Log Anomaly Detection

기술 요약: LogSemFuse

문제 정의

로그 이상 탐지는 현대적인 소프트웨어 시스템을 모니터링하는 데 필수적이지만, 기존의 모델 기반 탐지기들은 두 가지 주요 한계에 직면해 있습니다. 첫째, 이러한 모델들은 강력한 탐지 성능을 달-성함에도 불구하고, 일반적으로 의사결정 이면에 있는 운영적 의미론(operational semantics)을 제공하지 않은 채 단순히 이상 점수나 이진 레이블만을 출력합니다. 이러한 근거의 부재는 운영자가 세션이 왜 플래그(flag)되었는지 이해하기 위해 로그를 수동으로 조사하게 만들어, 효율적인 진단과 장애 대응을 저해합니다. 둘째, 대규모 언어 모델(LLM)은 풍부한 로그 의미론을 복구할 수 있지만, 이를 단독 탐지기로 사용하는 것은 비용이 많이 들고 추론의 가변성이 크며, 결정의 근거가 되는 구체적인 증거에 기반한 설명을 생성하기 어렵습니다. 또한, 모든 세션에 대해 직접 LLM에 프롬프트를 입력하는 것은 계산 비용이 많이 들고 확장이 어렵습니다.

해결하고자 하는 핵심 과제는 기존의 고성능 백본(backbone) 탐지기를 교체하거나 학습 파이프라인을 변경하지 않으면서도, 해석 가능한 의미론적 증거와 설명을 어떻게 강화할 것인가입니다.

방법론: LogSemFuse 프레임워크

LogSemFuse는 플러그인 의미론적 증강(plug-in semantic augmentation) 프레임워크로 제안되었습니다. 이 프레임워크는 백본 탐지기를 대체하거나 그 학습 목적 함수를 변경하지 않습니다. 대신, 추론 단계에서 세 가지 별도의 모듈로부터 도출된 구조화된 의미론적 증거를 백본의 예측과 융합하여 작동합니다. 프레임워크는 추론 시 LLM 사용을 최소화하기 위해 학습 중에 구축된 재사용 가능한 아티팩트를 저장하는 **지식 뱅크(Knowledge Bank, $K$)**를 유지합니다.

1. 학습 단계의 증거 구축

추론 전, LogSemFuse는 학습 데이터를 처리하여 두 가지 유형의 재사용 가능한 증거를 구축합니다.

• 로컬 이벤트 패턴 뱅크 ($K_{ngram}$): 시스템은 레이블이 지정된 이상 학습 세션의 EventId 시퀀스에서 변별력 있는 unigram, bigram, trigram을 마이닝합니다. 패턴은 "리프트(lift)"(정상 지원 대비 이상 지원 비율)에 따라 순위가 매겨지며, 정상 세션에서 과도하게 발생하지 않도록 검증됩니다. 이러한 패턴은 짧고 연속적인 이상 동작(예: 반복되는 재시도 또는 예외 시퀀스)에 대한 결정론적이고 해석 가능한 증거를 제공합니다.
• 클러스터 유도 규칙 뱅크 ($K_{rule}$): 이상 학습 세션은 이벤트 분포를 기반으로 HDBSCAN을 사용하여 클러스터링됩니다. 각 클러스터에 대해, LLM은 공유된 운영 동작을 요약하고 구조화된 실행 가능 규칙을 유도하도록 프롬프트됩니다. 이 규칙들은 contains_ngram, ordered_subset, min_count, absent_within과 같은 프리미티브(primitives)를 사용합니다. 결과적으로 생성된 규칙은 더 넓고 비연속적인 운영 패턴을 포착하며, 추론 시 결정론적 매칭을 위해 저장됩니다.

2. 추론 단계의 의미론적 증강

입력되는 로그 세션 $x$에 대해, LogSemFuse는 네 가지 이진 신호를 집계하여 최종 결정과 설명을 생성합니다.

1. 백본 신호 ($s_b$): 백본 탐지기(예: DeepLog, LogBERT)의 원래 이상 점수 또는 레이블.
2. 로컬 패턴 신호 ($s_n$): 세션의 EventId 시퀀스를 $K_{ngram}$과 매칭하여 결정.
3. 규칙 신호 ($s_r$): $K_{rule}$에 있는 규칙들을 세션에 실행하여 결정.
4. LLM 의미론적 추론 신호 ($s_\ell$): LLM이 세션을 분석하여 고위험 예측, 신뢰도 점수 및 근거(기대 행동 vs 관찰된 행동)를 제공합니다. 비용 제어를 위해 LLM은 새로운 세션에 대해서만 호출되며, 결과는 재사용을 위해 세션 식별자별로 캐싱됩니다.

융합 및 설명:
융합 연산자(검증 데이터에 따라 OR, AND, 또는 vote-$k$ 정책 중 선택)는 이 네 가지 신호를 결 Combine하여 최종 이상 레이블을 결정합니다. 그 후 시스템은 매칭된 로컬 패턴, 트리거된 클러스터 유도 규칙(클러스터 수준의 설명 포함), 그리고 LLM의 의미론적 근거를 추적함으로써 증거 기반 설명을 생성합니다.

주요 기여

본 논문은 다음과 같은 구체적인 기여를 합니다:

• 플러그인 프레임워크: 기존 로그 탐지기의 학습이나 추론 파이프라인을 수정하지 않고도 실행 가능한 의미론적 증거를 통해 기존 탐지기를 강화하는 방법.
• 지식 뱅크 설계: 효율적이고 저비용의 재사용을 가능하게 하는 재사용 가능한 로컬 이벤트 패턴, 클러스터 유도 규칙 및 캐싱된 세션 수준의 LLM 추론을 저장하는 메커니즘.
• 증거 기반 설명: 사후적 특징 기여도(post-hoc feature attribution)가 아닌, 실행된 패턴, 트리거된 규칙 및 LLM 근거를 사용하여 이상 결정에 대한 설명을 제공하는 접근 방식.
• 실증적 검증: 세 가지 데이터셋(HDFS, BGL, Liberty)과 네 가지 백본 탐지기에 대한 종합적인 평가를 통해, 적은 오버헤드로 향상된 탐지 성능과 설명 품질을 입증.

평가 결과

프레임워크는 DeepLog, LogAnomaly, LogBERT, NeuralLog을 백본으로 하여 HDFS, BGL, Liberty 데이터셋에서 평가되었습니다.

• 탐지 성능: LogSemFuse는 완벽하지 않은 모든 베이스라인의 F1-score를 개선했습니다. 테스트 세트 전반에서 백본의 미탐(false negatives)을 98.8% 회복했습니다. 특히, 백본이 이미 최적이었던 경우(예: Liberty 데이터셋의 LogAnomaly)에도 완벽한 성능을 보존했습니다.
• 효efficiency: 프레임aki는 반복적인 LLM 호출 대신 로컬 패턴 매칭과 규칙 실행에 의존함으로써, 데이터셋에 따라 약 ~2.3초에서 5.8초 사이의 완만하고 안정적인 추론 시간 오버헤드를 추가합니다. LLM 토큰 사용량은 캐싱된 결과와 지식 뱅크의 재사용을 통해 분산(amortized)됩니다.
• 사용자 평가: 14명의 개발자 및 연구자를 대상으로 한 사용자 스터디 결과, LogSemFuse의 설명은 모든 지표(논리적 일관성, 기술적 타당성, 명확성 등)에서 직접적인 LLM 설명보다 유의미하게 높게 평가되었습니다. LogSemFuse는 베이스라인 LLM의 평균 점수인 3.06에 비해 4.13의 평균 종합 품질 점수를 기록했습니다.
• 절제 연구(Ablation Studies): 로컬 이벤트 패턴을 제거했을 때 가장 큰 성능 저하가 발생했으며, 이는 특정 이상 지표를 탐지하는 데 있어 이들의 결정적인 역할을 나타냅니다. 클러스터 유도 규칙 뱅크는 설명을 위한 재사용 가능한 증거를 제공했으며, LLM 추론은 까다로운 구성에서 타겟팅된 이득을 제공했습니다.

의의 및 주장

본 논문은 LogSemFuse가 **의미론적 증강(semantic augmentation)**이 기존 로그 탐지기를 강화하는 실용적인 전략임을 보여준다고 주장합니다. LLM과 규칙 유도를 독립적인 탐지기가 아닌 재사용 가능한 증거의 원천으로 취급함으로써, 프레임워크는 다음을 달성합니다:

1. 향상된 효과성: 시퀀스 기반 모델이 희소하거나 희석된 신호로 인해 놓치는 이상 징후를 회복합니다.
2. 해석 가능성: 운영자에게 불투명한 점수가 아닌 구체적이고 증거에 기반한 설명(패턴, 규칙 및 근거)을 제공합니다.
3. 확장성: 의미론적 아티팩트를 캐싱하고 모든 요청에 대해 per-session LLM 추론을 피함으로써 낮고 안정적인 런타임 비용을 유지합니다.

저자들은 LogSemFuse를 전통적인 탐지기를 대체하거나 새로운 LLM 중심 패러다임을 제시하는 것이 아니라, 고성능 탐지와 실행 가능한 의미론적 이해 사이의 간극을 메우는 통합된 방법론으로 정의합니다.