Detect, Localize, and Explain: Interactive Hierarchical Log Anomaly Analytics with LLM Augmentation

기술 요약: Krone-viz – LLM 증강을 통한 대화형 계층적 로그 이상 분석

문제 제기
현대 데이터 집약적 인프라는 시스템 모니터링 및 이상 진단을 위해 로그에 크게 의존합니다. 그러나 기존 로그 이상 탐지 방법은 중대한 한계에 직면해 있습니다. 대부분의 전통적 접근법은 평탄한 로그 시퀀스를 기반으로 작동하여 전체 시퀀스에 대한 단일 이상 점수를 생성할 뿐, 결과 해석이나 특정 이상 세그먼트의 국소화 능력을 갖추지 못합니다. 최근 대규모 언어 모델 (LLM) 기반 접근법은 자연어 설명을 통해 해석 가능성을 향상시켰지만, 여전히 평탄한 시퀀스 위에서 작동합니다. 더 나아가 이러한 LLM 기반 방법은 컨텍스트 창 제한으로 인해 대규모 로그 데이터셋에 적용 시 과도한 계산 비용이라는 문제를 겪습니다. 로그를 의미 단위로 효과적으로 분해하여 정밀한 국소화와 설명을 가능하게 하면서도 LLM 비용을 관리할 수 있는 시스템은 부재합니다.

방법론: Krone 프레임워크
본 논문은 평탄한 로그 시퀀스를 의미적으로 일관된 계층적 단위로 변환하도록 설계된 Krone 프레임워크를 소개합니다. Krone-viz 는 이러한 기능을 엔지니어가 실행 가능하도록 만드는 데 기반한 대화형 시각화 시스템입니다. 방법론은 세 가지 핵심 혁신에 기반합니다:

1. Krone 로그 추상화 모델 (Krone-Tree):
   Krone 은 로그에서 직접 실행 시맨틱을 재구성하는 계층적 추상화를 도입합니다. 이는 세 가지 수준의 의미 계층을 정의합니다:

   • 개체 (Entities): 시스템 구성 요소에 해당합니다.
   • 동작 (Actions): 수행된 작업을 포착합니다.
   • 상태 (Statuses): 각 동작의 결과를 반영합니다.
     로그 템플릿에 대한 LLM 기반 개체명 인식 (NER) 을 사용하여 Krone 은 Krone-Tree를 구성합니다. 이 트리는 길고 평탄한 로그 시퀀스를 Krone Seqs(개체, 동작, 상태 수준을 가로지르는 노드 시퀀스로 표현된 연속적이고 의미적으로 일관된 세그먼트) 로 분해할 수 있게 합니다.

2. 계층적 및 모듈형 이상 탐지:
   이상 탐지는 분해된 Krone Seqs 에 대한 모듈형 작업으로 공식화됩니다. 시스템은 하향식 오케스트레이션 전략을 채택합니다:

   • 경량 필터링: 패턴 매칭 (PM) 탐지기가 먼저 Krone Seqs 를 평가하여 알려진 정상 패턴을 효율적으로 필터링합니다.
   • 선택적 LLM 호출: 불확실하거나 알려지지 않은 Krone Seqs 만 LLM 기반 추론을 트리거합니다.
   • 조기 종료: 시스템은 먼저 하위 수준 세그먼트 (상태) 를 검사합니다. 하위 수준에서 이상이 감지되면, 이상이 상위로 전파되므로 상위 수준 구성에 대한 불필요한 계산을 피하기 위해 프로세스가 즉시 중단됩니다.
   • 맥락적 검증: 계층 구조는 잘 정의된 의미 범위를 제공하여 LLM 이 컨텍스트 내 예시를 사용하여 정상 행동 패턴 (예: 개체 내 일반적인 동작 전환) 에 근거한 추론을 할 수 있도록 합니다.

3. 감가상각 탐지를 위한 지식 베이스:
   Krone Seqs 가 서로 다른 로그 시퀀스 전반에 걸쳐 빈번하게 반복되는 원자적 실행 단위임을 인식하여, Krone 은 계층적 지식 베이스를 유지합니다.

   • 재사용: Krone Seq 가 평가된 후 (PM 또는 LLM 에 의해), 결과와 설명이 저장됩니다.
   • 비용 절감: 탐지 과정에서 시스템은 먼저 이 지식 베이스를 쿼리하며, 일치하는 항목이 존재하지 않을 때만 LLM 을 호출합니다. 이는 불필요한 LLM 호출을 크게 줄입니다.
   • 지속적 정제: 지식 베이스는 인간-루프 (human-in-the-loop) 수정을 지원하여 사용자가 저장된 지식을 수정함으로써 향후 탐지 및 설명 품질을 향상시킬 수 있게 합니다.

Krone-viz 데모
본 논문은 널리 사용되는 HDFS 벤치마크 데이터셋에서 시연된 대화형 플랫폼인 Krone-viz를 제시합니다. 시스템은 Krone 워크플로우의 네 가지 단계를 시각화합니다:

1. 계층 추출: 사용자가 로그 템플릿을 로드하면 시스템이 Krone-Tree 를 구성하여 개체, 동작, 상태 간의 의미 관계를 시각화합니다.
2. 훈련 데이터 처리: 사용자는 정상 로그 시퀀스가 어떻게 계층적 Krone Seqs 로 분해되고 진실 실행 단위로 저장되는지 관찰합니다.
3. 이상 탐지: 사용자가 테스트 시퀀스에 대한 탐지를 트리거합니다. 인터페이스는 패턴 매커가 플래그로 표시한 세그먼트를 강조하고 확인된 이상에 대한 LLM 생성 설명을 제공하면서 하향식 모듈형 프로세스를 시각화합니다.
4. 지식 관리: 사용자는 축적된 지식 베이스를 탐색하고, 특정 노드에 대한 통계를 조회하며, 상세 탐지 결과를 검토하고, 향후 분석을 안내하기 위해 저장된 지식을 재정의하거나 수정할 수 있습니다.

주요 결과
본 논문은 실제 세계 공개 벤치마크를 기반으로 한 Krone 프레임워크가 기존 방법 대비 포괄적인 개선을 보였음을 보고합니다:

• 정확도: F1 점수가 기존 방법의 **82.76%**에서 **92.83%**로 향상되었습니다.
• 데이터 효율성: 이 접근법은 필요한 데이터 공간을 117.3 배 줄였습니다.
• LLM 자원 효율성: 시스템은 지식 베이스와 선택적 호출을 활용하여 LLM 사용량을 테스트 데이터 크기의 **1.1%–3.3%**로 줄였습니다.

의의
본 논문은 Krone-viz 가 계층적 분해, 이상 국소화, 그리고 설명을 소프트웨어 엔지니어 및 시스템 운영자에게 해석 가능하고 실행 가능하게 만들어 로그 분석의 중요한 격차를 해소한다고 주장합니다. 효율적인 LLM 사용과 모듈형 계층적 프레임워크를 통합함으로써 Krone 은 다음을 가능하게 합니다:

• 정밀한 국소화: 전체 시퀀스를 레이블링하는 대신 실행 컨텍스트 내 특정 이상 세그먼트를 식별합니다.
• 비용 효율적 확장성: 평탄한 시퀀스 LLM 접근법과 비교하여 계산 비용과 데이터 요구 사항을 극적으로 줄입니다.
• 인간-루프 분석: 사용자가 AI 생성 통찰을 검토, 수정, 정제할 수 있게 하여 환각 위험을 완화하고 지속적인 시스템 개선을 위한 재사용 가능한 지식 기반을 구축합니다.

이 연구는 효율적이고 비용 인식을 갖춘 LLM 통합을 통해 확장 가능하고 해석 가능한 로그 분석을 달성하는 방법에 대한 데모로 제시됩니다.