기술 요약: K4 – 비지도 전형성 학습을 통한 온라인 로그 이상 탐지

1. 문제 제기

로그 이상 탐지 (LogAD) 는 대규모 컴퓨팅 및 사이버 인프라 시스템의 신뢰성을 유지하는 데 필수적입니다. 그러나 기존 접근 방식은 실제 온라인 환경에서의 실용적 배포를 방해하는 네 가지 중대한 한계에 직면해 있습니다:

1. 지도 학습 의존성: 고성능 방법들은 종종 지도 학습 또는 반지도 학습에 의존하며, 이는 생산 환경에서 희귀하거나 존재하지 않는 라벨링된 이상 데이터를 필요로 합니다.
2. 파서 의존성: 대부분의 파이프라인은 원시 로그를 구조화된 템플릿으로 변환하기 위해 로그 파서 (예: Drain, Spell) 에 의존합니다. 이러한 파서들은 느리고 오류가 발생하기 쉬우며 형식 변화에 민감하여 탐지 품질을 저하시키는 구조적 노이즈를 도입합니다.
3. 경직된 결합: 딥러닝 기반 시스템은 종종 표현 모델 (예: LSTM, Transformer) 과 특정 탐지기를 결합 학습을 통해 긴밀하게 결합합니다. 이는 모듈성을 제한하고, 계산 오버헤드를 증가시키며, 사전 학습된 임베딩의 재사용을 방해합니다.
4. 결함 있는 평가: 이전 연구들은 대규모 정적 데이터셋에서 단일 통과 평가 프로토콜을 자주 사용합니다. 이 접근 방식은 과도한 학습 데이터 사용으로 인해 성능을 과대평가하는 경향이 있으며, 온라인 로그 수집의 시간적 역동성과 변이성을 포착하지 못합니다.

2. 방법론: K4 프레임워크

K4(알려진 것만 알음으로써 알려지지 않은 것을 안다) 는 고성능 온라인 탐지를 위해 설계된 완전한 비지도, 파서 독립적, 표현 무관한 프레임워크입니다. 이의 핵심 혁신은 임의의 로그 임베딩을 컴팩트하고 해석 가능한 기하학적 기술자로 변환하는 데 있습니다.

A. 표현 수준 전형성 추정

K4 는 고차원 로그 임베딩에서 직접 작동하는 대신, 각 샘플에 대해 정상 로그의 참조 집합과의 관계를 기반으로 PRDC(정밀도, 재현율, 밀도, 커버리지) 라는 4 차원 통계 기술자를 계산합니다. 이는 생성 모델을 평가하는 데 원래 사용되던 PRDC 지표를 인스턴스 수준 이상 탐지 작업에 적용한 것입니다.

쿼리 임베딩 $x^{(g)}_j$와 정상 임베딩의 참조 집합 $E_{ref}$에 대해, PRDC 벡터는 $k$-최근접 이웃 (kNN) 통계를 사용하여 계산됩니다:

• 정밀도 ($P_j$): 쿼리가 임의의 참조점의 $k$-NN 볼 내에 있는지 여부를 나타냅니다 (쿼리가 정상 분포의 고밀도 영역에 속하는지 측정).
• 재현율 ($R_j$): 쿼리의 $k$-NN 볼 내에 포함된 참조점의 비율을 측정합니다 (쿼리가 정상 지지부를 얼마나 잘 커버하는지 측정).
• 밀도 ($D_j$): 쿼리를 포함하는 $k$-NN 이웃을 가진 참조점의 정규화된 개수입니다 (국소 가능도의 대리 지표로 작용).
• 커버리지 ($C_j$): 쿼리에 가장 가까운 참조점이 쿼리 자신의 $k$-NN 반경 내에 있는지 여부를 나타냅니다 (지지부 커버리지 측정).

이러한 지표들은 GPU 가속 거리 계산 ($torch.cdist$) 과$k$-NN 검색을 통해 효율적으로 계산되어, 고차원 임베딩을 컴팩트한 4 차원 벡터 $r_j \in \mathbb{R}^4$로 변환합니다.

B. 비지도 전형성 학습

K4 는 임베딩 생성과 이상 탐지를 분리합니다:

1. 학습: 정상 로그 임베딩 집합은 참조 집합과 쿼리 집합으로 나뉩니다. 쿼리 집합은 참조 집합을 사용하여 PRDC 벡터로 변환됩니다. 이러한 PRDC 벡터는 경량 이상 탐지기의 학습 입력으로 사용됩니다.
2. 추론: 테스트 임베딩은 동일한 참조 집합을 사용하여 PRDC 벡터로 변환됩니다. 탐지기는 이러한 PRDC 벡터가 학습된 "정상" 분포에서 얼마나 벗어나는지에 기반하여 이상 점수를 할당합니다.
3. 탐지기: 이 프레임워크는 가우시안 혼합 모델 (GMM), 커널 밀도 추정 (KDE), 원-클래스 SVM(OCSVM), 그리고 적응형 딥 서포트 벡터 데이터 기술 (DeepSVDD) 의 네 가지 비지도 탐지기를 지원합니다. DeepSVDD 적응은 저차원 PRDC 특징에 대한 학습을 안정화하기 위해 초구 반경에 대한 비모수적 분위수 업데이트를 사용합니다.

C. 현실적인 평가 프로토콜

이전 평가의 결함을 해결하기 위해 K4 는 조각 기반 평가 프로토콜을 도입합니다:

• 데이터셋은 불연속적이고 고정된 크기의 조각 (예: 100 만 개 로그) 으로 분할됩니다.
• 각 조각 내에서 구성 가능한 스트라이드를 가진 슬라이딩 윈도우가 로그를 샘플링하여 온라인 도착을 시뮬레이션합니다.
• 이는 포괄적인 데이터셋 커버리지를 보장하고, 다양한 이상 밀도 전반에 걸쳐 학습/테스트를 균형 있게 유지하며, 방대한 역사적 데이터셋을 학습에 사용하는 "콜드 스타트" 위반을 방지합니다.

3. 주요 기여

1. 새로운 공식화: K4 는 LogAD 에서 표현 수준 전형성 학습을 처음 도입하여, 임의의 임베딩을 비지도 점수를 위한 해석 가능한 PRDC 기술자로 매핑합니다.
2. 모듈식 아키텍처: 이 프레임워크는 표현 (TF-IDF 에서 Qwen3 와 같은 LLM 까지 모든 임베딩 모델 지원) 과 탐지를 명확히 분리하여, 새로운 구성 요소의 빠른 적응과 효율적인 통합을 가능하게 합니다.
3. 실시간 성능: 컴팩트한 4 차원 벡터에서 작동함으로써 K4 는 4 µs까지의 추론 지연 시간과 4 초 미만의 탐지기 학습 시간을 달성하여, 경쟁 기반 모델보다 수 배 더 빠릅니다.
4. 엄격한 벤치마킹: 저자들은 세 가지 실제 데이터셋 (HDFS, BGL, Thunderbird), 여섯 가지 임베딩 모델, 그리고 네 가지 탐지기에 걸쳐 125,000 회 이상의 실험을 수행하여 온라인 LogAD 를 위한 재현 가능한 벤치마크를 확립했습니다.

4. 실험 결과

HDFS, BGL, Thunderbird 데이터셋에서 평가된 K4 는 지도, 반지도, 비지도 패러다임 전반에 걸쳐 DeepLog, LogAnomaly, LogRobust, FastLogAD, Ladle, LLM-AD 를 포함한 여섯 가지 대표적인 기반 모델보다 일관되게 우수한 성능을 보였습니다.

• 정확도: K4 는 AUROC 점수 0.995–0.999 및 F1 점수 0.989–0.992로 최첨단 결과를 달성했습니다. 반면, 많은 기반 모델들은 Thunderbird 데이터셋에서 무작위 추측 수준 (AUROC $\approx$ 0.5) 의 성능을 보였습니다.
• 효율성:
  • 학습: 탐지기 학습은 4 초 미만 (예: KDE 는 0.05 초, DeepSVDD 는 1.44 초) 에 완료되었습니다.
  • 추론: 샘플당 추론 지연 시간은 4.4 µs(DeepSVDD) 에서 8.7 µs(KDE) 까지였습니다.
  • 비교: 기반 모델들은 학습에 수 시간 (3–6 시간) 이 소요되었으며, 추론 지연 시간은 밀리초 범위 (예: 0.23ms 에서 182ms) 였으므로 훨씬 느렸습니다.
• 강건성: K4 는 최소 500 개의 학습 샘플로도 높은 성능을 유지하여 강력한 콜드 스타트 능력을 입증했습니다. TF-IDF 와 같은 간단한 임베딩을 OCSVM 또는 DeepSVDD 와 결합하는 것이 최상의 결과를 낳았으며, 이는 높은 정확도를 위해 복잡한 LLM 이 필수적이라는 관념에 도전합니다.

5. 중요성과 주장

이 논문은 K4 가 실용적이고 확장 가능하며 정확한 로그 이상 탐지를 위한 새로운 표준을 확립한다고 주장합니다. 그 중요성은 다음과 같습니다:

• 파서 병목 현상 제거: 원시 로그 임베딩에서 직접 작동함으로써 K4 는 로그 파싱과 관련된 오류와 지연 시간을 피합니다.
• 진정한 비지도 학습 가능: 라벨링된 이상 데이터를 필요로 하지 않고 지도 학습 수준의 정확도를 달성하여, 실제 배포의 중요한 격차를 해소합니다.
• 운영 타당성: 마이크로초 미만의 추론과 최소한의 학습 시간의 결합은 기존 방법들이 너무 느리거나 리소스 집약적인 고처리량 환경에서 지속적인 온라인 모니터링에 K4 를 적합하게 만듭니다.
• 방법론적 엄격성: 제안된 조각 기반 평가 프로토콜은 온라인 LogAD 를 위한 더 충실하고 재현 가능한 벤치마크를 제공하여, 이전 단일 통과 평가의 지나치게 낙관적인 결과를 교정합니다.

저자들은 K4 가 현대 컴퓨팅 시스템의 엄격한 운영 요구 사항을 충족하는 고성능, 모듈식, 강건한 솔루션을 제공하며, 이론적 이상 탐지와 실제 배포 간의 격차를 효과적으로 메운다고 결론지었습니다.