기술 요약: FAME – 메시지 수준 로그 이상 탐지를 위한 이상 감지 인식 전문가 혼합 모델

문제 정의

생산 환경의 분산 시스템은 매일 수백만 개의 로그 라인을 생성하지만, 기존 이상 탐지기는 주로 윈도우 또는 세션 수준에서 작동합니다. 이러한 거친 세분성은 연속된 라인 그룹에 단일 이상 라벨을 할당하여, 운영자가 특정 고장을 찾기 위해 수백 개의 일반 메시지를 수동으로 검사하도록 강요합니다. 반면 메시지 수준 (라인 수준) 탐지는 직접적인 고장 국소에 필요한 정밀도를 제공하지만, 세 가지 중요한 과제를 안고 있습니다:

1. 템플릿 모호성 (C1): 로그 파싱에서 유도된 단일 이벤트 템플릿은 매개변수 값에 따라 정상 및 이상 인스턴스를 모두 포함할 수 있어, 템플릿 식별만으로는 분류에 불충분합니다.
2. 이질적인 고장 모드 (C2): 이상 현상은 다양한 하위 시스템 (예: 메모리 오류, 네트워크 파티션, 파일 시스템 결함) 에 걸쳐 있습니다. 단일 글로벌 분류기는 이러한 이질적인 집단 전체에 하나의 결정 경계를 맞추려 할 때 정밀도나 재현율을 희생하지 않고는 적합하기 어렵습니다.
3. 라벨 부족 (C3): 메시지 세분성으로 수백만 개의 라인을 수동으로 라벨링하는 것은 운영상 비현실적입니다. 대규모 언어 모델 (LLM) 은 로그 의미론을 추론할 수 있지만, 연속된 스트림의 모든 라인에 대해 이를 호출하는 것은 금지된 수준의 API 비용과 지연 시간을 초래합니다.

방법론: FAME 프레임워크

FAME (Failure-Aware Mixture-of-Experts) 은 라벨 효율적이고 이상 감지 인식인 전문가 혼합 모델 (MoE) 아키텍처를 통해 이러한 과제를 해결합니다. 핵심 통찰은 LLM 추론이 오프라인 설정 단계에서 단 한 번만 필요하며, 모든 후속 추론은 경량 온프레미스 모델에서 실행된다는 점입니다.

1. 오프라인 설정 단계

• 로그 파싱 및 K-샷 샘플링: 원시 로그는 Drain3 를 사용하여 EventID 로 파싱됩니다. 주석 비용은 K-샷 샘플링을 통해 제어되는데, 시스템은 각 EventID 당 최대 K 개의 라벨링된 라인을 샘플링합니다 (예: K=100). 이러한 샘플은 훈련 및 보정 하위 집합으로 분할됩니다.
• LLM 기반 의미론적 파티셔닝: LLM 이 오프라인에서 단 한 번 호출됩니다. LLM 은 각 EventID 에 대한 통계와 대표 예시를 수신하여 템플릿을 의미론적으로 일관된 고장 도메인 (예: "DDR 메모리 오류", "네트워크 링크 고장") 으로 분할하는 방안을 제안합니다.
• 인증: LLM 의 제안은 K-샷 라벨에 대해 결정론적으로 검증됩니다:
  • 순수 이상 도메인: 도메인 내 K 개의 샘플이 모두 이상인 경우, 해당 도메인은 "순수 이상"으로 인증됩니다. 분류기를 훈련하지 않으며, 라우팅 메커니즘 자체가 탐지기 역할을 합니다.
  • 혼합 도메인: 샘플에 정상 및 이상 라인이 모두 포함된 경우, 전용 전문가 분류기가 훈련됩니다.
  • 보편적 정상: 할당되지 않았거나 비이상적인 템플릿은 보편적 정상 풀로 기본 설정됩니다.
• 모델 훈련:
  • 라우터: 들어오는 라인을 올바른 고장 도메인 (또는 보편적 정상 풀) 으로 라우팅하도록 훈련된 경량 DistilBERT 모델입니다. 이는 이진 게이트 (전문가 vs 정상) 와 다중 클래스 선택기 (구체적 전문가) 로 구성됩니다.
  • 전문가: 혼합 도메인은 2 단계 접근법을 사용하여 훈련됩니다:
    1. 도메인 적응형 MLM 사전 훈련: BERT 는 로그 구문에 적응하기 위해 대량의 정상 로그 코퍼스에서 계속 사전 훈련됩니다.
    2. 지도 미세 조정: 전문가들은 심각한 클래스 불균형을 처리하기 위해 Focal Loss 를 사용하여 미세 조정되며, K-샷 라벨링 데이터와 정상 라인 풀을 사용합니다.

2. 온라인 추론 단계

• 라우팅: 들어오는 로그 라인은 게이트에 의해 처리됩니다. 점수가 임계값 미만이면 라인은 보편적 정상 전문가로 라우팅됩니다. 임계값 이상이면 선택기가 이를 특정 고장 도메인으로 라우팅합니다.
• 탐지:
  • 순수 이상 도메인으로 라우팅된 라인은 즉시 이상으로 플래그됩니다.
  • 혼합 도메인으로 라우팅된 라인은 특정 전문가에 의해 점수화되어 보정된 임계값과 비교됩니다.
  • 보편적 정상으로 라우팅된 라인은 잘못 라우팅된 이상을 포착하기 위해 전문가 점수와 게이트 출력을 결합한 융합 모델에 의해 점수화됩니다.
• 출력: 시스템은 이진 이상 결정과 고장 도메인 라벨을 출력하여 세션 재구성 없이 직접적인 고장 국소를 가능하게 합니다.

주요 기여

1. 고장 도메인 라우팅을 통한 메시지 수준 탐지: FAME 은 모든 로그 라인에 대해 이진 이상 결정과 명명된 고장 도메인 라벨을 모두 생성하여 직접적인 고장 국소를 가능하게 합니다.
2. 이상 감지 인식 비대칭 MoE: 이 프레임워크는 K-샷 샘플링 하에서 비대칭 신뢰도 속성을 공식화합니다. 도메인 내 모든 이상 라벨을 관찰하는 것은 통계적으로 결정적입니다 (라우팅 전용 탐지 허용), 반면 모든 정상 라벨은 그렇지 않습니다. 이를 통해 시스템은 순수 이상 도메인에 대한 분류기 훈련을 생략할 수 있습니다.
3. 최소 라벨링을 통한 완전 온프레미스 추론: 오프라인 LLM 호출 한 번 이후 모든 추론은 로컬 모델에서 실행되어 반복적인 API 비용과 데이터 유출을 제거합니다. 이 시스템은 전체 라인 수준 라벨링 대비 76 배 감소된 주석 노력으로 높은 성능을 달성합니다.

실험 결과

이 프레임워크는 두 가지 벤치마크인 BGL(Blue Gene/L, 이질적이고 어려움) 과 Thunderbird(슈퍼컴퓨터 로그, 구조적으로 분리 가능) 에서 평가되었습니다.

• BGL 성능: K=100 에서 FAME 은 F1 점수 98.16(정밀도: 98.18, 재현율: 98.14) 을 달성합니다. 이는 단일 모델 베이스라인 (예: 단일 BERT F1 ≈ 29.65) 과 기존 탐지기보다 훨씬 뛰어납니다. FAME 은 훈련 중 보지 못한 EventID(훈련 중 보지 않은 EventID) 에서 발생한 이상 현상의 86.3% 를 탐지하여 강력한 일반화 능력을 입증합니다.
• Thunderbird 성능: FAME 은 완벽한 재현율로 F1 = 99.95에 도달하여, 더 쉬운 이 데이터셋에서 더 간단한 베이스라인의 성능과 일치합니다.
• 비용 효율성:
  • 주석: K=100 에서 FAME 은 BGL 에서 53,287 개의 라벨링된 라인만 필요로 하며, 이는 470 만 라인 전체 데이터셋을 라벨링하는 것 대비 76 배 감소입니다.
  • 추론 비용: FAME 은 훈련과 단일 LLM 호출을 포함한 일회성 설정 비용 $10.23을 발생시킵니다. 반면, 동일한 작업을 위한 직접 LLM 추론은 실행당 $6,698 에서$10,047 사이 비용이 듭니다.
  • 처리량: 시스템은 단일 4-GPU 노드에서 시간당 최대 120 만 라인을 처리합니다.
• Ablation 연구: MoE 라우팅을 제거하고 (단일 글로벌 탐지기 사용) 성능이 급격히 저하되어, 문제를 전문 하위 문제로 분해하는 것이 성공의 주된 동인임을 확인했습니다. LLM 기반 그룹화를 제거하고 (TF-IDF 사용) 도 여전히 강력한 결과 (BGL 에서 F1=93.01) 를 보여주어, 전문가 분해 아키텍처가 지배적인 요소이며 LLM 은 의미론적 부스터 역할을 함을 시사합니다.

중요성 및 주장

이 논문은 FAME 이 강력한 메시지 수준 탐지가 지속적인 LLM 추론의 금지된 비용이나 포괄적인 수동 라벨링 없이 달성될 수 있음을 보여준다고 주장합니다. 라우팅된 전문가 아키텍처와 K-샷 샘플링의 통계적 속성을 활용함으로써 FAME 은 추론의 부담을 일회성 오프라인 설정으로 전환합니다.

저자들은 주요 기여가 LLM 에 대한 의존성이 아니라 아키텍처 자체임을 강조합니다. LLM 은 의미론적 분할을 제안하는 데에만 사용되며, 이는 검증되고 고정됩니다. 보지 못한 템플릿으로 일반화하고 고장 도메인 라벨을 제공할 수 있는 시스템의 능력은 운영자가 막대한 API 비용이나 수동 검토 오버헤드 없이 정확하고 실행 가능한 경고를 필요로 하는 실제 생산 환경에 실용적인 솔루션이 됩니다. 이 프레임워크는 온라인 적응 및 인과적 사고 분석에 대한 향후 연구의 기반으로 제시되지만, 현재 작업은 오프라인 설정 및 온프레미스 추론 파이프라인의 효과성에 엄격히 초점을 맞춥니다.