기술 요약: 이상 탐지를 위한 상태 머신 유도 다중 관계형 합성 로그 데이터

문제 정의

현대 소프트웨어 시스템은 동작, 실패 및 구성 요소 간의 상호 작용을 기록하는 방대한 양의 비정형 실행 로그를 생성합니다. 이러한 로그는 이상 탐지의 핵심이지만, 기존 방법들은 주로 이를 평면적인 이벤트 템플릿 시퀀스로 취급합니다. 이러한 접근 방식은 실행이 어떻게 진화하는지를 규정하는 제어 흐름, 상태 전이, 그리고 파라미터·리소스·구성 요소 간의 의존성이라는 잠재적인 **관계적 실행 구조(relational execution structure)**를 간과합니다.

현재의 로그 합성 및 증강 기술은 주로 템플릿이나 시퀀스 수준에서 작동하며, 기저에 깔린 실행 의미론(semantics)을 준수하지 못하는 경우가 많습니다. 결과적으로, 이들은 비현실적이거나 구조적으로 유효하지 않은 트레이스를 생성하여 복잡한 장애 모드에 대한 일반화 능력이 떨어지게 됩니다. 또한, 대규모 언어 모델(LLM)이 비정형 텍스트 이해에 유망함을 보여주지만, 로그 합성을 위해 단일 패스(single-pass) 방식으로 적용하는 것은 컨텍스트 윈도우의 제한, 구조적 보장의 부재, 그리고 복잡한 실행 트레이스 생성 시 발생하는 환각(hallucination) 문제로 인해 불충분합니다. 핵심 과제는 원시 로그로부터 잠재적 실행 구조를 발견하고, 이 구조를 활용하여 원칙에 기반한 다중 테이블 관계형 합성 데이터를 생성하는 것입니다.

방법론: LogSynthFSM

저자들은 잠재적 실행 구조를 발견하고 다중 관계형 합성 데이터를 생성하도록 설계된 조정된 다중 에이전트 LLM 프레임워크인 LogSynthFSM을 제안합니다. 이 시스템은 합성 작업을 다음과 같은 폐쇄 루프 파이프라인에서 작동하는 전문화된 에이전트로 분해합니다:

1. 실행 파싱 에이전트 (Execution Parsing Agent): 원시 비정형 로그를 구조화된 이벤트 표현($e_i = (t_i, \theta_i, \tau_i)$)으로 변환하여 템플릿, 파라미터, 타임스탬프를 추출합니다. 이는 어휘적 노이즈를 줄이고 LLM의 컨텍스트 제한을 완화하는 압축 연산 역할을 합니다.
2. 상태 발견 에이전트 (State Discovery Agent): 구조화된 이벤트 시퀀스로부터 잠재적인 유한 상태 머신(FSM) ($F = (S, A, \delta)$)을 추론합니다. 이 에이전트는 시스템을 지배하는 제어 흐름을 복구하기 위해 표현력과 식별 가능성 사이의 균형을 맞추며, 결과 시퀀스가 마르코프 성질(Markov property)을 만족하도록 이벤트를 상태로 그룹화합니다.
3. 스키마 유도 에이전트 (Schema Induction Agent): 추론된 FSM을 명시적인 다중 테이블 관계형 스키마 ($R$)로 변換합니다. 이 스키마는 기본 키 및 외래 키 제약 조건으로 연결된 트레이스, 이벤트, 상태, 전이 및 파라미터 테이블을 포함합니다. 이러한 계층화는 제어 흐름과 상태 조건부 속성을 분리하여 구조적 충실도를 보장합니다.
4. 관계형 합성 에이전트 (Relational Synthesis Agent): 추론된 FSM에서 유효한 상태 경로를 샘플링하고, 상태별 분포에 따라 이벤트/파라미터 레코드를 합성함으로써 관계형 데이터를 생성합니다. 이 에이전트는 FSM의 구조적 및 시간적 제약을 엄격히 준수하면서 희귀하지만 유효한 실행 동작을 증폭시킵니다.
5. 일관성 평가 에이전트 (Consistency Evaluation Agent): 다음 세 가지 차원에서 생성된 데이터를 평가합니다:
   • 구조적 일관성 (Structural Consistency): 스키마 제약 조건(키, 순서, 유효한 전이)을 검증합니다.
   • 프로세스 일관성 (Process Consistency): 실행이 법적 FSM 트래버설(traversal)에 부합하는지 확인합니다.
   • 분포 일관성 (Distributional Consistency): 실제 데이터와 속성 분포를 비교하여 드리프트(drift)를 감지합니다.
     이 에이전트는 무효하거나 환각된 출력을 필터링하여 반복적인 정제를 유도하는 피드백을 제공합니다.

이 프레임워크는 일관성 평가 에이전트가 추론된 FSM 및 스키마에 대해 생성된 데이터 배치를 검증하여, 구조적으로 유효하고 분포적으로 현실적인 데이터만이 다운스트림 용도로 유지되도록 하는 반복 루프로 작동합니다.

주요 기여

• 잠재 구조 발견: 본 논문은 실행 로그가 시스템 아키텍처에 대한 사전 지식 없이도 직접 복구 가능한, 잠재적 상태 머신에 의해 제어되는 관계형 데이터베이스를 암시적으로 인코딩하고 있음을 입증합니다.
• 다중 에이전트 프레임워크: 복잡한 로그 합성 작업을 검증 가능한 단계(파싱, 상태 발견, 스키마 유도, 합성, 평가)로 분해하여 단일 패스 LLM 생성의 한계를 극복하는 새로운 다중 에이전트 아키텍처를 도입합니다.
• 관계형 합성 데이터: 시퀀스 기반 증강과 달리, LogSynthFSM은 글로벌 프로세스 의미론, 시간적 순서 및 엔티티 간 의존성을 보존하는 다중 테이블 관계형 데이터를 생성합니다.
• 제약 조건 인식 생성: 복구된 FSM을 생성적 사전 확률(generative prior)로 사용함으로써, 합성 데이터가 엄격한 실행 제약을 준수하도록 하여 의미론적으로 일관성 없는 트레이스의 생성을 방지합니다.

실험 결과

본 프레임워크는 네 가지 실제 시스템 로그 데이터셋(BGL, Thunderbird, Hadoop, OpenStack)에 대해 그래프 신경망(GNN)을 이용한 다운스트림 이상 탐지 성능을 평가받았습니다.

• 이상 탐지 성능: LogSynthFSM은 PR-AUC 0.742를 달성하여, 가장 강력한 LLM 기반 베이스라인인 GraphMaster(0.701) 및 고전적 증강 방법들을 능가했습니다.
• 희귀 이벤트 탐지: 이 방법은 희귀 동작 탐지 능력을 크게 향상시켜, Rare PR-AUC를 0.438(GraphMaster)에서 0.511로 높였습니다.
• 구조적 충실도:
  • 전이 유효성 비율 (Transition Validity Rate, TVR): 0.985로, 합성된 전이의 98.5%가 추론된 FSM에 따라 유효함을 나타냅니다.
  • 분포 유사도: $k$-gram 경로 Jensen–Shannon divergence가 0.091로 감소했습니다(GraphMaster의 0.137 대비), 이는 실제 실행 역학에 더 가깝게 정렬되었음을 보여줍니다.
  • 구별 가능성: Classifier Two-Sample Test (C2ST) AUC는 0.503(이상적인 0.50에 근접)으로, 합성된 트레이스가 실제 트레이스와 구별하기 매우 어려움을 시사합니다.
• 절제 연구 (Ablation Studies): 상태 발견 에이전트를 제거했을 때 가장 심각한 성능 저하(Rare PR-AUC가 0.341로 하락)가 발생하여, 명시적 상태 모델링이 필수적임을 확인했습니다. 일관성 평가 에이전트를 제거했을 때도 PR-AUC가 감소(0.703)하고 C2ST AUC가 증가(0.567)하여, 폐쇄 루프 검증의 필요성을 강조했습니다.
• 효율성: 시스템은 소비자급 하드웨어(단일 RTX 4080 SUPER)에서 41~52분의 실행 시간으로 효과적으로 작동하여, 특수 인프라가 필요하지 않음을 입증했습니다.

의의 및 주장

본 논문은 실행 로그가 잠재적 상태 머신에 의해 제어되는 관계형 데이터베이스를 암시적으로 인코딩하고 있다고 주장합니다. 이 구조를 복구하는 것은 견고하고 해석 가능한 원칙 기반의 합성 데이터 생성을 가능하게 합니다.

저자들은 성능 향상이 단순히 더 큰 언어 모델을 사용하거나 데이터 양을 늘렸기 때문이 아니라는 점을 강조합니다. 대신, 실행 파싱, 상태 발견, 스키마 유도, 그리고 제약 조건 인식 관계형 합성을 폐쇄 루프 다중 에이전트 프레임워크 내에서 아키텍처적으로 통합한 결과입니다. 이러한 접근 방식은 구조적 정확성과 분포적 현실성을 보장하며, 소프트웨어 실행의 관계적 및 프로세스 수준 구조를 무시하는 기존 방법들의 근본적인 한계를 해결합니다. 이 연구는 복잡한 분산 소프트웨어 시스템의 이상 탐지를 개선하기 위한 실행 인식(execution-aware) 합성 데이터 생성의 유망한 방향을 제시합니다.