기술 요약: SAGE – 구조화된 시계열 이상 진단을 위한 다중 에이전트 LLM 프레임워크

1. 문제 제기

시계열 이상 탐지 (TSAD) 는 산업 모니터링, 금융, 네트워크 보안 분야에서 중요합니다. 기존 방법들은 고전 통계학에서 딥러닝에 이르기까지 다양하지만, 주로 이상 점수를 생성하는 데 초점을 맞추고 이상 유형이나 결정 근거에 대한 구조화된 설명을 제공하는 데는 미흡합니다. 인간 전문가들은 통계, 추세, 계절성, 패턴 변화를 종합적으로 고려하여 이상을 진단하지만, 현재 자동화 방법들은 이러한 관점들을 분해하는 데 실패하는 경우가 많습니다.

최근 대규모 언어 모델 (LLM) 을 TSAD 에 활용하려는 시도는 상당한 한계에 직면해 있습니다. 단일 범용 LLM 은 긴 수치 입력, 정밀한 통계 연산 (예: 변화점 분석), 그리고 여러 시간적 관점에 걸친 동시 추론에 어려움을 겪습니다. 또한, 기존 다중 에이전트 접근법은 이상 가족 (점, 구조적, 계절성, 패턴) 을 중심으로 명시적으로 조직화되지 않은 경우가 많으며, 많은 경우 인-컨텍스트 학습 (ICL) 을 위해 실제 이상 사례에 의존하는데, 이는 제로샷 또는 비지도 설정에서 종종 이용 불가능합니다.

2. 방법론: SAGE 프레임워크

저자들은 단변량 시계열의 구조화된 이상 진단을 위해 설계된 다중 에이전트 LLM 프레임워크인 SAGE(전문가 유사 탐지를 위한 전문 분석가 그룹) 를 제안합니다. SAGE 는 TSAD 를 단일 점수화 문제로 취급하는 대신, 분석을 전문적 관점으로 분해하고 증거를 통합된 진단 결정으로 집계합니다.

2.1 전체 아키텍처

SAGE 는 5 단계 계층적 파이프라인으로 작동합니다:

1. 입력 단계: 단변량 시계열을 수신합니다.
2. 표현 단계: 이중 표현 전략을 구현합니다. 원본 시계열은 전용 도구를 통한 정밀한 수치 계산을 위해 보존되는 반면, 압축된 요약 (주요 통계량과 반올림된 대표 샘플 포함) 은 토큰 효율적인 LLM 프롬프팅에 사용됩니다. 이는 400 포인트 입력의 경우 토큰 사용량을 약 75% 줄이면서도 수치적 충실도를 희생하지 않습니다.
3. 다중 분석가 단계: 네 가지 전문 분석가가 병렬로 작동하며, 각각 특정 이상 가족을 대상으로 합니다:
   • 점 분석가: 이상치 탐지 (Z-점수, IQR) 및 이동 통계학을 사용하여 전역 및 문맥적 점 이상을 탐지합니다.
   • 구조 분석가: 분해 (STL), 변화점 테스트 (CUSUM), 및 구간 비교를 사용하여 추세, 평균, 분산 변화를 식별합니다.
   • 계절성 분석가: 자기상관, 주파수 분석 (FFT), 및 시간 - 주파수 표현 (웨이블릿, STFT) 을 통해 진폭 및 계절성 이상을 탐지합니다.
   • 패턴 분석가: 심볼릭 표현 (SAX) 및 재귀 기반 방법 (재귀 플롯, GAF, MTF) 을 사용하여 패턴 이동 및 파형 왜곡을 식별합니다.
     각 분석가는 가족별 정량적 출력과 진단 시각화를 생성합니다.
4. 탐지기 단계: 증거 기반 탐지기가 네 가지 분석가로부터의 이질적 출력을 집계합니다. 이상 구간, 후보 유형, 그리고 신뢰 점수를 생성합니다. 탐지기는 강력한 도구 출력과 분석가 간 일치를 우선시하는 0~100 척도의 루브릭 기반 점수화 프로토콜을 사용합니다.
5. 진단 단계: 수석 관리자 에이전트가 구조화된 탐지 기록을 분석가용 보고서로 변환하며, 여기에는 경고 수준, 경보 근거, 시계열 특성, 그리고 권장 조치가 포함됩니다.

2.2 합성 인-컨텍스트 학습 (ICL)

주요 혁신 중 하나는 합성 ICL 참조의 구축입니다. SAGE 는 종종 이용 불가능한 실제 이상 구간이나 이상 유형 레이블을 인-컨텍스트 예제로 사용하는 대신, 정상 참조 학습 구간으로부터 데이터베이스를 구축합니다.

• k-medoids 클러스터링을 통해 대표 정상 부분 시퀀스를 추출합니다.
• 규칙 기반 교란을 이러한 정상 프로토타입에 적용하여 9 가지 특정 이상 유형을 위한 합성 대조 쌍을 생성합니다.
• 추론 시, 시스템은 동적 시간 왜곡 (DTW) 을 사용하여 가장 유사한 상위 k 개 정상 프로토타입을 검색하고, 분석가들이 제안한 이상 유형 후보에 기반하여 합성 대조 참조를 선택합니다.
• 이 접근법은 탐지기가 실제 이상 사례나 테스트 세트 레이블에 의존하지 않고도 신뢰 점수화 및 유형 랭킹을 수행할 수 있게 합니다.

3. 주요 기여

1. TSAD 의 재정의: 본 논문은 시계열 이상 탐지를 구조화된 진단 작업으로 재정의하여, 증거 패턴별로 분석을 분해하고 구간, 신뢰 점수, 이상 유형, 그리고 진단 출력을 생성합니다.
2. 전문 다중 에이전트 아키텍처: SAGE 는 점, 구조적, 계절성, 그리고 패턴 이상을 위한 네 가지 전문 분석가와 이질적 도구 증거를 집계하는 증거 기반 탐지기를 도입합니다.
3. 합성 ICL 전략: 이 프레임워크는 실제 이상 구간이나 이상 유형 레이블을 인-컨텍스트 예제로 사용할 필요성을 피하기 위해 정상 참조 학습 구간에서 합성 인-컨텍스트 예제를 구축합니다.
4. 종합적 평가: 저자들은 세 가지 벤치마크, 제거 실험, 합성 유형 평가, 그리고 인간 평가를 통해 향상된 탐지 성능과 진단 유용성을 입증했습니다.

4. 실험 결과

저자들은 세 가지 대표적인 TSAD 벤치마크 데이터셋인 Yahoo S5(웹 트래픽), KPI(IT 인프라), WSD(웹 서비스 지표) 에서 SAGE 를 평가했습니다.

• 성능: SAGE 는 강력한 ML/DL 베이스라인 (예: Isolation Forest, LSTM-AE, Anomaly Transformer) 과 최근 LLM/VLM 기반 방법 (예: LLMAD, TAMA, TSAD-Agents) 에 비해 모든 지표 (Point-F1, PA-F1, Affiliation-F1, Delayed-F1) 에서 평균적으로 최고의 성능을 달성했습니다.
  • 평균적으로 SAGE 는 최상의 딥러닝 베이스라인 (LSTM-VAE) 대비 Point-F1 을 43.8% 향상시켰으며, 최상의 LLM 베이스라인 (LLMAD) 대비 44.1% 향상시켰습니다.
  • SAGE 는 운영 데이터셋 (KPI 및 WSD) 에서 특히 강력한 개선을 보여주어, 분석을 전문적 증거 생성으로 분해하는 것의 효과성을 입증했습니다.
• 유형별 분석: 통제된 이상 주입을 가진 합성 평가 세트를 사용하여 SAGE 는 구조적 변화에 대해 높은 유형 일치도 (93%) 를, 패턴 이상에 대해 높은 탐지 재현율 (97%) 을 보여주었습니다. 계절성 탐지 재현율은 낮았으나 (54%), 프레임워크는 유용한 진단 단서를 제공했습니다.
• 제거 실험: 도구 증강이나 다중 분석가 전문화를 제거하면 다양한 Yahoo 데이터셋에서 성능이 크게 저하되어, 성취된 개선이 LLM 프롬프팅 단독이 아닌 정량적 도구와 전문적 분석에 기인함을 확인했습니다. 운영 데이터셋에서는 시각적 증거와 합성 ICL 이 더 큰 역할을 했습니다.
• 인간 평가: 10 명의 기술적 경험을 갖춘 전문가들의 블라인드 평가에서 SAGE 는 정확성, 유효성, 명확성, 유용성이라는 네 가지 기준 모두에서 최상위 순위를 차지했습니다. 실행 가능한 권장 사항을 포함한 일관되고 해석 가능한 진단을 제공한다는 점에서 특히 칭찬을 받았으며, LLMAD 및 TSAD-Agents 와 같은 베이스라인을 능가했습니다.

5. 중요성 및 주장

본 논문은 구조화된 증거 생성이 LLM 기반 시계열 이상 탐지를 더 제어 가능하고 해석 가능하게 만드는 유망한 방향이라고 주장합니다. 진단 관점을 전문적 분석으로 분리하고 그 증거를 통합함으로써 SAGE 는 단일 모델 추론과 거친 다중 에이전트 분해의 한계를 해결합니다.

저자들은 SAGE 가 직접적인 이상 추론에서 구조화된 진단으로 패러다임을 전환한다고 강조합니다. 이는 이상 발생 위치 ("어디") 뿐만 아니라 이상의 본질 ("무엇") 과 탐지 이유 ("왜") 를 제공합니다. 정상 데이터에서 파생된 합성 ICL 의 사용은 희소하거나 이용 불가능한 실제 이상 사례에 대한 의존도를 줄여, 프레임워크를 제로샷 시나리오에 더 적용 가능하게 만듭니다.

한계 및 향후 작업:
저자들은 현재 프레임워크가 단변량 시계열로 제한되며, 윈도우당 여러 LLM 호출로 인해 높은 계산 비용을 수반한다고 인정합니다. 또한, 규칙 기반 합성 교란은 모든 실제 세계의 고장 모드, 특히 미묘한 시스템 고유의 이상을 커버하지 못할 수 있습니다. 향후 작업으로는 적응형 필터링 탐색, 프레임워크를 다변량 시계열로 확장, 그리고 세밀한 위치 특정성 향상이 제안됩니다. 저자들은 SAGE 를 자율 제어 시스템이 아닌 인간 분석가를 위한 의사결정 지원 도구로 규정하며, 안전이 중요한 응용 분야에서는 도메인 검증과 인간 감독이 필요하다고 명시합니다.