기술 요약: KRCA - 에이전트 기반 AI를 통한 하이퍼스케일 마이크로서비스 시스템에서의 효율적인 근본 원인 분석(RCA) 시스템

1. 문제 정의

극단적인 역동성(수십만 개의 서비스에 걸친 분산화된 지속적 업데이트)과 거대한 규모(수십만 개의 서비스를 각각 수백 개의 메트릭으로 모니터링)를 특징으로 하는 하이퍼스케일 마이크로서비스 시스템은 근본 원인 분석(RCA)에 있어 독특한 과제를 제시합니다. 기존의 RCA 방식은 이러한 환경에서 어려움을 겪습니다:

• 딥러닝 접근 방식: 변화하는 시스템 피처에 적응하기 위해 빈번한 재학습이 필요합니다. 하이퍼스케일 시스템에서는 변동 주기가 학습 주기보다 빠른 경우가 많아, 이러한 모델은 실시간 배포에 효과적이지 못합니다.
• LLM 기반 접근 방식: 인컨텍스트 러닝(In-context learning) 능력은 갖추고 있으나, 방대한 서비스 및 메트릭 세트의 지나치게 긴 컨텍스트를 처리할 때 "Lost in the Middle(중간 부분 망각)" 문제에 직면합니다. 또한, 이들은 인과 관계를 환각(Hallucination)하거나 고차원 시계열 데이터로부터 진정한 인과성을 추출하는 데 실패하곤 합니다.
• 전통적인 인과 발견(Causal Discovery): PC 알고리즘이나 Granger 인과 관계와 같은 알고리즘은 이상 메트릭의 수가 증가함에 따라(예: 20개 이상의 메트릭 발생 시 정확도가 20% 미만으로 급락) 정확도가 급격히 저하되고 계산 비용이 과도하게 높아집니다.

핵조한 과제는 시스템의 진화 속도를 따라잡을 수 없는 사전 학습 모델에 의존하지 않고, 실질적인 시간 예산 내에서 근본 원인 서비스(Root Cause Service)를 국지화하고 장애 유형을 분류하는 것입니다.

2. 방법론: KRCA 시스템 설계

KRCA는 하이퍼스케일 환경을 위해 설계된 엔드 투 엔드(End-to-end) RCA 시스템입니다. 이는 LLM 기반의 추론을 수행하기 전, 탐색 공간을 체계적으로 좁히기 위해 **단계적 다단계 진단 패러다임(Progressive multi-stage diagnostic paradigm)**을 채택합니다. 시스템은 세 가지 핵심 모듈로 구성됩니다.

2.1 API 레벨 드릴다운 (API-Level Drilldown)

KRCA는 거친 서비스 수준에서 시작하는 대신, 특정 API 레벨의 알람으로부터 진단을 시작합니다.

• 메커니즘: 알람이 발생한 API로부터 서비스 종속성 그래프를 재귀적으로 탐색합니다.
• 스코어링: 스코어링 함수는 다운스트림 API를 평가할 때 장애율(에러율의 시간적 상관관계)과 지연 시간(이상 정도, 변동 기여도, 상관관계의 복합 점수)을 기준으로 삼습니다.
• 프루닝(Pruning): 임계값 미만의 점수를 가진 경로는 제거(Pruning)됩니다. 이를 통해 탐색 공간을 수천 개의 서비스에서 소수의 상위-$N$개 의심 서비스 집합으로 축소하여, 관련 없는 다운스트림 노이즈를 효과적으로 필터링합니다.

2.2 스켈레톤 기반 인과 그래프 인스턴시에이션 (Skeleton-Based Causal Graph Instantiation)

식별된 의심 서비스에 대해, KRCA는 로우(Raw) 시계열 데이터로부터 직접 인과 발견을 수행하는 것을 피합니다.

• 일반적 스켈레톤 ($G_s$): 네 가지 메타 메트릭 유형인 외부(External, E) (예: 트래픽), 내부(Internal, I) (예: CPU/GPU), 종속성(Dependency, D) (예: MySQL, Redis), KPI(K) (예: 지연 시간, 성공률)로 구성된 사전 정의된 인과 스켈레톤을 사용합니다.
• 인스턴시에이션(Instantiation): 하이브리드 전략(Isolation Forest + PatternMatcher)을 통해 탐지된 이상 메트릭을 이러한 메타 메트릭 유형에 매핑합니다.
• 출력: 이를 통해 초기 고재현율(High-recall) 인과 그래프($G_o$)가 생성되며, 이는 구조적 사전 지식(Structural Prior) 역할을 합니다. 이 단계는 방대한 메트릭 세트를 희소하고 해석 가능한 구조로 조직하여, 이후 LLM의 탐색 공간을 제한합니다.

2.3 멀티 에이전트 협업 (Multi-Agent Collaboration)

초기 그래프 $G_o$를 정교화하고 최종 진단을 생성하기 위해, KRCA는 메모리 증강 멀티 에이전트 프레임워크를 활용합니다.

• 아키텍처: **메인 에이전트(Main Agent)**가 프로세스를 조율하며, 특정 장애 시나리오에 특화된 전문 서브 에이전트(Sub Agents) (예: 트래픽 전문가, CPU 전문가, GPU 전문가)를 지휘합니다.
• 추론: 서브 에이전트들은 도메인 특화 도구(예: SQL 분석기)와 검색 증강 생성(RAG)을 사용하여 인과 관계를 검증하고 증거를 수집합니다.
• 메모리 시스템: 세 가지 계층의 메모리가 추론을 지원합니다:
  • 작업 메모리(Working Memory): 컨텍스트를 위한 단기 대화 이력.
  • 사실 메모리(Factual Memory): 인컨텍스트 러닝을 위한 서비스별 과거 장애 이력.
  • 경험 메모리(Experiential Memory): 서비스 간 전이 가능한 일반화된 추론 통찰 (예: "트래픽 포화는 MySQL 쿼리 지연을 유발한다").
• 프로세스: 에이전트들은 가짜 엣지(Spurious edges)를 반복적으로 제거하고, 암시적인 메타 메트릭 간 관계를 발견하며, 근본 원인 서비스와 장애 유형을 식별하는 종합적인 장애 보고서를 합성합니다.

3. 주요 기여

1. 하이퍼스케일 최초의 엔드 투 엔드 시스템: KRCA는 실제 운영 환경의 장애 대응 시간 예산 내에서 작동할 수 있도록 설계된, 하이퍼스케일 마이크서비스 시스템을 위해 특별히 설계된 최초의 RCA 시스템으로 제시됩니다.
2. 단계적 다단계 프레임워크: API 레벨 드릴다운을 통한 탐색 공간 축소, 스켈레톤 그래프를 통한 이상 메트릭 조직화, 그리고 멀티 에이전트 추론을 통한 인과 관계 검증을 결합한 새로운 파이프라인을 제안합니다. 이는 순수 통계적 방식과 순수 LLM 기반 방식의 한계를 해결합니다.
3. 실증적 검증 및 배포: 본 시스템은 300개의 실제 장애 사례에 대해 평가되었으며, 콰이쇼우(Kuaishou)의 프로덕션 환경에 6개월 이상 배포되었습니다.

4. 실험 결과

평가는 9가지 전형적인 장애 유형(예: CPU 포화, MySQL 느린 쿼리 등)을 포함하는 콰이쇼우의 300개 실제 장애 데이터셋을 대상으로 수행되었습니다.

• 정확도: KRCA는 근본 원인 서비스 국지화에서 AC@1 점수 0.88, 장애 유형 분류에서 0.79를 달성했습니다.
• 비교: 이러한 결과는 가장 강력한 베이스라인인 RCA-Agent보다 각각 31% 및 32% 높은 절대적 성능 향상을 보였습니다. KRCA는 다양한 시드 LLM(Claude, GPT, MiniMax, DeepSeek)에 대해서도 견고함을 입증했습니다.
• 효율성: 프로덕션 환경에서 KRCA는 근본 원인 국지화를 위한 평균 진단 시간을 약 52분에서 약 11.8분으로 77.3% 단축했습니다.
• 절제 연구(Ablation Studies): 핵심 구성 요소(API 레벨 드릴다운, 스켈레톤 그래프, 멀티 에이전트 협업 또는 계층형 메모리) 중 하나라도 제거할 경우 성능이 크게 저하되어, 전체 아키텍처의 필요성을 입증했습니다.
• 사용성: 5명의 시니어 SRE에 의한 인간 평가 결과, 생성된 보고서의 가독성(4.21/5)과 유용성(4.10/5) 모두 높은 점수를 받았습니다.

5. 의의 및 주장

본 논문은 KRCA가 실시간 적응성 요구와 하이퍼스케일 시스템의 복잡성 사이의 간극을 성공적으로 메웠다고 주장합니다. "로우 데이터로부터 인과 관계를 추론"하는 것에서 "구조화되고 제약된 사전 지식 내에서 인과 관계를 검증"하는 것으로 패러다임을 전환함으로써, KRCA는 LLM의 환각 위험과 통계적 방법의 확장성 한계를 완화합니다.

시스템의 중요성은 6개의 주요 비즈니스 라인에서 매일 2,000개 이상의 알람을 처리하는 콰이쇼우의 실제 프로덕션 배포를 통해 강조됩니다. 저자들은 MTTR(평균 복구 시간)을 줄이는 능력과 SRE들 사이의 높은 순 추천 지수(NPS) 74%가, 장애가 엔드 유저와 비즈니스 운영(예: 단일 사례 연구에서 13만 달러 이상의 예상 GMV 손실 방지)에 미치는 영향을 완화하는 데 있어 KRCA의 실질적인 가치를 입증한다고 강조합니다.