TORAI: Unsupervised Fine-grained RCA using Multi-Source Telemetry Data

1. 연구 배경 및 문제 정의 (Problem)

마이크로서비스 아키텍처는 유연성과 배포의 용이성으로 인해 널리 사용되지만, 시스템의 복잡성으로 인해 장애 발생 시 원인을 신속하게 파악하는 것이 어렵습니다. 기존의 다중 소스 루트 원인 분석 (RCA) 방법론들은 다음과 같은 세 가지 주요 한계를 가지고 있습니다.

1. 전체 추적 (Full Trace Coverage) 가정: 기존 방법들은 서비스 호출 그래프 (Service Call Graph) 를 구축하기 위해 시스템 내 모든 서비스에 분산 추적 (Distributed Tracing) 이 적용되어 있다고 가정합니다. 그러나 실제 환경에서는 컴파일된 소프트웨어, 서드파티 서비스, 혹은 추적 구현이 누락된 서비스 (블라인드 스팟, Blind Spots) 가 존재하여 호출 그래프가 불완전해집니다. 이 경우 기존 RCA 는 시각화되지 않은 서비스의 로그나 지표를 분석하지 못해 진단 성능이 떨어집니다.
2. 지도 학습 (Supervised Learning) 의존성: 많은 기존 방법들이 대량의 라벨링된 훈련 데이터를 필요로 합니다. 마이크로서비스 시스템은 빠르게 진화하고 업데이트되므로, 모든 장애 유형에 대한 라벨링 데이터를 확보하는 것은 비현실적입니다.
3. 침습적 인스트루멘테이션 (Intrusive Instrumentation): 일부 방법은 로그와 트레이스를 강하게 통합하기 위해 (예: 모든 로그 줄에 trace_id 포함) 소스 코드 수정을 요구합니다. 이는 오픈소스나 블랙박스 컴포넌트가 포함된 환경에서는 구현이 불가능하거나 비용이 매우 큽니다.

핵심 문제: 추적 데이터가 부족하거나 없는 "블라인드 스팟"이 존재하는 환경에서도, 추가적인 소스 코드 수정 없이 다중 소스 (지표, 로그, 추적) 데이터를 활용하여 정밀한 루트 원인을 찾아내는 방법론의 부재입니다.

2. 제안된 방법론: TORAI (Methodology)

저자들은 TORAI라는 새로운 비지도 (Unsupervised) 기반 RCA 방법을 제안합니다. TORAI 는 서비스 호출 그래프 구축을 전제로 하지 않으며, 가용한 다중 소스 텔레메트리 데이터를 활용하여 다음과 같은 5 단계 프로세스로 루트 원인을 식별합니다.

1. 다중 소스 텔레메트리 데이터 변환 (Transform Multi-source Telemetry Data):

   • 지표 (Metrics), 로그 (Logs), 추적 (Traces) 데이터를 시계열 데이터로 변환합니다.
   • 지표는 '4 가지 황금 신호 (Traffic, Saturation, Latency, Errors)'를 수집하고, 로그는 템플릿 추출 (Drain 알고리즘) 후 발생 빈도 시계열로 변환합니다. 추적 데이터는 호출 그래프를 구성하지 않고, 지연 시간과 상태 코드만 시계열로 추출합니다.

2. 심각도 점수화 (SeverityScorer):

   • 각 서비스의 정상 기간 데이터 (평균, 표준편차) 를 학습한 후, 비정상 기간의 데이터가 얼마나 이탈했는지 (Anomaly Severity) 를 계산합니다.
   • 각 서비스별로 지표, 로그, 추적에 기반한 **심각도 벡터 (Severity Vector)**를 생성합니다. 데이터 소스가 누락된 경우 (블라인드 스팟) 해당 값은 0 으로 처리하여 유연하게 대응합니다.

3. 증상 클러스터링 (SymptomCluster):

   • 유사한 심각도 증상을 보이는 서비스들을 그룹화합니다.
   • 가우시안 혼합 모델 (GMM) 을 사용하여 최적의 클러스터 수를 결정하고, 비정상 서비스와 정상 서비스를 분리합니다. 이는 인과 분석의 오버헤드를 줄이고 관련성 높은 서비스만 분석 대상으로 선정하는 역할을 합니다.

4. 인과 기반 순위 매기기 (CausalRanker):

   • 각 클러스터 내에서 다중 소스 시계열 데이터를 분석하여 인과 그래프를 구성합니다.
   • Ψ-PC(Ψ-PC) 알고리즘을 사용하여 분할 정복 (Divide-and-conquer) 방식으로 인과 관계를 추론하고, 부모 노드가 없는 노드 (Interventional Target) 를 루트 원인 후보로 순위 매깅합니다.

5. 정밀한 루트 원인 식별 (FineGrainer):

   • 식별된 루트 원인 서비스 (Coarse-grained) 에 대해 구체적인 지표나 로그 템플릿 (Fine-grained) 을 찾습니다.
   • 가설 검정 (Hypothesis Testing) 을 수행하며, **중앙값 (Median) 과 사분위수 범위 (IQR)**를 사용하여 이상치에 강건하게 (Robust) 이상 발생 시의 분포 변화를 측정합니다.

3. 주요 기여 (Key Contributions)

1. 블라인드 스팟 대응 RCA: 서비스 호출 그래프가 불완전하거나 추적 데이터가 전혀 없는 환경에서도 효과적으로 작동하는 첫 번째 다중 소스 RCA 방법론을 제시했습니다.
2. 비지도 학습 및 비침습적 접근: 라벨링된 데이터가 필요 없으며, 소스 코드 수정이나 추가 인스트루멘테이션 없이 기존 지표/로그/추적 데이터를 그대로 활용합니다.
3. 정밀한 진단 (Fine-grained RCA): 단순히 '어떤 서비스'가 문제인지뿐만 아니라 '어떤 지표나 로그'가 문제의 핵심인지까지 식별하여 운영자가 신속하게 대응할 수 있도록 돕습니다.
4. 광범위한 실험 검증: 3 개의 벤치마크 시스템 (Online Boutique, Sock Shop, Train Ticket) 과 실제 인터넷 서비스 제공업체의 10 건의 실제 장애 사례를 통해 성능을 입증했습니다.

4. 실험 결과 (Results)

저자들은 9 가지 최신 RCA 방법론 (PDiagnose, CausalRCA, RCD, BARO 등) 과 비교 실험을 수행했습니다.

• 정확도 (Effectiveness):

  • Online Boutique: TORAI 는 평균 T1(Top-1 정확도) 0.83, T3 0.95, A5(Avg@5) 0.93 을 기록하여 차기 최상위 방법 (CausalRCA 등) 보다 압도적으로 높은 성능을 보였습니다.
  • Sock Shop (100% 블라인드 스팟): 추적 데이터가 전혀 없는 환경에서도 TORAI 는 T1 0.84, A5 0.94 의 높은 정확도를 달성했습니다. 반면, 추적 의존적 방법들은 진단이 불가능하거나 성능이 극도로 낮았습니다.
  • Train Ticket (대규모 시스템): 64 개의 서비스가 포함된 복잡한 시스템에서도 TORAI 는 A5 0.89 를 기록하여 기존 방법들 (0.43~0.64) 보다 월등히 우수했습니다.
  • 실제 장애 (Real-world): 실제 운영 환경의 10 건 장애에서 TORAI 는 **Top-3 추천 정확도 (AC@3) 100%**를 달성했습니다.

• 효율성 (Efficiency):

  • TORAI 는 대규모 시스템 (Train Ticket) 에서도 평균 20 초 이내에 RCA 를 완료했습니다. 반면, 딥러닝 기반 방법 (CausalRCA) 은 같은 시스템에서 2 시간 이상 소요되거나 시간 제한을 초과했습니다.

• 블라인드 스팟 민감도 분석:

  • 추적 데이터의 비율을 0% 에서 100% 까지 변화시켰을 때, TORAI 는 추적 데이터가 전혀 없는 상황 (100% 블라인드 스팟) 에서도 지표와 로그만으로 80% 이상의 T1 정확도를 유지하며 견고한 성능을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 마이크로서비스 환경에서 **추적 데이터의 부재 (Blind Spots)**가 RCA 의 주요 병목 현상임을 지적하고, 이를 해결할 수 있는 실용적인 솔루션을 제시했다는 점에서 의의가 큽니다.

• 실무 적용성: 소스 코드 수정 없이 기존 모니터링 시스템에서 수집된 데이터만으로 작동하므로, 레거시 시스템이나 서드파티 서비스가 포함된 복잡한 환경에도 즉시 적용 가능합니다.
• 비용 절감: 대량의 라벨링 데이터 수집 비용과 분산 추적 구현을 위한 개발 리소스를 절감할 수 있습니다.
• 신뢰성: 실제 산업계 데이터와 다양한 벤치마크를 통해 검증되었으며, 특히 Top-3 추천 정확도가 매우 높아 운영자의 의사결정을 효과적으로 지원합니다.

결론적으로 TORAI 는 불완전한 가시성 (Blind Spots) 을 가진 현대 마이크로서비스 시스템의 장애 진단을 위한 새로운 표준이 될 수 있는 강력한 도구입니다.