🤖 AI

GALA: Graph-Augmented LLM Agents for Root Cause Analysis and Incident Response in Microservices

본 논문은 서비스 의존성 그래프와 멀티모달 텔레메트리를 활용하여 마이크로서비스의 근본 원인 분석 및 장애 대응을 강화하는 그래프 증강 LLM 에이전트 프레임워크인 GALA+를 제시하며, 이는 기존 베이스라인보다 우수한 성능을 달성하고 산업 전문가들로부터 높은 검증을 받았다.

원저자: Yifang Tian, Yaming Liu, Zichun Chong, Zihang Huang, Yiran Li, Hans-Arno Jacobsen

게시일 2026-08-11

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yifang Tian, Yaming Liu, Zichun Chong, Zihang Huang, Yiran Li, Hans-Arno Jacobsen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대하고 북적이는 도시를 상상해 보세요. 수천 개의 작고 전문화된 상점들(마이크로서비스라고 불리는)이 협력하여 거대한 온라인 쇼핑몰을 운영하고 있습니다. 각 상점은 주문 접수, 재고 확인, 결제 처리와 같이 하나의 특정 업무를 담당합니다. 이들은 복잡한 전화선과 배송 경로를 통해 끊임없이 서로 소통합니다. 모든 것이 정상적으로 작동할 때 도시는 원활하게 돌아갑니다. 하지만 무언가 고장 나면 악몽이 시작됩니다. '결제 상점'의 지연이 마치 '주문 상점'의 문제처럼 보일 수 있지만, 실제 문제는 수 마일 떨어진 '재고 창고'에서 시작되었을 수도 있습니다. 이것이 바로 **근본 원인 분석(Root Cause Analysis, RCA)**의 세계입니다. 이는 엔지니어들이 문제가 단순히 어디에서 나타났는지가 아니라, 실제로 어디에서 시작되었는지를 알아내기 위해 수행하는 탐정 작업입니다. 전통적으로 그들은 숫자 속의 패턴(예: 교통 속도)을 포착하기 위해 수학을 사용하거나, 경찰 보고서(로그)를 살펴보았습니다. 하지만 이러한 방법들은 도시의 엄청난 복잡성 때문에 종종 혼란을 겪곤 합니다. 최근 과학자들은 읽고 추론할 수 있는 초지능형 AI 챗봇인 **대규모 언opol 언어 모델(LLM)**을 사용하여 이들을 탐정 역할을 하도록 시도했습니다. 그러나 이 AI 탐정들은 도시의 레이아웃에 대한 지도 없이 작업을 수행하기 때문에, 길을 잃거나, 엉뚱한 곳을 쫓거나, 사실을 지어내는 문제(환각 현상)를 일으키기도 합니다.

여기서 토론토 대학교 연구진이 설계한 **GALA+**라는 새로운 프레임워크가 등장합니다. GALA+를 탐정 팀이라고 생각한다면, 이들은 조사를 시작하기 전에 도시의 배송 경로가 그려진 엄격하고 상세한 지도를 부여받습니다. AI가 도시 전체를 정처 없이 헤매게 두는 대신, GALA+는 AI가 처음 문제를 보고한 상점과 연결된 특정 상점들만 살펴보도록 강제합니다. 이는 마치 탐정에게 "도시 전체를 조사하지 말고, 이 상점이 전화를 건 세 곳의 상점과 이 상점으로 전화를 건 세 곳의 상점만 확인하세요"라고 말하는 것과 같습니다. 이 시스템은 추적을 시작하기 위해 두 가지 유형의 단서를 사용합니다. 하나는 교통의 속도와 양(메트릭)을 살피는 것이고, 다른 하나는 STRIX라고 불리는 새로운 도구로, 실제 배송 경로와 타이밍(트레이스)을 살펴 누가 수상하게 행동하는지 포착하는 것입니다. AI가 용의자 명단을 작성하면, 시스템은 전문화된 에이전트들을 보내 한 명씩 조사하며 그들의 로그와 성능 데이터를 확인합니다. 만약 용의자가 무죄로 보이면, 에이전트는 지도의 다음 상점으로 이동합니다. 만약 용의자가 유죄로 보이면, 조사는 그곳에서 중단됩니다.

이 논문은 이러한 "지도 기반" 접근 방식이 게임 체인저임을 밝혀냈습니다. 두 가지 서로 다른 시뮬레이션된 도시 환경(OnlineBoutique와 TrainTicket)을 사용한 테스트에서, GALA+는 첫 번째 데이터셋에서 74.44%, 두 번째 데이터셋에서 **73.33%**의 경우에 실제 문제의 근원을 첫 번째 용의자로 정확히 식별해 냈습니다. 이는 차세대 AI 방법보다 25 퍼센트 포인트 이상 높은 수치로, 압도적인 개선을 보여줍니다. 또한 연구진은 AI의 보고서가 실제 엔지니어에게 얼마나 타당하게 들리는지를 점검하는 SURE-Score라는 새로운 채점 방식을 만들었습니다. GALA+는 이 테스트에서 가장 높은 점수를 기록하며, 단순히 정답을 맞히는 것을 넘어 왜 그런 결과가 나왔는지 설명하고 정확히 어떻게 고쳐야 하는지까지 제안할 수 있음을 증명했습니다. 이 연구는 AI 탐정들이 자유롭게 돌아다니게 두는 대신 서비스 간의 논리적 연결 관계에 집중하게 함으로써, 디지털 비상 상황을 훨씬 더 빠르게, 그리고 훨씬 적은 실수로 해결할 수 있음을 시사합니다.

기술 요약: GALA+ (마이크로서비스의 근본 원인 분석 및 장애 대응을 위한 그래프 증강 LLM 에이전트)

1. 문제 정의

현대의 마이크로서비스 아키텍처는 복잡한 의존성 그래프와 이질적인 텔레메트리 데이터(메트릭, 로그, 트레이스)로 인해 상당한 운영 복잡성을 야기합니다. 장애가 발생할 때, 사이트 신뢰성 엔지니어(SRE)는 세 가지 핵심 과제에 직면합니다:

결함 전파(Fault Propagation): 관찰된 증상(예: 서비스 A의 높은 지연 시간)은 실제 근본 원인(예: 다운스트림 서비스 B의 CPU 포화)과 다를 수 있으며, 이는 고립된 검사가 아닌 서비스 의존성에 대한 추론을 요구합니다.
다중 모드 모호성(Multi-Modal Ambiguity): 서로 다른 텔레메트리 신호들이 상충하는 용의자를 가리킬 수 있으며, 정확한 진단을 위해서는 단일 소스에 의존하기보다 이러한 모달리티들을 융합해야 합니다.
실행 가능한 대응(Actionable Response): 결함이 있는 서비스를 식별하는 것만으로는 부족합니다. 엔지니어에게는 결함 전파에 대한 인과적 설명과 계층화된 복구 단계(즉각적 완화, 영구적 수정, 예방)가 필요합니다.

기존 방식들은 한계가 있습니다. 통계적 방법은 단일 모달리티나 정적 휴리스틱에 의依赖하는 경우가 많고, 다중 모달리티 접근법은 모달리티별 특화된 신호를 놓칠 수 있습니다. 또한, 최근의 대규모 언어 모델(LLM) 에이전트는 제약 없는 탐색, 환각(hallucination), 그리고 토폴로지 기반 근거(topological grounding)의 부재로 인해 과도한 탐색 오버헤드와 정밀도 저하를 겪습니다. 나아가, 표준 평가 지표(BLEU, ROUGE)는 RCA에 필요한 인과적 근거와 운영적 구체성을 평가하는 데 실패합니다.

2. 방법론: GALA+ 프레임워크

GALA+는 서비스 의존성 그래프 내에서 추론을 제한하도록 설계된 그래프 증강 LLM 에이전트 프레임워크입니다. 이는 네 가지 조정된 단계로 작동합니다.

단계 I: 초기 가설 생성

GALA+는 두 가지 상보적인 신호를 융합하여 근본 원인 가능성이 높은 포드(pod)의 거친 순위를 생성합니다:

메트릭 기반 순위 지정 (BARO): 베이지안 온라인 변화점 탐지(Bayesian online change-point detection)를 사용하여 이상 징후를 식별하고 인과적 DAG를 구축하며, 관찰된 이상 징후에 대한 인과적 영향력에 따라 서비스를 점수화합니다.
트레이스 기반 순위 지정 (STRIX): 분산 트레이스와 서비스 의존성 토폴로지를 분석하는 새로운 모듈입니다. 이 모듈은 세 가지 진단 차원을 계산합니다:
- 불안정성 ( $\phi_1$ ): 자원 경합을 포착하기 위해 P99와 P50 지연 시간의 비율을 계산합니다.
- 중심성 ( $\phi_2$ ): 구조적 병목 지점을 식별하기 위해 팬인(fan-in)/팬아웃(fan-out) 비율을 포함한 가중 PageRank를 활용합니다.
- 영향도 ( $\phi_3$ ): 처리 지연과 다운스트림 대기 시간을 구분하기 위해 지연 시간을 분해합니다.
- 융합: 이러한 순위들은 상호 순위 융합(Reciprocal Rank Fusion, Rff)을 통해 결합됩니다. **통합 에이전트(Consolidation Agent)**는 비대칭적 정보(예: 트레이스 전용 vs 메트릭 전용 후보)를 추론하여 신뢰 점수가 포함된 통합 순위 목록을 생성합니다.

단계 II: 포드 중심 컨텍스트 합성

가공되지 않은 텔레메트리는 LLM이 직접 처리하기에는 너무 방대합니다. 각 후보 포드에 대해 GALA+는 다음을 포함하는 **진단 번들( $D_i$ )**을 추출합니다:

장애 발생 시간 내의 직렬화된 메트릭 (JSON 형식).
엣지 속성(지연 시간, 호출량)을 포함한 1-홉 의존성 서브그래프.
정제된 로그 (에러 레벨 항목만 타임스탬프 순으로 정렬).

단계 III: 그래프 가이드 에이전트 조사

제한 없는 탐색을 피하기 위해, GALA+는 **조사 에이전트(Investigator Agents)**를 사용하여 유계 탐색(bounded search)을 수행합니다:

에이전트는 초기 순위의 상위- $k$ 후보에서 시작합니다.
에이전트는 진단 번들을 바탕으로 추론하여 구조화된 평가(신뢰도, 증거, 인과적 설명)를 생성합니다.
로컬 증거가 불충료할 경우(신뢰도 < 임계값 $\theta$ ), 에이전트는 의존성 그래프 내의 무작위 배치 이웃으로 탐색을 확장합니다.
이 과정은 높은 신뢰도의 증거를 찾거나 모든 이웃을 모두 조사할 때까지 지속되며, 이를 통해 탐색이 구조적으로 타당한 경로 내에 머물도록 보장하여 검색 범위를 국소화합니다.

단계 IV: 진단 합성 및 장애 대응

**증거 합성 에이전트(Evidence Synthesis Agent)**는 모든 조사 분기(branch)의 결과를 조정합니다. 이 에이전트는 두 가지 규칙을 적용합니다:

신호 앵커링(Signal Anchoring): 초기 신뢰 점수를 사전 확률(prior)로 취급함으로써 환각을 방지합니다.
체인 일관성(Chain Coherence): 탐색된 모든 분기에서 관찰된 증상을 인과적 체인이 설명할 수 있는 경우에만 해당 후보를 최상위 순위로 격상시킵니다.
마지막으로, **복구 에이전트(Remediation Agent)**는 구조화된 장애 요약과 세 가지 계층화된 조치 권고 사항(즉각적 완화, 영구적 수정, 예방)을 생성합니다.

3. 평가 프레임워크: SURE-Score

표준 NLG 지표가 RCA 품질을 포착하지 못한다는 점을 인식하여, 저자들은 산업계 SRE들과 공동 개발한 인간 가이드 기반 평가 프레임워크인 SURE-Score(Summarization Recommendation Score)를 도입했습니다. 이는 네 가지 차원에서 보고서를 평가합니다:

증거 근거성(Evidence Groundedness): 추론은 구체적인 텔레메트리(로그, 메트릭, 트레이스)에 의해 뒷받침되어야 합니다.
운영 타당성(Operational Feasibility): 권고 사항은 구체적이고 실행 가능해야 합니다.
진단 정밀도(Diagnostic Precision): 특정 서비스/포드 식별자와 정량적 메트릭을 요구합니다.
트리아지 로직(Triage Logic): 서사는 증상에서 근본 원인으로 이어지는 전문적인 흐름을 따라야 합니다.

평가는 자기 선호 편향(self-preference bias)을 피하기 위해 서로 다른 모델을 사용하는 듀얼-LLM 채점 방식과 독립적인 인간 SRE 평가를 모두 포함합니다.

4. 실험 결과

GALA+는 두 가지 마이크로서비스 벤치마크인 OnlineBoutique(17개 서비스)와 TrainTicket(69개 서비스)에서 평가되었으며, AegisLab 벤치마크에서도 추가 평가되었습니다.

근본 원인 순위 결정 (RQ1): GALA+는 모든 데이터셋에서 가장 높은 정확도를 달est했습니다. OnlineBoutique에서 GALA+는 74.44% AC@1을 달성했습니다(최고 성능의 LLM 베이스라인인 Flow-of-Action의 48.35% 대비). TrainTicket에서는 73.33% AC@1을 달성했습니다(47.78% 대비). 이는 가장 강력한 LLM 기반 베이스라인보다 25 퍼센트 포인트 이상 향상된 수치입니다. 이 개선은 통계적으로 유의미했습니다 ( $p < 0.001$ ).
장애 요약 (RQ2): SURE-Score 하에서, GALA+는 네 가지 차원 모두에서 모든 베이스라인을 일관되적으로 앞질렀습니다. 전통적인 지표(BERTScore, ROUGE)는 차별성을 거의 보여주지 못한 반면, SURE-Score는 GALA+의 우수한 운영 타당성과 진단 정밀도를 강조했습니다. 인간 SRE 평가 역시 이러한 순위를 확인했습니다.
절제 연구 (Ablation Studies, RQ3): STRIX 또는 그래프 가이드 조사 단계를 제거하면 성능이 크게 저하되었으며, 이는 트레이스 구조 인식과 유계 에이전트 추론이 모두 중요하다는 것을 입증합니다.
LLM 선택 (RQ4): GALA+는 다양한 LLM에서 잘 작동합니다. 오픈 소스 모델인 llama-4-maverick 및 Qwen3-80B는 독점 모델 비용의 일부만으로 최상위 수준의 정확도에 근접하는 성과를 냈습니다.
파라미터 민감도 (RQ5): 본 프레임워크는 다양한 병렬 분기( $k$ ), 가지치기 임계값( $\theta$ ), 배치 크기( $b$ )에 대해 견고합니다.

5. 주요 기여

이중 신호 가설 생성: 메트릭 기반 인과적 순위와 새로운 트레이스 및 그래프 구조 인식 스코어링 모듈인 STRIX를 융합하여 통합된 후보 집합을 생성하는 메커니즘.
그래프 가이드 에이전트 조사: 에이전트가 결함 전파 엣지를 따라 신뢰도 기반의 깊이 제한 확장을 수행하는 토폴로지 제약 병렬 조사 프레임워크로, 진단 완결성을 유지하면서 탐색 공간을 줄입니다.
장애 대응 및 평가: 순위가 매겨진 진단, 구조화된 요약, 계층화된 조치 권고를 생성하는 파이프라인이며, 기존의 텍스트 유사도 지표보다 뛰어난 인간 가이드 프레임워크인 SURE-Score를 통해 평가됩니다.

6. 의의 및 주장

본 논문은 GALA+가 에이전트의 추론을 서비스 의존성 그래프 내로 제한함으로써 환각과 과도한 탐색 오버헤드를 방지하여 기존 RCA 방식의 한계를 해결한다고 주장합니다. 결과는 **토폴로지 제약 추론(topology-constrained reasoning)**이 풍부한 관계 구조를 가진 도메인에서 제약 없는 에이전트 탐색의 유망한 대안임을 보여줍니다.

저자들은 GALA+가 진단 정확도와 운영 유용성을 크게 향old하지만, 현재의 LLM 기반 방법론에서 **증거 근거성(Evidence Groundedness)**은 여전히 과제로 남아 있다고 겸허히 언급했습니다. 평가자들은 LLM이 텔레메트리를 그대로 인용하기보다 패러프레이징(paraphrase)하는 경향이 있다고 지적했습니다. 이 연구는 통계적 가설 생성과 그래프 가이드 LLM 추론을 결합하는 것이 마이크로서비스의 자동화되고 실행 가능한 장애 대응을 향한 견고한 경로를 제공함을 시사합니다.