Stalled, Biased, and Confused: Uncovering Reasoning Failures in LLMs for Cloud-Based Root Cause Analysis

기술 요약: 정체, 편향, 그리고 혼란: 클라우드 기반 근본 원인 분석(RCA)을 위한 LLM의 추론 실패 규명

문제 정의

근본 원인 분석(Root Cause Analysis, RCA)은 현대의 클라우드 네이티브 및 마이크로서비스 기반 시스템의 신뢰성을 유지하는 데 매우 중요합니다. 그러나 이러한 시스템의 분산적이고 상호 의존적인 특성은 진단을 복잡하게 만들며, 특히 증상이 실제 원인으로부터 멀리 떨어진 곳에서 나타나는 다중 홉(multi-hop) 결함 전파 상황에서 더욱 그러합니다. 대규모 언어 모델(LLM)은 일반적인 추론 및 도구 사용 능력을 통해 RCA를 자동화할 수 있는 가능성을 제시하지만, 이들의 실질적인 유용성은 여전히 불분명합니다.

기존의 접근 방식들은 두 가지 주요 방법론적 격차를 겪고 있습니다:

1. 가려진 추론 (Obscured Reasoning): 많은 프레임워크가 LLM을 복잡한 다중 에이전트 파이프라인이나 고도로 설계된 워크플로우 내에 포함시킵니다. 이러한 얽힘은 실패의 원인이 LLM의 추론 능력 때문인지, 아니면 주변적인 설계 선택(예: 에이전트 간 의존성, 시스템 특정 휴리스틱) 때문인지 구분하기 어렵게 만듭니다.
2. 추론 평가의 부재 (Lack of Reasoning Evaluation): 선행 연구들은 대개 최종 출력의 정확도만을 평가하거나 거친 수준의 인간 판단에 의존합니다. 다중 홉 결함 전파를 이해하는 데 필수적인, 중간 추론 과정(intermediate reasoning traces)의 '품질'에 대한 체계적이고 재현 가능하며 자동화된 평가는 존재하지 않습니다.

결과적으로, LLM의 고립된 추론 능력, 성능에 영향을 미치는 요인, 그리고 이들이 보이는 구체적인 추론 실패 양상에 대한 경험적 이해가 부족한 실정입니다.

방법론

저자들은 LLM의 추론 동작을 혼란 변수로부터 격리하기 위해 설계된 통제된 경험적 평가를 제시합니다. 본 연구는 다중 홉 추론의 복잡성은 유지하면서도 LLM을 전면에 내세우는 단순화된 실험 환경을 활용합니다.

실험 프레框架 (Experimental Framework)

• 데이터셋: 두 개의 실제 마이크로서비스 데이터셋이 사용되었습니다: GAIA(MicroSS 애플리케이션에서 파생)와 OpenRCA(Online Boutique 애플리케이션에서 파생). 이들은 다중 모달 텔레메트리 데이터(로그, 메트릭, 트레이스)를 제공합니다.
• 입력 처리:
  • 경보 추출 (Alert Extraction): 원시 텔레메트리는 특징 융합(feature fusion)을 통해 처리됩니다. 로그는 Drain을 통해 파싱되고, 트레이스는 Isolation Forest를 통해 이상 징후를 분석하며, 메트릭은 3-sigma 규칙을 사용하여 플래그가 지정됩니다.
  • 경보 통합 (Alert Unification): 경보는 시간 기반 또는 요소 기반 전략을 통해 통합되어 일관된 입력 표현을 생성합니다.
  • 지식 그래프 (Knowledge Graph, KG): 아키텍처 문서 및 매니페스트로부터 엔티티(서비스, 호스트)와 관계(제어 흐름, 데이터 흐름, 배포)를 인코딩하는 명시적이고 타입이 지정된 KG가 구축됩니다. 이는 시스템 토폴로지의 그라운드 트루스(ground truth) 역할을 합니다.
• 에이전트 워크플로우: 6개의 오픈 소스 LLM(Llama 3.2/3.3, Qwen 3, Command R+, DeepSeek-R1 포함)이 세 가지 별개의 패러다임 하에서 평가되었습니다:
  1. 스트레이트 샷 (Straight-Shot, 비에이전트 방식): LLM이 모든 입력을 받고 단 한 번의 패스로 진단을 반환합니다.
  2. ReAct: LLM이 추론과 도구 호출을 교차 수행합니다 (Thought-Action-Observation 루프).
  3. 계획 및 실행 (Plan-and-Execute): LLM이 상위 수준의 계획을 생성하고, 단계별로 실행하며, 결과에 따라 계획을 재수립합니다.
• 도구 (Tools): LLM에는 데이터 검사 및 그래프 순회(예: $r$-hop 이웃 검색)를 위한 결정론적이고 의미론적으로 최소화된 도구들이 제공되었습니다. 추론이 주요 변수가 되도록 하기 위해 KG 직접 접근이나 코드 실행은 제한되었습니다.

평가 지표

• 출력 품질: 위치 정확도(LA), 유형 정확도(TA), 가설 정확도(HA), 전파 경로 유효성(PA)을 상위-$k$($k=1, 3$) 기준으로 측정합니다.
• 추론 품질: 추론 과정을 주석 처리하기 위해 새로운 LLM-as-a-Judge 방식이 채택되었습니다. 오픈 코딩과 반복적인 정제(인간 및 LLM 주석 포함)를 통해 16가지 추론 실패(RF) 분류 체계가 개발되었습니다. 실패는 다음과 같이 분류됩니다:
  • 절차적 (Procedural): 결정-실행 루프에서의 문제 (예: 신념 업데이트 실패, 반복).
  • RCA 특화 (RCA-specific): 도메인 오류 (예: 메트릭 해석, 출처 혼동).
  • 일반적 (General): 논리적 오류, 근거 없는 인과 관계, 내부 모순.
• 규모: 본 연구는 총 228일의 실행 시간을 소요하는 48,000개의 시뮬레이션된 실패 시나리오를 실행했습니다.

주요 결과

1. LLM 에이전트의 효과성 (RQ1)

• 만능 모델은 없다 (No One-Size-Fits-All): 모델 성능은 작업별로 다릅니다. **Qwen 3 (32B)**는 전체 가설 정확도에서 가장 높은 성과를 보였고, Llama 3.3은 전파 경로 재구성에서 뛰어난 성능을 보였습니다. 작은 모델들(예: Llama 3.2, Qwen 3 4B)은 단순한 워크플로우에서는 경쟁력 있는 성능을 보였으나, 복잡한 에이전트 설정에서는 성능이 크게 저하되었습니다.
• 에이전트 워크플로우의 수확 체감: 에이전트 워크플로우가 성능을 향상시킬 것이라는 가설과 달리, Straight-Shot 방식이 LA, TA, HA 측면에서 ReAct나 Plan-and-Execute와 대등하거나 오히려 더 우수한 성능을 보였습니다. 작은 모델의 경우, 워크플로우의 복잡성이 증가할수록 성능이 하락하여 때로는 무작위 추측보다 낮은 수준까지 떨어졌습니다.
• 경로 유효성 (Path Validity): 에이전트 워크플로우는 유능한 모델(예: Llama 3.3)의 경우 전파 경로 유효성(PA)을 개선하였는데, 이는 모델이 시스템 컨텍스트에 더 잘 접지(grounding)됨을 시사합니다. 다만, 이 이점은 모델이 도구 호출을 안정적으로 계획하고 실행할 수 있는 능력에 달려 있었습니다.
• 실행 오류: 작은 모델들은 재귀 제한 및 재계획 오류로 인해 높은 실행 실패율(예: Plan-and-Execute 시 Qwen 3 4B의 경우 87.3%)을 보였으며, 이는 엔드 투 엔드 유용성을 심각하게 제한했습니다.

2. 경보 모달리티에 대한 민감도 (RQ2)

• 메트릭은 로컬라이제이션에 핵심적임: 메트릭 데이터를 제외했을 때 위치 정확도(LA)가 가장 크게 감소했으며, 이는 LLM이 결함 위치를 식별하는 데 메트릭 이상 징후에 크게 의존함을 나타냅니다.
• 로그는 결함 유형화에 핵심적임: 로그를 제외하면 주로 결함 유형 귀속(TA)이 저하되었으며, 이는 텍스트 형태의 경보가 오류 분류를 위한 필수적인 의미론적 단서를 제공함을 시사합니다.
• 트레이스는 방해 요소가 됨: 놀랍게도, 트레이스를 제외했을 때 정확도가 향상되는 경우가 많았습니다. 저자들은 트레이스 경보가 노이즈가 많고 양이 방대하여, LLM이 (배포와 같은) 다른 중요한 의존성을 무시하고 호출 관계에만 집중하게 만든다는 것을 발견했습니다. 트레이스를 제거하면 KG에 기반한 더 집중된 분석이 가능해졌습니다.

3. 추론 실패 (RQ3)

• 만연한 실패: 추론 실패는 모든 모델에서 광범으로 나타났습니다.
• 절차적 불안정성: 절차적 실패(예: 신념 업데이트 실패, 과도한 추측)는 모델과 워크플로우에 따라 크게 달랐으며, 작은 모델일수록 에이전트 제어 하에서 더 높은 불안정성을 보였습니다.
• RCA 특화 격차: 도메인 지식과 관련된 실패(예: 메트릭 해석, 출처 확인)는 모델 전반에 걸쳐 일관되게 나타났으며, 이는 내재적인 RCA 특화 추론 능력이 부족함을 나타냅니다.
• 일반적 약점: 일반적인 가설별 실패(예: 증거 조작, 증거 불충분)가 가장 높은 평균 빈도를 보였으며, 이는 가설 주장이 빈번하게 약한 근거에 기반하고 있음을 시사합니다.

4. 실패가 정확도에 미치는 영향 (RQ4)

• 부정적 예측 인자: 특정 추론 실패—특히 앵커링 편향 (RF-13), 반복/정체 (RF-12), 임의적 증거 선택 (RF-07), 신념 업데이트 실패 (RF-09)—의 존재는 정확도 감소와 강한 상관관계가 있었습니다 (Risk Difference < -0.15).
• 워크플로우 상호작용: 에이전트 워크플로우는 실패당 절대적인 위험 차이가 더 작게 나타났으나(이는 반복적 추론이 단일 오류의 영향을 희석할 수 있음을 시사), 여러 실패의 공존과 에이전트 트레이스에서의 조기 오류 누적은 순 정확도 손실에 기여했습니다.
• 모델 차이: "사고(Thinking)" 지향적 모델(예: Qwen)은 다른 모델들에 비해 교차하는 실패의 빈도가 낮았으며, 이는 워크플로우 구조 자체보다 학습 스타일이 추론의 일관성에 더 큰 영향을 미침을 시사합니다.

의의 및 기여

본 논문은 LLM 기반 RCA 에이전트의 고립된 추론 능력과 그 구체적인 실패 모드를 조사한 첫 번째 경험적 연구라고 주장합니다. 주요 기여는 다음과 같습니다:

1. 통제된 평가 프레임워크: LLM의 추론을 프레임워크의 복잡성으로부터 격리하여, 다중 에이전트 얽힘과 독립적으로 추론 능력을 투명하게 평가할 수 있는 방법론을 제공합니다.
2. 추론 실패 분류 체계: 혼합 방법론적 추출 과정을 통해 도출된, 절차적, RCA 특화, 일반적 유형으로 분류된 16가지 공통 RCA 추론 실패에 대한 라벨링된 분류 체계를 제시합니다.
3. 자동화된 추론 평가: 인간의 신뢰성 검증을 통해 검증된, RCA 추론 품질을 자동적이고 재현 가능하게 평가할 수 있는 LLM-as-a-Judge 시스템을 구축했습니다.
4. 경험적 통찰: 48,000개의 샘플을 통해 LLM의 입력 모달리티 민감도를 정량화하고, 최종 정확도를 예측하는 특정 추론 실패를 식별했습니다.

저자들은 단순화된 설정이 RCA 작업을 사소하게 만드는 것은 아니지만, 현재의 오픈 소스 LLM은 특히 복잡한 에이전트 워크플로우에서 다중 홉 추론에 어려움을 겪는다고 결론짓습니다. 자동화된 RCA의 발전은 단순히 에이전트 구조에 의존하기보다는, 증거 충분성 검사나 가설 다양화와 같은 특정 추론 능력을 개선하고 명시적인 도메인 가이드를 제공하는 방향으로 나아가야 할 것입니다. 본 연구는 자동화될 뿐만 아니라 해석 가능하고 실무적인 결함 진단 요구에 부합하는 RCA 에이전트를 개발하기 위한 토대를 제공합니다.