기술 요약: MARCA – 멀티모달 데이터를 활용한 멀티 에이전트 근본 원인 분석(Root Cause Analysis)

1. 문제 정의

대규모 분산 마이크로서비스 아키텍처에서의 근본 원인 분석(RCA)은 관측 가능성 데이터(로그, 메트릭, 트레이스, 리턴 코드)의 이질성과 서비스 의존성의 복잡성으로 인해 상당한 어려움에 직면해 있습니다. 대규모 언로 구조화된 데이터를 처리하는 데 있어 대규모 언어 모델(LLM)의 직접적인 적용은 다음과 같은 문제로 인해 제한됩니다:

• 컨텍스트 한계: 손실이 있는 요약을 통해 대규모의 다중 소스 진단 데이터를 처리할 때 발생하는 정확도 저하 문제.
• 계산 효율성: 원시 시스템 로그 및 메트릭을 처리할 때 발생하는 높은 추론 비용 및 지연 시간.
• 데이터 프라이비시: 폐쇄형 소스 상용 모델로 민감한 기업 데이터를 전송하는 것에 대한 우려.
• 적응성: 기존의 단일 에이전트 또는 규칙 기반 시스템은 동적인 장애 모드, 진화하는 데이터 형식, 교차 모달 인과 추론의 필요성에 대응하기 어렵습니다.

2. 방법론

본 논문은 RCA를 반복적인 의사 결정 프로세스로 정식화한 멀티 에이전트 근본 원인 분석 프레임워크인 MARCA를 제안합니다. 이 시스템은 복잡한 진단 작업을 분해하기 위해 Controller–Executor–Voter 아키텍처를 채택하며, 도구 증강 실행(tool-augmented execution)과 가중치 기반 합의 메커니즘을 통합합니다.

2.1 핵심 아키텍처

• Controller Agent (컨트롤러 에이전트): 오케스트레이션 허브 역할을 합니다. 글로벌 상태(후보 집합, 탐색 경로)를 유지하며, RCA 작업을 일련의 작업(예: 분석 시작, 작업 분해, 루프 관리)으로 분해합니다. 실제 시스템 토폴로지 내에서 탐색 공간을 제한하기 위해 유향 의존성 그래프 $G=(V, E)$를 구축합니다.
• Executor Agents (실행 에이전트): 데이터 집약적인 검색을 담당하는 특화된 에이전트입니다. 컨트롤러의 지시에 따라 특정 관측 모달리티(로그, 메트릭, 트레이스, 리턴 코드)를 쿼리하기 위해 외부 도구와 상호 작용합니다. 이들은 에비던스 점수, 데이터 품질 점수, 텍스트 근거를 포함하는 구조화된 에비던스 튜플을 반환합니다.
• Voting Agent (보팅 에이전트): 경합하는 근본 원인 가설 간의 충돌을 해결하기 위해 멀티모달 에비던스를 집계합니다. 단순한 다수결 투표 대신, 모달리티 신뢰도, 현재 데이터 품질, 에비던스 강도를 고려하는 **가중 합의 메커니즘(weighted consensus mechanism)**을 사용합니다.

2.2 추론 워크플로우

프레임워크는 폐쇄 루프 반복 프로세스로 작동합니다:

1. 토폴로지 초기화: 컨트롤러는 이상 징이트의 진입 노드를 식별하고 의존성 그래프를 구축합니다.
2. 반복적 에비던스 수집: 시스템은 의존성 그래프를 따라 너비 우선 탐색(breadth-first traversal)을 수행합니다. 각 단계에서 컨트롤러는 실행 에이전트가 인접한 서비스를 조사하도록 지시합니다. 노이즈를 필터링하기 위해 시간적 메트릭 상관관계($\rho$)와 리턴 코드의 의미론적 일관성($sim$)을 결합한 **인과 상관 점수(Causal Correlation Score, $\xi$)**가 계산됩니다.
   • 방정식: $\xi(v_i, v_j) = \lambda_1 \rho(x^{metric}_{v_i}, x^{metric}_{v_j}) + \lambda_2 sim(x^{ret}_{v_i}, x^{ret}_{v_j})$
3. 통합 점수 산출 및 수렴: 보팅 에이전트는 에비던스의 가중합을 사용하여 후보 신뢰도 점수를 업데이트합니다. 루프는 후보의 신뢰도가 동적 임계값을 초과하거나, 상위 후보 간의 차이가 충분하거나, 최대 반복 횟수에 도달하면 종료됩니다.

2.3 적응형 추론 및 학습

• 인-컨텍스트 러닝 (ICL): 에이전트는 경직된 휴리스틱 규칙 대신 적응형 추론 가이드라인(예: 의미론적 이상 식별, 확률적 상관 매칭)을 따릅니다. 결함 유형 및 토폴로지 유사성에 따라 퓨샷(few-shot) 예시가 동적으로 검색됩니다.
• 파라미터 학습: 프레임워크는 두 단계 학습 패러다임을 활용합니다:
  • 오프라인 최적화: 과거 결함 데이터셋을 사용하여 인과 상관 가중치($\lambda_1, \lambda_2$) 및 모달리티 신뢰도 가중치($w_m$)를 튜닝하기 위해 베이지안 최적화가 사용됩니다.
  • 온라인 적응: 모달리티 가중치는 실시간 진단 피드백을 기반으로 지수 이동 평균(EMA)을 통해 업데이트되어, 변화하는 데이터 품질이나 시스템 조건에 시스템이 적응할 수 있도록 합니다.

2.4 도구 증강 실행

컨텍스트 길이와 효율성 문제를 해결하기 위해, MARCA는 저수준 데이터 처리를 전문화된 외부 도구(로그 필터링, 트레이스 재구성, 메트릭 이상 탐지)에 위임합니다. 이를 통해 LLM 에이전트는 자원 집약적인 작업을 오프로딩하면서 고수준의 작업 컨텍스트를 유지할 수 있으며, 이는 토큰 사용량을 크게 줄여줍니다.

3. 주요 기여

1. 반복적 의사 결정 정식화: RCA를 이질적인 관측 가능성 데이터에 대한 반복적 프로세스로 재정의하여, 단일 패스 분석이 아닌 단계별 추론을 가능하게 했습니다.
2. Controller–Executor–Voter 아키텍처: RCA를 계획, 실행, 검증 단계로 분해하여 확장 가능한 컨텍스트 처리와 견고한 의사 결정을 용이하게 하는 새로운 멀티 에이전트 설계를 제시했습니다.
3. 가중 합의 메커니즘: 모달리티 신뢰도와 데이터 품질에 따라 에비던스에 동적으로 가중치를 부여함으로써 노이즈가 있거나 상충하는 진단 신호에 대한 견고성을 개선하는 방법을 제공합니다.
4. 실증적 검증: 근본 원인 로컬라이제이션 및 결함 분류 모두에서 최신 베이스라인 대비 유의미한 성능 향상을 입증하는 광범 el한 실험을 수행했습니다.

4. 실험 결과

저자는 자체 구축한 결제 시스템(Chaos Mesh를 사용한 결함 주입)과 두 개의 공개 마이크로서비스 벤치마크(TrainTicket 및 MicroSS)에서 MARCA를 평가했습니다.

• 성능: 자체 구축 결제 시스템에서 MARCA(Llama-2 사용)는 76.87%의 Top-1 정확도와 0.7896의 F1-score를 달성했습니다. 이는 가장 강력한 멀티모달 베이스라인인 HolisticRCA(62.15% Acc@1)와 단일 에이전트 LLM 베이스라인을 크게 상회하는 수치입니다.
• 효율성: 도구 증강 검색과 구조화된 에비덴스 요약을 활용함으로써 단일 에이전트 방식에 비해 토큰 사용량을 약 60% 감소시켜, 실시간 산업 현장 배포의 실현 가능성을 확보했습니다.
• 어블레이션 연구 (Ablation Studies): **토폴로지 가이드(Topology Guidance)**를 제거했을 때 성능 저하가 가장 컸으며(Acc@1 기준 상대적 32.1% 하락), 이는 시스템 의존성 정보로 탐색 공간을 제한하는 것의 필요성을 강조합니다. **멀티모달 에비덴스(Multi-Modal Evidence)**를 제거했을 때도 F1-score가 크게 저하되어, 이질적인 데이터를 통합하는 것의 중요성을 확인했습니다.
• 일반화: MARCA는 공개 벤치마크(예: TrainTicket에서 74.56% Acc@1)에서도 높은 정확도를 유지하며, 단일 에이전트 방식에 비해 미지의 시스템 아키텍처에 대해 더 나은 일반화 능력을 보여주었습니다.

5. 의의 및 주장

본 논문은 MARCA가 확장성, 견고성 및 실무 배포와 관련된 기존 LLM 기반 RCA 접근 방식의 핵심 병목 현상을 해결한다고 주장합니다.

• 산업적 실현 가능성: 컨텍스트 의존성을 줄이고 로컬 실행을 가능하게 함으로써, MARCA는 데이터 주권을 보장하고 계산 비용을 낮추어 기업 환경에 적합하도록 설계되었습니다.
• 적응성: 동적 협업 메커니즘을 통해 시스템은 정적인 단일 에이전트 아키텍처의 경직성 없이 진화하는 목표와 시스템 조건에 적응할 수 있습니다.
• 진단 효과성: 특화된 에이전트와 교차 모달 추론의 통합은 모놀리식 프로세싱의 한계를 극나며, 복잡한 분산 시스템에서 근본 원인을 식별하기 위한 보다 포괄적인 근거를 제공합니다.

저자는 진단 충실도가 토폴로지 메타데이터의 완전성(특히 서버리스/휘발성 환경에서)과 동시 발생 결함 시나리오에서의 모달리티 변별력에 달려 있다는 한계점을 인정했습니다. 향후 연구 과제로 동적 토폴로지 재구성 및 강화 학습 기반의 가중치 캘리브레이션(weight calibration)을 제안했습니다.