기술 요약: Adobe 이커머스의 자동 알림 트리아지(Triage)를 위한 에이전트 기반 관측성(Agentic Observability)

문제 정의

현대적인 엔터프라이즈 시스템, 특히 대규모 이커머스 플랫폼은 복잡한 상호 의존성을 보이며, 이는 관측성(Observability)과 장애 대응을 점점 더 어렵게 만듭니다. 관측성 도구의 발전에도 불구하고, 장애 트리아지(Incident Triage)는 여전히 상당 부분 수동 프로세스로 남아 있습니다. 엔지니어들은 극심한 시간 압박 속에서 로그를 수동으로 쿼리하고, 대시보드를 조사하며, 런북(Runbook)을 참조하고, 이질적인 데이터 소스들을 가로질러 추론해야 합니다. 이러한 인간 중심의 워크플로우는 중요한 컨텍스트가 도구와 데이터 사일로(Silo)에 파편화되어 존재함에 따라, 결과적으로 평균 복구 시간(MTTR)을 크게 증가시키고 상황 인지 능력을 제한하는 심각한 병목 현상을 초래합니다.

기존의 자동화된 접근 방식은 주로 장애가 등록된 후에야 구조적인 근본 원인 분석(RCA)을 수행하는 반응적인 방식으로 작동하거나, 라이브 텔레메트리(Live Telemetry)와의 통합이 결여된 사전 정의된 트러블슈팅 워크플フロー에 의존합니다. 또한, 많은 에이전트 기반 AIOps 개념 프레임워크들은 이론적 단계에 머물러 있으며, 실제 운영 환경에서 검증되지 않았고, 실세계의 오류 패턴이 가진 의미론적 이질성과 도메인 특수성을 해결하지 못하고 있습니다.

방법론

본 논문은 Adobe의 이커머스 인프라 내에 배포된 에이전트 기반 관측성 프레임워크를 제시합니다. 이 시스템은 LangGraph를 통해 오케스트레이션되는 ReAct (Reasoning and Acting) 패러다임을 활용하며, 알림 트리아지를 자동화하기 위해 세 가지 특화된 GPT-4o 에이전트를 운용합니다:

1. Splunk 에이전트: 알림을 수신하면, 이 에이전트는 메타데이터(영향을 받는 서비스, 알림 유형, 식별자)를 추출하고 Splunk API를 쿼리합니다. 에러 레벨의 이벤트를 필터링하고 다운스트림 서비스로의 트레이스 식별자를 추적하여 분산된 이벤트들을 상관 분석하며, 구조화된 이상 징후 데이터셋을 출력합니다.
2. Tools 에이전트: 플래너이자 추론 엔진 역할을 하는 이 에이전트는 알림 메타데이터와 로그 요약을 해석합니다. 정보의 공백을 식별하고 하위 목표(예: API 응답 검증, 배포 유효성 확인)를 정의합니다. 검색 증강 생성(RAG)을 사용하여 런북, 내부 위키, 배포 메타데이터로부터 데이터를 통합하고 단계적인 실행 계획을 수립합니다. 이 에이전트는 진단 작업을 자율적으로 수행할 수 있으며, 인간의 감독 하에 적용 가능한 경우 복구 단계(예: 작업 재시작, 캐시 삭제)도 실행할 수 있습니다.
3. Reflection 에이전트: 이 에이전트는 합성된 결과물을 완전성, 인과관계, 실행 가능성이라는 세 가지 기준에 따라 메타 평가를 수행합니다. 무한 추론 루프를 방지하기 위해 시스템은 최대 5회의 리플렉션 사이클을 부과합니다. 이 한계를 초과하여 불확실성이 지속될 경우, 시스템은 종료되며 명시적인 불확실성 태그와 함께 가장 신뢰도 높은 가설을 반환합니다.

이 프레임워크는 **인터리브드 병렬성(Interleaved Parallelism)**을 가능하게 합니다. 예를 들어, Tools 에이전트가 추론하는 동안 Splunk 에이전트는 비동기적으로 다운스트림 서비스로부터 로그를 가져올 수 있어 전체 트리아지 시간을 단축합니다.

주요 기여

본 논문은 다음 세 가지 핵심 기여를 통해 AIOps 분야를 발전시킵니다:

• 선제적, 실시간 알림 트리아지: 장애 발생 후 동작하는 기존의 RCA 프레임워크와 달리, 이 시스템은 알림이 발생되는 시점에 진단적 추론을 수행하여 장애 후 지연 시간을 제거하고 조기 완화를 가능하게 합니다.
• 교차 도메인, 컨텍스트 인식 추론: 이 프레임워크는 Splunk 로그, 분산 트레이스, 배포 메타데이터, 문서 등 이질적인 엔터프라이즈 소스를 통합하여, 사전 정의된 워크플로우에만 의존하지 않고 서비스 전반의 비정형 텔레메트리에 대해 추론할 수 있게 합니다.
• 운영 환경 검증된 임팩트: 본 프레임워크는 개념적 프로토타입을 넘어 Adobe의 이커머스 관측성 스택이라는 실제 운영 환경에 배포되어 측정 가능한 운영 임팩트를 입증했습니다.

결과

실증적 평가는 12주 동안 다양한 서비스 카테고리(체크아웃, 구독 관리, 카탈로그 인입)에 걸친 250개의 알림 이벤트에 대해 수행되었습니다. 시스템은 두 가지 베이스라인인 수동 엔지니어 트리아지(평균 18.4분) 및 수동 지원(Support) 트리아지(평균 33.2분)와 비교되었습니다.

주요 성능 지표:

• 평균 통찰 시간 (MTTI): 에이전트 시스템은 MTTI를 2.3분으로 단축하였으며, 이는 수동 엔지니어 트리아지(18.4분) 대비 10배, 지원 트리아지(33.2분) 대비 현저한 개선을 나타냅니다.
• 오류 국소화 정확도 (ELA): 시스템은 **88.4%**의 정확도를 달연하였으며, 이는 숙련된 엔지니어(82.4%)와 대등하고 일반 지원 분석가(55.6%)보다 훨씬 높은 수치입니다.
• 엔지니어 노력 절감 (EER): 시스템은 수동 트리아지 단계의 **65%**를 자동화하여 인지 부하를 크게 줄였습니다.
• 알림 대응성 (AR): 시스템은 알림의 **90.4%**에 대해 5분 이내에 초기 진단 보고서를 생성했습니다.

사례 연구:
"콘텐츠 검증 오류(Content Validation Errors)"와 관련된 특정 사례 연구에서, 에이전트는 실행 가능한 진단까지 걸리는 시간을 수동(13.3분)에서 1.8분으로 단축했습니다. 또한 로그 조사, 변형 식 identification, 스크립트 실행을 자동화함으로써 **75%**의 EER을 달성했으며, 최종적인 콘텐츠 수정 및 재발행 작업만을 인간 엔지니어에게 남겨두었습니다.

의의 및 주장

본 논문은 이 연구가 엔터프라이즈 운영에서 **자율적 관측성(Autonomous Observability)**으로 향하는 중대한 전환점임을 주장합니다. 탐지와 통찰 사이의 간극을 좁힘으로써, 이 프레임워크는 에이전트 기반 AI가 인간 수준의 진단 정확도를 유지하면서도 트리아지 지연 시간을 10배 가까이 줄일 수 있음을 입증했습니다.

저자들은 이 시스템이 추론, 검색, 실행을 실제 운영 환경에서 성공적으로 구현하여, 반응적인 모니터링 파이프라인을 선제적이고 자기 교정적인 워크플로우로 변화시켰음을 강조합니다. 그러나 논문은 로그 데이터의 충실도에 따라 추론 품질이 결정된다는 점, API 속도 제한이 일시적인 지연을 초래할 수 있다는 점, 그리고 새로운 알림을 온보딩할 때 여전히 런북과 도구의 수동 통합이 필요하다는 점을 인정하며 한계점에 대해 겸허한 어조를 유지합니다. 본 연구는 도메인 특화되고 컨텍스트가 보장된 에이전트 프레임워크가 고위험 엔터프라이즈 환경에서 인간 운영자를 효과적으로 보조할 수 있음을 보여주는 검증된 개념 증명(Proof-of-Concept) 역할을 합니다.