PromCopilot: Simplifying Prometheus Metric Querying in Cloud Native Online Service Systems via Large Language Models

이 논문은 클라우드 네이티브 온라인 서비스 시스템의 복잡한 맥락을 지식 그래프로 표현하고 대형 언어 모델 (LLM) 과의 협력 추론을 통해 자연어 질문을 프롬메테우스 쿼리 언어 (PromQL) 로 자동 변환하는 'PromCopilot' 프레임워크를 제안하여, 수동 쿼리 작성의 어려움을 해소하고 시스템 모니터링 효율성을 향상시키는 최초의 텍스트 - 투 - PromQL 연구를 소개합니다.

핵심

🏭 배경: 거대한 공장과 복잡한 지도

현대 온라인 서비스는 마치 수만 개의 부품으로 이루어진 거대한 공장과 같습니다. 이 공장은 서버, 데이터베이스, 서비스 프로그램 등 수많은 부품들이 서로 얽혀 돌아가고 있습니다.

이 공장이 잘 돌아가는지 확인하기 위해 **감시 카메라 (메트릭 모니터링 시스템)**가 곳곳에 설치되어 있습니다. 이 카메라들은 "CPU 사용량", "메모리 잔량", "요청 수" 같은 숫자 데이터를 끊임없이 찍어냅니다.

하지만 문제는, 이 데이터를 보는 엔지니어에게 있습니다.

• 기존 방식: 엔지니어는 이 데이터를 찾으려면 PromQL이라는 아주 까다로운 '전문 용어 (DSL)'로 질문을 작성해야 합니다.
  • 비유: 공장의 기계 상태를 보려면, 공장의 모든 부품 이름과 연결 관계를 외우고 있어야 하며, 복잡한 문법으로 "A 기계의 B 부품이 C 시간 동안 D만큼 작동했는지"라고 수학 공식처럼 질문을 써야 합니다.
  • 문제점: 이걸 하려면 엄청난 공부와 시간이 필요하고, 실수하기 쉽습니다.

🤖 해결책: PromCopilot (자연어 번역기)

이 논문은 **"엔지니어가 평범한 말 (자연어) 로 질문만 하면, 시스템이 알아서 복잡한 전문 코드를 만들어주는 도구"**를 제안합니다.

• 사용자 질문: "오더 서비스 (주문 처리) 가 설치된 서버 중 메모리가 가장 많이 남은 노드는 어디야?"
• PromCopilot 의 역할: 이 평범한 질문을 받아서, 시스템이 알아서 알아야 할 정보들을 찾아내고, 그걸로 PromQL이라는 복잡한 코드를 자동으로 작성해 줍니다.

🧩 어떻게 작동할까? (두 명의 협력자)

이 도구는 두 가지 핵심 기술이 손잡고 협력하는 방식으로 작동합니다.

1. 지식 지도 (Knowledge Graph): "공장의 상세 도면"

   • 시스템은 공장 전체의 구조를 지식 지도로 그립니다. "어떤 서비스가 어떤 서버에 있고, 어떤 데이터가 어떤 서버와 연결되어 있는지"를 모두 기록해 둡니다.
   • 비유: 엔지니어가 "오더 서비스"라고만 말해도, 이 지도를 보고 "아, 오더 서비스는 1 번 서버와 3 번 서버에 있고, 그 서버들은 A, B, C 라는 메모리 데이터를 가지고 있구나"라고 자동으로 찾아냅니다.

2. 대규모 언어 모델 (LLM): "똑똑한 번역가"

   • 이 '지식 지도'에서 찾아낸 정보를 바탕으로, **LLM(인공지능)**이 엔지니어의 말을 **전문가용 코드 (PromQL)**로 번역합니다.
   • 비유: 지도를 본 번역가가 "오더 서비스의 메모리"를 의미하는 정확한 전문 용어와 문법으로 질문을 다시 작성해 주는 것입니다.

🎯 왜 이것이 중요한가요?

기존의 인공지능 (LLM) 만으로는 이 일을 잘 못했습니다. 왜냐하면?

• LLM 의 한계: AI 는 일반적인 지식을 가지고 있지만, **특정 회사의 공장 내부 구조 (어떤 서버에 어떤 서비스가 있는지)**는 모릅니다.
• 과거 사례의 한계: "지난번에 이런 문제가 있었을 때 이렇게 물어봤어"라는 과거 데이터를 참고하는 방식도, 시스템이 매일 변하는 클라우드 환경에서는 효과가 떨어집니다.

PromCopilot 의 혁신:
이 도구는 실시간으로 시스템의 '지식 지도'를 만들어서 AI 에게 보여줍니다. 그래서 AI 는 과거 데이터에 의존하지 않고, 지금 이 순간의 시스템 상태를 정확히 반영한 코드를 만들어냅니다.

📊 실험 결과: 얼마나 잘할까?

연구진은 직접 280 개의 질문을 만들어 테스트했습니다.

• 결과: PromCopilot 은 **약 69%**의 확률로 완벽한 코드를 만들어냈습니다.
• 비교: 다른 방법 (단순히 AI 에게 물어보거나, 과거 예시를 보여주는 방법) 보다 훨씬 정확했습니다.
• 사용자 반응: 실제 엔지니어들이 실험에 참여했을 때, 작업 시간이 4 분에서 1 분 40 초로 단축되었습니다. (약 4 배 빨라짐!)

💡 결론

이 논문은 **"복잡한 기술 용어를 몰라도, 평범한 말로 시스템 상태를 물어보고 해결책을 얻을 수 있는 시대"**를 열었습니다.

마치 스마트폰의 음성 비서가 복잡한 설정 메뉴를 직접 찾아가서 건드리지 않아도, "알람을 7 시에 맞춰줘"라고 말하면 알아서 해주는 것과 같습니다. PromCopilot 은 엔지니어들이 복잡한 코드 작성에 시간을 낭비하지 않고, 진짜 중요한 시스템 안정성에 집중할 수 있게 도와주는 혁신적인 도구입니다.

기술 요약

1. 문제 정의 (Problem Statement)

현대 클라우드 네이티브 온라인 서비스 시스템은 마이크로서비스, 컨테이너, 오케스트레이션 (Kubernetes) 등의 기술로 인해 매우 복잡해졌습니다. 이러한 시스템의 안정성과 신뢰성을 보장하기 위해 메트릭 모니터링 (Prometheus 등) 은 필수 인프라로 자리 잡았습니다.

하지만 엔지니어가 방대한 메트릭 데이터를 분석하고 장애를 진단하기 위해 PromQL(Prometheus Query Language) 을 직접 작성하는 과정에는 다음과 같은 심각한 어려움이 존재합니다:

• 높은 학습 비용: PromQL 은 도메인 특화 언어 (DSL) 로, 복잡한 구문과 함수를 숙지해야 합니다.
• 시스템 컨텍스트 이해의 어려움: 올바른 쿼리를 작성하려면 메트릭 이름, 레이블, 그리고 서비스 배포 구조 (Pod, Node, Service 간의 의존성 등) 에 대한 깊은 이해가 필요합니다. 엔지니어는 종종 시스템의 실제 배포 상태를 파악하기 위해 여러 도구를 검색해야 하며, 이는 시간이 많이 소요됩니다.
• 기존 LLM 의 한계: 일반적인 대규모 언어 모델 (LLM) 은 공개된 코퍼스로 학습되었기 때문에 특정 시스템의 비공개 메트릭 이름이나 동적으로 변화하는 컴포넌트 관계 (예: 특정 서비스가 어떤 노드에 배포되었는지) 를 알지 못합니다. 또한, 단순한 Few-shot 학습이나 RAG(검색 증강 생성) 만으로는 시스템 컴포넌트 간의 복잡한 다단계 추론 (Multi-hop reasoning) 을 수행하기 어렵습니다.

2. 제안 방법론: PromCopilot

이 논문은 자연어 질문을 PromQL 쿼리로 변환하는 PromCopilot이라는 프레임워크를 제안합니다. 핵심 아이디어는 지식 그래프 (Knowledge Graph) 와 LLM의 시너지를 통해 시스템의 복잡한 컨텍스트를 이해하고 정확한 쿼리를 생성하는 것입니다.

2.1 시스템 컨텍스트 지식 그래프 구축

• 스키마 설계: Kubernetes 기반의 클라우드 네이티브 아키텍처에 맞춰 Node, Pod, Service, Container, API 등 9 가지 엔티티 유형과 Metric, Label-Value Pair 등 2 가지 메트릭 데이터 엔티티를 정의했습니다.
• 데이터 소스 통합: Prometheus(메트릭 메타데이터), Kubernetes(리소스 메타데이터), Traces(서비스 호출 관계), Documents(서비스 설명) 에서 정보를 추출하여 지식 그래프를 자동 구축합니다.
• 동적 업데이트: 시스템 상태가 변경될 때 그래프를 주기적으로 업데이트하여 최신 상태를 유지합니다.

2.2 쿼리 생성 프로세스 (4 단계)

1. 질문 파싱 (Question Parsing):
   • LLM 을 사용하여 엔지니어의 자연어 질문에서 컴포넌트 관계 경로 (Components Relation Paths) 와 메트릭 - 컴포넌트 쌍 (Metric-Component Pairs) 을 추출합니다.
   • 예: "오더 서비스가 배포된 노드 중 메모리가 가장 많은 노드를 찾아라" → (Service: order_service) -> (Pod: ?) -> (Node: ?) 경로 추출.
2. 시스템 컴포넌트 지식 검색 (System Component Knowledge Retrieval):
   • 추출된 경로를 기반으로 지식 그래프에서 실제 배포 관계를 나타내는 추론 경로 (Reasoning Paths) 를 검색합니다. (예: 특정 서비스의 실제 Pod 와 이를 호스팅하는 Node ID 를 찾음).
3. 메트릭 지식 검색 (Metric Knowledge Retrieval):
   • 질문과 관련된 후보 메트릭을 컴포넌트 유형을 기준으로 검색하고, BM25 알고리즘 등을 통해 관련성 점수를 매겨 상위 후보를 선정합니다.
   • 메트릭의 시맨틱 레이블 (예: HTTP Method) 과 컴포넌트 관련 레이블 (예: Pod ID) 을 분리하여 검색합니다.
4. 쿼리 생성 (Query Generation):
   • 추출된 자연어 질문, 검색된 메트릭 정보, 그리고 시스템 컴포넌트 관계 경로 (추론 경로) 를 모두 프롬프트에 포함시켜 LLM 에게 전달합니다.
   • LLM 은 이 컨텍스트를 바탕으로 정확한 PromQL 쿼리를 생성합니다.

3. 주요 기여 (Key Contributions)

1. PromCopilot 프레임워크: 지식 그래프와 LLM 의 협력 추론을 통해 클라우드 네이티브 시스템의 복잡한 컨텍스트를 반영한 Text-to-PromQL 솔루션을 최초로 제안했습니다.
2. 최초의 벤치마크 데이터셋 구축: Text-to-PromQL 작업을 평가하기 위해 오픈소스 마이크로서비스 시스템 (TrainTicket) 을 기반으로 280 개의 자연어 질문 - PromQL 쿼리 쌍으로 구성된 벤치마크 데이터셋을 수동으로 구축하고 공개했습니다.
3. 실험적 검증: 다양한 LLM(GPT-4-Turbo, DeepSeek-Coder-V2) 을 사용하여 PromCopilot 의 유효성을 입증하고, 기존 Baseline(기본 프롬프트, Few-shot 학습) 대비 우수한 성능을 보였습니다.

4. 실험 결과 (Results)

• 성능 평가 (Query Accuracy):
  • GPT-4-Turbo를 백본으로 사용할 때, PromCopilot 은 69.1% 의 정확도 (QueryAcc) 를 달성했습니다.
  • 이는 기존 Baseline 인 'Basic Prompt(2.6%)'나 'Few-shot Learning(최대 37.4%)'보다 압도적으로 높은 수치입니다.
  • 메트릭 검색 정확도 (MetricAcc) 는 91.3%, 구문 정확도 (SyntaxAcc) 는 96.1% 로 매우 높았습니다.
• 지식 검색 정확도:
  • 메트릭 검색 Recall: 90.3%
  • 추론 경로 검색 Recall: 90.8%
  • 이는 시스템이 필요한 컨텍스트 정보를 매우 정확하게 찾아낸다는 것을 의미합니다.
• 사용자 연구 (Pilot Study):
  • 8 명의 산업계 엔지니어를 대상으로 한 실험에서, PromCopilot 을 사용할 때 쿼리 작성 소요 시간이 약 101 초로, 다른 도구 사용 시(약 382 초) 보다 약 4 배 빠름을 확인했습니다.
  • 엔지니어들은 도구의 유용성과 정확성에 대해 높은 점수 (평균 3.5~3.75/4) 를 부여했습니다.

5. 의의 및 결론 (Significance)

• AIOps 의 새로운 패러다임: 기존에 역사적 로그나 사고 데이터에 의존하던 AIOps 접근법과 달리, 실시간 시스템 컨텍스트를 지식 그래프로 모델링하여 온디맨드 (On-demand) 로 메트릭 쿼리를 생성할 수 있게 했습니다.
• 엔지니어 생산성 향상: 복잡한 PromQL 문법과 시스템 구조를 암기하거나 검색할 필요 없이 자연어로 질문만 하면 되므로, 장애 대응 및 성능 최적화 시간을 획기적으로 단축할 수 있습니다.
• 확장성: 현재는 Prometheus 와 Kubernetes 기반 시스템에 초점을 맞추었지만, 이 프레임워크는 다른 모니터링 플랫폼과 아키텍처로 확장 가능한 잠재력을 가지고 있습니다.

요약하자면, PromCopilot 은 클라우드 네이티브 환경의 복잡성을 해결하기 위해 지식 그래프의 구조적 이해와 LLM 의 언어 생성 능력을 결합한 혁신적인 도구로, 메트릭 모니터링의 진입 장벽을 낮추고 운영 효율성을 극대화합니다.