기술 요약: GraphMind

문제 정의

인시던트 관리와 같은 작업에 인력, 도구, 정보를 조정하는 기업 환경의 복잡한 운영 워크플로는 엔드투엔드로 자동화하기 어렵습니다. 현재 솔루션은 다음과 같은 네 가지 주요 한계에 직면해 있습니다:

1. 높은 제작 비용: 지식 산물 (플레이북) 을 수동으로 생성하려면 깊은 도메인 전문성이 필요합니다.
2. 유지보수 부담: 정적 산물은 생산 시스템이 진화함에 따라 구식이 됩니다.
3. 검색 비효율성: 비구조화되거나 평면적인 검색 방법은 과도한 컨텍스트 토큰을 소모하며 인과 관계를 포착하지 못합니다.
4. 적응성 부재: 기존 시스템은 엣지 케이스나 변화하는 운영 조건을 처리하기 위해 실행 피드백으로부터 학습할 수 없습니다.

대규모 언어 모델 (LLM) 에이전트가 자동화에 대한 관심을 불러일으켰지만, 순전히 프롬프트 기반 접근 방식은 여전히 취약합니다. 반면, 운영 흔적 (전문가 해결의 역사적 기록) 은 풍부하지만 구조화되고 재사용 가능한 지식으로서 충분히 활용되지 않고 있습니다.

방법론

GraphMind 는 인간의 노력 없이 액션 중심 워크플로우 그래프를 구성, 실행 및 진화시키는 엔드투엔드 시스템입니다. 이는 개미 군집 최적화 (ACO) 에서 영감을 받아 세 가지 핵심 기둥을 통해 작동합니다:

1. 오프라인 그래프 구성 (웜 스타트)

이 단계는 원시 운영 흔적을 구조화되고 쿼리 가능한 워크플로우 그래프로 변환합니다.

• 스키마: 시스템은 세 가지 엔티티 유형 (도메인, 문제, 액션) 과 네 가지 엣지 관계 (CAUSES, RESOLVES, LEADS_TO, BELONGS_TO) 를 가진 타입 지정 그래프를 정의합니다.
• 추출 파이프라인: 다중 에이전트 파이프라인이 이기종 소스 (이슈 트래커, 해결 흔적) 를 처리합니다. LLM 을 사용하여 문제, 액션 및 인과 순서를 추출한 후 불필요한 노드를 제거합니다.
• 증분 구성: 지속적인 데이터 증가를 처리하기 위해 시스템은 디클러스터링 및 병합 전략을 사용합니다. 새로운 흔적이 기존 데이터와 병합되며, 경량 임베딩 기반의 응집형 클러스터링 프로세스가 노드를 중복 제거 (의미론적으로 유사한 문제/액션 그룹화) 하여 전체 재구성 없이 깔끔한 그래프를 유지합니다.
• 효율성: 이 접근 방식은 온라인 검색을 바운드된 그래프 탐색으로 줄여, 원시 로그 처리나 완전히 해결된 엔티티 중심 지식 그래프의 높은 비용을 피합니다.

2. 온라인 다중 에이전트 그래프 탐색

온라인 엔진은 워크플로우를 동적으로 구성하고 실행하기 위해 그래프를 탐색합니다.

• 오케스트레이션: 조정 에이전트, 실행 에이전트 등의 에이전트 팀이 중첩된 제어 흐름에서 작동합니다. 외부 루프는 글로벌 조사 컨텍스트를 관리하고, 내부 루프는 반복적인 그래프 탐색을 수행합니다.
• 탐색 알고리즘:
  • 그래프 로더: 각 단계에서 LLM 이 관련 노드 유형과 쿼리를 결정합니다. 벡터 유사도를 통해 상위-k 개의 루트 노드를 검색하고 m-홉 이웃을 확장합니다. 중요한 점은 엣지 확장이 확률적이며, 로그 압축 강화 가중치 ($\log(1 + \phi(e))$) 에 편향되어 역사적으로 성공적인 경로를 선호하면서도 탐색을 허용한다는 것입니다.
  • 액션 플래너: LLM 은 조사 컨텍스트, 추출된 서브그래프 (강화 가중치가 표시된 Mermaid 다이어그램으로 시각화됨) 및 시스템 지시를 조건으로 하여 후보 액션을 선택합니다.
  • 실행: 전문 에이전트가 진단 액션 (예: KQL 쿼리) 을 실행하거나 완화 권장 사항을 제시합니다.
• 안전성: 고영향 완화 조치는 인간의 승인을 위해 권장되는 반면, 진단 쿼리는 자율적으로 실행됩니다.

3. 적응형 탐색 강화 (ATR)

이 폐쇄 루프 메커니즘은 그래프가 실행 결과에 기반하여 스스로 최적화할 수 있게 합니다.

• 강화 침적: 탐색 후 유용성, 근거 기반성 및 사용자 피드백에 따라 솔루션 품질 점수 ($Q$) 가 계산됩니다. $Q$가 임계값을 초과하면 탐색된 노드와 엣지에 강화가 침적됩니다. 더 짧은 성공적인 경로는 더 강력한 요소별 강화를 받습니다.
• 시간적 감쇠: 구식화 방지와 새로운 실패 모드에 대한 적응을 장려하기 위해 모든 가중치는 시간이 지남에 따라 감쇠합니다 ($\phi(x) \leftarrow (1-\rho)\phi(x)$).
• 엣지 합성: 시스템은 성공적인 탐색이 이전에 연결되지 않았던 노드를 연속적으로 방문할 때 새로운 LEADS_TO 엣지를 합성하여 새로운 인시던트 간 시퀀스를 포착할 수 있습니다.
• 결과: 시간이 지남에 따라 그래프는 스스로 조직화됩니다: 성공적인 경로는 미래 에이전트를 안내하는 "고속도로"가 되고, 비효율적인 경로는 사라집니다.

주요 기여

1. 최초의 폐쇄 루프 시스템: GraphMind 는 수동 제작이 제로인 운영 흔적에서 액션 중심 워크플로우 그래프를 자동으로 구성, 실행 및 진화시키는 최초의 시스템으로 제시됩니다.
2. 새로운 지식 형식: 공유 노드를 통한 저장 효율성, 에이전트 친화적 탐색, 지속적인 자기 진화를 제공하는 그래프 기반 형식을 도입하여 플레이북, 에이전트 기술 및 평면적 Trace-RAG 의 한계를 해결합니다.
3. 적응형 탐색 강화 (ATR): 명시적 지식 공학 없이 실행 피드백에서 학습하여 성공적인 경로를 강화하고 구식 요소를 감쇠시키는 ACO 에서 영감을 받은 메커니즘입니다.
4. 프로덕션 배포: 이 시스템은 마이크로소프트의 네 가지 프로덕션 클라우드 데이터베이스 서비스에서 인시던트 조사를 위해 배포되었습니다.

결과

시스템은 오프라인 추출, 제어된 온라인 탐색 및 35 일 현장 연구를 포함한 프로덕션 데이터에서 평가되었습니다.

• 오프라인 추출: 파이프라인은 노드 추출에서 0.89의 F1 점수와 엣지 추출에서 0.92의 F1 점수를 달성했습니다. 비용은 인시던트당 약 $0.22였습니다.
• 온라인 탐색 (Trace-RAG 대비): 인시던트의 LLM 요약본을 검색하는 Trace-RAG 기준과 비교하여 GraphMind 는 다음을 입증했습니다:
  • 완화 도달률: 98.5% 대 90.9%.
  • 근거 기반성: 96.2% 대 77.3%.
  • 유용성: 3.49/5 대 3.32/5.
  • KQL 처리량: 인시던트당 성공적인 쿼리 수 (10.0 대 2.5) 로 4 배 더 높음.
  • 전문가 검토: 도메인 전문가의 블라인드 검토에서 GraphMind 는 4.95/5(94.7% 완벽) 를 받았으며, Trace-RAG 는 3.68 점이었습니다.
• ATR 의 영향: 163 건의 인시던트에 대해 강화 유무로 실행을 비교한 결과, ATR 은 근거 기반성을 2.7 퍼센트 포인트 (92.2% 대 89.5%) 향상시키고 KQL 처리량을 14% (17.2 대 15.1) 증가시켰습니다.
• 현장 연구: 네 가지 서비스 (88 건의 대화) 에 걸친 35 일 연구에서 GraphMind 는 다음을 달성했습니다:
  • 실행 가능한 출력: 대화의 97% 가 실행 가능한 결과를 생성했습니다.
  • 지연 시간: 라운드당 중앙값 지연 시간은 7.7 초였습니다.
  • 쿼리 성공: 생성된 KQL 쿼리의 84% 가 데이터를 반환했습니다.
  • 실패 모드: 실패는 주로 시스템 설계 결함이 아닌 커버리지 격차 (새로운 서비스) 및 원격 측정 만료로 귀결되었습니다.

중요성 및 주장

이 논문은 GraphMind 가 대규모 자율 에이전트 실행에서 워크플로우 그래프가 학습하고 개선할 수 있음을 입증한다고 주장합니다. 정적 지식 산물에서 강화 및 감쇠를 통해 스스로 조직화되는 "살아있는" 인프라로 전환함으로써, 이 시스템은 현재 LLM 에이전트의 취약성과 수동 플레이북의 유지보수 부담을 해결합니다.

저자들은 이 시스템이 다음과 같이 독특하게 결합한다고 강조합니다:

• 공유 그래프 노드를 통한 저장 효율성.
• 그래프 유도 검색을 통한 에이전트 친화적 탐색.
• 제작 또는 유지보수에서의 제로 인간 노력.
• 운영 흔적과 함께 성장하는 확장 가능한 커버리지.
• ATR 계층을 통한 지속적인 자기 진화.

이 연구는 이러한 군집에서 영감을 받은 패러다임이 인시던트 관리 외에도 소프트웨어 디버깅 및 임상 의사 결정 지원과 같은 다른 운영 도메인으로 일반화될 잠재력을 가지고 있음을 시사하지만, 현재 평가는 클라우드 데이터베이스 인시던트 관리에 국한되어 있습니다.