EvoCause: LLM-Guided Evolution of Causal Graphs for Root Cause Analysis

당신이 거대하고 첨단 기술이 집약된 우주선의 선장이라고 상상해 보십시오. 갑자기 우주선의 컴퓨터가 수천 개의 경보음을 비명을 지르듯 내뱉기 시작합니다. "엔진 과열!", "선체 압력 저하!", "항법 오류!" 이는 혼돈의 폭풍과 같습니다. 당신의 임무, 즉 근본 원인 분석(Root Cause Analysis, RCA)은 이 모든 소동을 일으킨 아주 작고 구체적인 알람이 무엇인지 알아내어, 배가 추락하기 전에 이를 해결하는 것입니다. 현실 세계에서도 통신 네트워크와 클라우드 시스템에서 매일 이런 일이 발생합니다. 한 부분이 고장 나면, 그것이 연쇄적인 오류를 일으키는 도미노 효과를 유발합니다.

이 문제를 해결하기 위해 과학자들은 종-종 이 알람들이 서로 어떻게 트리거되는지 보여주는 '지도'를 그리려고 노력합니다. 마치 실수들의 가계도처럼 말이죠. 그들은 과거의 데이터를 통해 수학적으로 이 지도를 학습합니다. 하지만 문제는 수학이 완벽하지 않다는 점입니다. 때로는 지도에 잘못된 선이 그려지거나 연결이 누락될 수 있습니다. 보통 지도가 틀리면 컴퓨터는 길을 잃게 됩니다. 하지만 만약 당신이 인간 전문가에게 "지난번에는 이것이 근본 원인이라고 하셨는데, 당신의 지도는 그렇지 않다고 하네요"라고 물어보고, 인공지념(AI)을 사용하여 그 피드백을 바탕으로 지도를 수정할 수 있다면 어떨까요? 이것이 바로 이 논문이 다루는 질문입니다. 어떻게 하면 수학이 만든 거친 지도를 인간의 지혜와 강력한 언어 AI를 사용하여 다듬고, 이를 미래의 재난을 해결하기 위한 매우 효과적인 가이드로 만들 수 있을 것인가 하는 점입니다.

---

문제점: 혼돈의 "고장 난 지도"

모든 매듭이 알람인, 거대하고 엉킨 실타래를 상상해 보십시오. 하나의 매듭을 잡아당기면 다른 매듭들도 함께 끌려갑니다. 시스템을 고치려면 가장 먼저 당겨진 매듭을 찾아야 합니다. 과학자들은 역사를 통해 실타래의 패턴을 학습하는 알고리즘을 사용하여 이 문제를 풀려고 시도해 왔습니다. 그들은 이를 "인과 그래프(causal graph)"라고 부르는데, 이는 어떤 알람이 어떤 알람을 유발하는지를 보여주는 지도라는 뜻입니다.

하지만 이러한 수학 기반의 지도들은 종종 엉망입니다. 실제로 서로 대화하지 않는 두 알람 사이에 선을 긋기도 하고, 비밀스러운 지름길을 놓치기도 합니다. 더 심각한 것은, 이러한 지도들은 대개 "고정"되어 있다는 점입니다. 컴퓨터가 지도를 한 번 그리면, 인간 전문가가 과거의 재난을 보고 "아니, 원인은 이것이 아니라 저것이었어!"라고 말하더라도 그대로 유지됩니다. 기존 방식들은 전문가의 목소리를 무시합니다.

해결책: 지도 정교화 도구, EvoCause

이 논문의 저자들은 EvoCause(Evolve Causal Graph)라는 새로운 시스템을 소개합니다. EvoCause를 지도의 초안을 가져와서 작업에 최대한 정확하도록 다시 쓰는 뛰어난 편집자라고 생각하십시오. 이때 특별한 도구로 거대 언어 모델(LLM)을 사용합니다.

그들의 방법론은 다음과 같이 전개됩니다:

1. 초안 작성 (1단계): 먼저, 시스템은 표준 수학 도구를 사용하여 알람들이 서로를 어떻게 트리거하는지에 대한 기본적인 지도를 그립니다. 이 지도는 좋은 시작점이 되지만, 완벽하지는 않습니다.
2. 전문가 검토 (2단계): 이제 마법이 일어납니다. 시스템은 인간 전문가가 이미 "여기가 진짜 근본 원인이다"라고 말했던 과거의 재난 기록들을 살펴봅니다. 그리고 전문가의 답변과 거친 지도가 예측한 내용을 비교합니다.
   • 불일치: 만약 지도는 "알람 A가 충돌을 일으켰다"라고 말하는데, 전문가는 "아니, 알람 B가 범인이야"라고 말한다면, 시스템은 지도가 틀렸음을 인지합니다.
   • LLM의 역할: 시스템은 단순히 지도를 삭제하는 대신, 똑똑한 AI(LLM)에게 수정을 제안하도록 요청합니다. AI는 불일치 지점과 알람의 이름(예: "서버 과부하" 또는 "네트워크 지연")을 살펴보고 이렇게 제안합니다. "아! 아마 B에서 A로 선을 그리거나, A에서 C로 가는 선을 제거해야 할 것 같아."
   • 안전 점검: AI의 제안은 추측에 기반하므로, 엄격한 규칙을 따르는 컴퓨터 프로그램이 이를 검사합니다. 이 프로그램은 새로운 지도가 불가능한 루프(예: A가 B를 유발하고, B가 C를 유발하며, 다시 C가 A를 유발하는 구조)를 만들지 않는지, 그리고 이름이 일치하는지 확인합니다. 제안이 안전하다면 지도가 업데이트됩니다.
3. 최종 지도: 시스템은 다양한 편집을 시도하며 반복적으로 이 과정을 수행하여, 전문가들의 과거 진단과 가장 잘 일치하는 지도를 찾아냅니다. 여기서 중요한 점은, 전문가의 피드백이 단 하나의 "완벽한" 지도를 가리르기보다는 여러 좋은 지도들 중 하나로 범위를 좁혀준다는 것입니다. EvoCause는 그 작업에 가장 적합한 지도를 찾아냅니다.

결과: 더 똑똑한 지도

저자들은 두 가지 방식으로 이 아이디어를 테스트했습니다. 하나는 "정답"을 알고 있는 가짜 데이터(Synthetic data)를 이용한 것이고, 다른 하나는 인도네시아의 거대한 통신 네트워크에서 얻은 실제 데이터입니다.

가짜 데이터 실험:
그들은 알려진 규칙을 가진 10개의 서로 다른 가짜 세계를 만들었습니다. 기본 수학 지도로 시작하여 EvoCause가 이를 정교화하게 했을 때, 결과는 인상적이었습니다. 시스템은 진짜 근본 원인을 찾는 능력이 훨씬 향-상되었습니다.

• 올바른 근본 알람을 찾는 정확도가 11.59 퍼센트 포인트 향상되었습니다.
• 특정 사건에 대한 전체 올바른 근본 원인 세트를 찾는 정확도가 9.40 퍼센트 포인트 향상되었습니다.
• 또한, 지도의 정확도 자체도 높아져서 잘못된 선의 개수가 측정 가능한 수준으로 감소했습니다.

실제 데이터 (TeleRCA):
저자들은 또한 194개의 서로 다른 알람 유형과 5,621개의 리소스에 걸친 485,681개의 알람 이벤트를 포함하는 거대하고 새로운 데이터셋인 TeleRCA를 공개했습니다. 이는 실제 세계의 네트워크 혼돈을 담은 보물 창고와 같습니다.

• EvoCause를 이 실제 데이터에 적용했을 때, 개선 효과는 더욱 컸습니다. 기본 지도로 시작했을 때, 올바른 근본 알람을 찾는 정확도가 65.18%에서 92.58%로 급증했습니다.
• 또한, AI가 알람의 이름(예: "CPU 과열")을 알아야 하는지, 아니면 그냥 숫자만 있어도 되는지 테스트했습니다. 그 결과, 이름을 아는 것이 도움이 된다는 것을 발견했습니다! 이름을 숨기고 익명의 ID만 사용했을 때, 정확도가 6.12 퍼센트 포인트 떨어졌습니다. 이는 AI가 지도를 수정하기 위해 알람 이름의 의미를 사용하여 더 똑똑한 추측을 한다는 것을 시사합니다.

이것이 의미하는 바

이 논문은 우리가 "수학만 사용하는" 지도와 "인간의 직관만 사용하는" 추측 사이에서 하나를 선택할 필요가 없음을 보여줍니다. 이 둘을 결합함으로써 우리는 더 나은 것을 얻을 수 있습니다. LLM은 인간의 피드백을 바탕으로 지도를 어떻게 고칠지 제안하는 창의적인 편집자 역할을 하고, 엄격한 컴퓨터는 지도가 논리적으로 유지되도록 보장합니다.

결정적으로, 지도가 정교해진 후에는 더 이상 AI나 인간 전문가가 필요하지 않습니다. 정교하게 다듬어진 최종 지도를 사용하여 새로운 재난을 즉각적으로 예측할 수 있습니다. 이는 마치 학생에게 과거의 사고 사례를 보여줌으로써 도로 규칙을 가르치는 것과 같습니다. 일단 규칙을 배우고 나면, 옆자리에 선생님이 앉아 있지 않아도 스스로 안전하게 운전할 수 있게 됩니다.

저자들은 자신들이 모든 것을 "해결"했다고 말하는 것이 아님을 명시했습니다. 전문가의 피드백이 보통 가능성을 몇 가지 좋은 지도로 좁혀주기는 하지만, 항상 단 하나의 "완벽한" 지점을 가리키는 것은 아니라는 점을 밝혔습니다. 그러나 그들의 방법은 네트워크를 복구하는 작업에 매우 효과적으로 작동하는 지도를 찾아내며, 이는 연결된 세상을 원활하게 유지하기 위한 강력한 새로운 도구가 됩니다.