LLM-Augmented Knowledge Base Construction For Root Cause Analysis

이 논문은 통신 네트워크 장애 시 신속한 근본 원인 분석 (RCA) 을 지원하기 위해 지원 티켓으로부터 지식 베이스를 구축하는 세 가지 LLM 방법론 (파인튜닝, RAG, 하이브리드) 을 비교 평가하여, 생성된 지식 베이스가 RCA 작업 가속화와 네트워크 복원력 향상에 효과적임을 입증했습니다.

핵심

이 논문은 **"통신 네트워크가 고장 났을 때, 그 원인을 아주 빠르게 찾아내는 비법서 (지식 베이스) 를 인공지능 (LLM) 으로 자동으로 만드는 방법"**에 대한 연구입니다.

기존에는 네트워크가 멈추면 전문가들이 두꺼운 로그와 수천 개의 지원 티켓을 직접 뒤져서 원인을 찾느라 시간이 많이 걸렸습니다. 이 연구는 그 과정을 AI 가 대신하게 하고, 그 결과물을 정리해서 **"다음에 같은 문제가 생겼을 때 즉시 해결할 수 있는 매뉴얼"**을 만들어내자는 아이디어입니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🏥 비유: "초고수 의사의 진료 기록을 AI 가 정리하는 이야기"

상상해 보세요. 거대한 병원 (통신 네트워크) 이 있습니다. 매일 수많은 환자들이 다양한 증상으로 찾아옵니다.

• "머리가 아파요."
• "배가 아파요."
• "갑자기 열이 나요."

과거에는 **수석 의사 (전문가)**들이 수천 장의 진료 기록을 직접 뒤져서 "아, 이 환자는 A 병원에서 B 약을 먹었을 때 이런 증상이 나왔었지. 원인은 C 였고, 치료법은 D 였어"라고 기억하며 진단을 내렸습니다. 하지만 환자가 너무 많고 기록이 복잡하면, 의사가 피곤해서 실수를 하거나 진단이 늦어질 수 있습니다.

이 연구는 **"수석 의사의 경험 (지원 티켓) 을 AI 가 학습해서, 새로운 환자가 오면 즉시 '원인과 해결책'을 알려주는 자동화 시스템"**을 만들었습니다.

🔍 연구의 핵심: 세 가지 방법의 대결

저자들은 AI(대형 언어 모델, LLM) 에게 이 일을 시키기 위해 세 가지 다른 방법을 시도했습니다.

1. 미세 조정 (Fine-Tuning): "전문가 교육"

• 비유: AI 를 한 명 뽑아서, 과거의 모든 진료 기록 (지원 티켓) 을 독하게 가르치는 것입니다.
• 장점: AI 가 네트워크 용어와 회사의 고유한 표현을 아주 잘 익힙니다. 마치 그 회사의 문화와 말투를 완벽하게 이해한 신입 사원처럼 됩니다.
• 단점: 배운 것만 기억합니다. 만약 과거에 본 적 없는 아주 희귀한 병이 나오면, AI 는 "모르겠다"거나 엉뚱한 답을 지어낼 (할루시네이션) 수 있습니다.

2. 검색 증강 생성 (RAG): "참고서 검색"

• 비유: AI 가 진료할 때마다, 옆에 있는 거대한 **참고서 (과거 기록 데이터베이스)**를 실시간으로 검색하게 하는 것입니다.
• 장점: 새로운 증상이 나오면 즉시 비슷한 과거 사례를 찾아서 정확한 답을 줍니다.
• 단점: 검색하는 데 시간이 걸리고, AI 자체가 그 회사의 특수한 말투를 잘 모를 수 있습니다.

3. 하이브리드 방식 (Hybrid): "최고의 조합"

• 비유: 전문가 교육을 받은 AI에게, 진료 중이 whenever 참고서 검색을 하도록 시킨 것입니다.
• 결과: 이 방식이 가장 훌륭했습니다.
  • AI 는 회사의 말투를 알고 있어서 (교육 효과),
  • 동시에 최신의 정확한 사례를 찾아서 (검색 효과)
  • 가장 정확하고 신뢰할 수 있는 진단서를 작성했습니다.

📊 연구 결과: 왜 이것이 중요한가요?

1. 자동화된 '비법서' 생성: AI 가 수천 개의 복잡한 진료 기록을 읽어서, **"증상 A 가 나타나면 원인 B 일 확률이 높고, 해결책은 C 입니다"**라는 규칙 (Association Rules) 을 자동으로 만들어냈습니다.
2. 유사한 문제 묶기: 비슷한 증상들이 100 개 있어도, AI 가 "이건 다 같은 문제야"라고 묶어서 1 개의 명확한 해결책으로 정리해 줍니다. (예: 5 개의 비슷한 고장 기록을 1 개의 해결 규칙으로 압축)
3. 보안과 프라이버시: 중요한 고객 데이터는 외부로 나가지 않고, 회사 내부에서 AI 를 돌려서 처리하므로 보안이 안전합니다.

💡 결론

이 연구는 **"인공지능이 과거의 실패와 성공 경험을 학습하고, 필요할 때 참고서까지 찾아보게 함으로써, 네트워크 고장이라는 복잡한 문제를 해결하는 자동화 시스템을 만들었다"**는 것을 보여줍니다.

앞으로 통신 회사가 고장 나더라도, 사람이 두들겨서 찾지 않아도 AI 가 **"아, 이건 저번에 CARD-S1 카드가 고장 났을 때와 똑같은 증상이네. 카드만 교체하면 돼!"**라고 바로 알려주어, 인터넷이 끊기는 시간을 획기적으로 줄여줄 수 있게 된 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem Statement)

• 배경: 통신 네트워크는 디지털 사회의 핵심 인프라이나, 복잡성 증가로 인해 '5 개 9(99.999%)'의 신뢰성을 유지하기 어렵습니다. 장애 발생 시 신속하고 정확한 **근본 원인 분석 (Root Cause Analysis, RCA)**이 필수적입니다.
• 기존 문제:
  • 전통적인 RCA 는 수동 분석에 의존하여 시간이 많이 소요되고 인간 오류의 위험이 큽니다.
  • 기존 AI/ML 기반 방법론은 구조화된 데이터에는 강점이 있으나, 지원 티켓 (Support Tickets) 에 포함된 비정형 텍스트, 전문 용어, 맥락적 뉘앙스를 이해하는 데 한계가 있습니다.
  • 기존 LLM 기반 접근법은 외부 지식 없이 파인튜닝만 할 경우 도메인 특화 지식이 부족하거나, RAG(검색 증강 생성) 만 사용할 경우 보안 및 프라이버시 우려가 있습니다.
• 목표: 통신 네트워크의 지원 티켓 데이터를 활용하여 **자동화된 RCA 지식베이스 (Association Rules 형태)**를 구축하고, 이를 통해 장애 진단 속도와 정확도를 높이는 프레임워크를 제안하는 것입니다.

2. 제안된 방법론: TelcoInsight

저자들은 TelcoInsight라는 프레임워크를 제안하며, LLM 을 활용하여 지식베이스를 구축하는 세 가지 접근 방식을 비교 평가했습니다.

A. 데이터 전처리 및 프롬프트 설계

• 토큰화 및 청킹 (Chunking): LLM 의 컨텍스트 윈도우 제한 (예: 4,096 토큰) 을 고려하여 긴 지원 티켓 텍스트를 적절한 크기로 분할하는 알고리즘을 개발했습니다.
• 프롬프트 엔지니어링:
  1. 이상 탐지 프롬프트: 네트워크 이상 현상과 증상을 추출.
  2. 근본 원인 및 해결책 추출 프롬프트: 제품별 근본 원인과 해결 방안을 추출.
  3. 결합 프롬프트: 추출된 정보를 바탕으로 연관 규칙 (Association Rules) 을 생성.

B. 세 가지 주요 접근 방식

1. 파인튜닝 (Fine-Tuning):

   • 사전 훈련된 LLM (LLaMA3, Gemma 등) 을 특정 도메인 (통신 네트워크 지원 티켓) 데이터로 파인튜닝합니다.
   • **LoRA (Low-Rank Adaptation)**와 양자화 (Quantization) 기술을 사용하여 계산 비용을 절감하면서도 도메인 전문 용어와 약어 (예: QoS) 를 효과적으로 학습시킵니다.
   • 생성된 모델 (D-LLM) 은 티켓 데이터를 기반으로 근본 원인과 해결책을 추론합니다.

2. 검색 증강 생성 (RAG, Retrieval-Augmented Generation):

   • 외부 지식베이스 (과거 해결된 티켓, 기술 문서) 를 벡터 데이터베이스에 저장합니다.
   • 새로운 이상 현상이 발생하면 유사한 과거 사례를 검색하여 LLM 의 입력에 포함시킵니다.
   • 이는 LLM 이 최신 도메인 지식과 맥락을 참조하여 더 정확한 분석을 하도록 돕습니다.

3. 하이브리드 접근법 (Hybrid Approach):

   • 파인튜닝된 D-LLM과 RAG를 결합합니다.
   • 파인튜닝을 통해 도메인 언어와 패턴을 학습시키고, RAG 를 통해 실시간으로 관련 역사적 증거 (과거 티켓) 를 검색하여 참조합니다.
   • 이 방식은 파인튜닝만의 일반화 한계와 RAG 만의 맥락 부재를 동시에 보완합니다.

C. 평가 지표

• 어휘적 유사성: Cosine Similarity, BLEU, METEOR, ROUGE 점수.
• 의미적 유사성: BERT Score.
• 데이터: 실제 통신사로부터 수집된 1,049 개의 해결된 지원 티켓 (13 가지 네트워크 이슈 클래스 포함).

3. 주요 기여 (Key Contributions)

1. TelcoInsight 프레임워크 제안: LLM 을 활용하여 지원 티켓 데이터로부터 RCA 지식베이스를 자동 구축하는 새로운 프레임워크 개발.
2. 도메인 특화 LLM 최적화: 통신 네트워크의 뉘앙스를 이해하기 위한 작업별 프롬프트 설계, 도메인 데이터 기반 파인튜닝, 그리고 워크플로우 통합 방법론 제시.
3. 비교 분석: 파인튜닝, RAG, 하이브리드 방식의 세 가지 접근법을 체계적으로 비교 분석.
4. 실제 데이터 검증: 실제 산업용 데이터셋을 통해 하이브리드 방식이 가장 정확하고 맥락에 적합한 RCA 규칙을 생성함을 입증.

4. 실험 결과 및 발견 (Results & Findings)

• 하이브리드 방식의 우월성:
  • 모든 LLM 모델 (Gemma, LLaMA3, Mistral, Phi-3, Falcon) 에서 하이브리드 방식이 가장 높은 성능을 보였습니다.
  • 특히 **BERT Score(의미적 유사성)**에서 파인튜닝 단독이나 RAG 단독보다 월등히 높은 점수를 기록했습니다 (예: Mistral 기준 0.933).
  • 파인튜닝만 사용한 경우 외부 지식 부재로 인해 '할루시네이션 (허위 정보 생성)'이 발생하거나 희귀한 이상 현상에 대한 대응이 부족했습니다.
• 프롬프트의 중요성: 프롬프트를 사용하지 않은 경우보다 프롬프트를 적용했을 때 모든 지표 (Cosine, BLEU, ROUGE 등) 에서 성능이 크게 향상되었습니다. 이는 LLM 이 작업의 핵심 요소와 도메인 용어에 집중하도록 유도하기 때문입니다.
• 규칙 압축 (Rule Compression): 하이브리드 방식에서 유사도 임계값 (Similarity Threshold) 을 적용하여 유사한 이상 현상을 클러스터링할 수 있었습니다.
  • 예: 70% 유사도 임계값 적용 시 규칙 수를 11.34% 감소시키면서도 핵심 정보를 유지할 수 있었습니다.
• 희귀 클래스의 한계: 데이터가 적은 희귀한 이상 현상 유형 (예: Type 10, 11, 12) 에서는 성능이 다소 저하되었으며, 이는 전문 용어의 부족과 관련이 있었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용적 가치: TelcoInsight 는 비정형 텍스트 (지원 티켓) 에서 구조화된 지식베이스 (연관 규칙) 를 추출하여 네트워크 운영팀의 진단 시간을 단축하고 서비스 보장 (Service Assurance) 을 강화합니다.
• 보안 및 프라이버시: LLM 을 로컬 (On-premise) 에 배포하고 민감한 고객 데이터를 외부로 노출하지 않으면서도 높은 성능을 낼 수 있음을 강조했습니다.
• 향후 과제:
  • 희귀한 이상 현상 클래스에 대한 데이터 불균형 문제를 해결하기 위해 데이터 증강 (Synthetic Data) 및 전문가 개입 (Human-in-the-loop) 메커니즘 도입 계획.
  • 더 다양한 산업 도메인으로의 확장 및 대규모 데이터셋을 통한 일반성 검증.

요약하자면, 이 논문은 통신 네트워크의 복잡한 장애 분석을 위해 LLM 의 파인튜닝과 RAG 를 결합한 하이브리드 접근법이 가장 효과적임을 실증적으로 증명하고, 이를 통해 자동화된 지식베이스 구축을 가능하게 하는 TelcoInsight 프레임워크를 제시했습니다.