Collaborative AI Agents and Critics for Fault Detection and Cause Analysis in Network Telemetry

1. 문제 정의 (Problem Definition)

• 배경: 대규모 언어 모델 (LLM) 및 멀티모달 기반 모델 (Foundation Models) 의 발전으로 인해 다양한 작업 (텍스트, 이미지, 비디오, 센서 데이터 등) 을 수행할 수 있는 AI 에이전트 시스템이 등장하고 있습니다. 그러나 이러한 모델들은 종종 환각 (hallucination) 현상을 보이거나, 단일 모델로 모든 모달리티를 처리하는 것이 복잡하고 비효율적일 수 있습니다.
• 핵심 문제:
  1. 다중 에이전트 시스템의 최적 제어: 여러 AI 에이전트와 크리틱 (비평가) 이 협력하여 멀티모달 작업을 수행할 때, 시스템 전체의 비용을 최소화하면서 각 에이전트와 크리틱의 활성화 상태 (active states) 를 어떻게 조절할 것인가?
  2. 개인정보 보호 및 분산 최적화: 에이전트와 크리틱은 각각의 비용 함수 (cost function) 와 그 미분값을 비공개로 유지해야 하며, 에이전트 간 또는 크리틱 간 직접적인 통신 없이 중앙 서버를 통해 협력해야 합니다.
  3. 네트워크 테lemetry 의 실시간 결함 탐지: 네트워크 트래픽 데이터에서 결함 (Fault) 을 탐지하고, 그 심각도 (Severity) 와 원인 (Cause) 을 분석하는 과정에서 기존 기계학습 모델과 생성형 AI 의 성능을 비교하고 최적의 아키텍처를 찾는 것입니다.

2. 방법론 (Methodology)

이 논문은 페더레이션된 다중 에이전트 시스템 (Federated Multi-Agent System) 을 기반으로 한 확률적 반복 알고리즘을 제안합니다.

• 시스템 아키텍처:
  • AI 에이전트 (Agents): 클래식 머신러닝 (예: XGBoost) 이나 생성형 AI 기반 모델 (LLM, LVM 등) 을 사용하여 작업을 수행합니다.
  • AI 크리틱 (Critics): 에이전트의 응답을 평가하고 피드백 (점수 및 코멘트) 을 제공합니다.
  • 중앙 서버 (Central Server): 각 모달리티 (작업 유형) 에 필요한 에이전트와 크리틱의 '용량 (Capacity, $N_j, M_j$)'을 알고 있으며, 활성화된 참여자 수를 추적하여 피드백 신호를 브로드캐스트합니다.
• 협력 메커니즘:
  • 에이전트는 사용자의 쿼리에 응답을 생성하고 크리틱에게 전송합니다.
  • 크리틱은 응답을 평가하여 점수와 피드백을 반환합니다.
  • 에이전트는 피드백을 기반으로 응답을 수정하거나 (점수가 임계값 미만인 경우), 최종 응답으로 제출합니다.
  • 비용 함수: 에이전트와 크리틱은 각각의 비용 함수를 가지며, 이는 시간 평균 활성화 상태에 따라 결합됩니다. 이들은 서로의 비용 함수를 알지 못하지만, 중앙 서버의 피드백 신호를 통해 협력하여 전체 시스템 비용을 최소화합니다.
• 알고리즘적 접근:
  • 다중 시간 척도 확률 근사 (Multi-time scale Stochastic Approximation): 빠른 시간 척도 (에이전트의 상태 업데이트) 와 느린 시간 척도 (중앙 서버의 피드백 신호 업데이트) 를 사용하여 수렴을 보장합니다.
  • 확률적 참여: 각 에이전트와 크리틱은 비용 함수의 미분값과 중앙 서버의 피드백 신호를 기반으로 특정 시간 단계에서 작업에 참여할 확률 ($\sigma$) 을 계산하고, 베르누이 시행을 통해 활성화 여부를 결정합니다.
  • 수렴 보장: 에이전트와 크리틱의 시간 평균 활성화 상태가 최적 값으로 수렴함을 수학적으로 증명했습니다.

3. 주요 기여 (Key Contributions)

1. 협력적 제어 알고리즘 개발: 페더레이션된 다중 에이전트 시스템에서 클래식 머신러닝과 생성형 AI 기반 모델을 활용하여 멀티모달 작업을 수행하는 확률적 반복 알고리즘을 개발했습니다.
2. 수렴성 보장 및 통신 효율성: 다중 시간 척도 확률 근사 기법을 사용하여 에이전트와 크리틱의 시간 평균 활성화 상태가 최적 해로 수렴함을 증명했습니다. 또한, 통신 오버헤드는 모달리티 수 ($m$) 에만 의존하고 ($O(m)$), 에이전트/크리틱의 총 수에는 독립적이어서 확장성이 뛰어납니다.
3. 실제 적용 사례 (네트워크 테lemetry): 네트워크 테lemetry 데이터셋을 활용한 결함 탐지, 심각도 분석, 원인 분석 사례를 제시했습니다.
   • 결함 탐지: XGBoost 기반 에이전트가 LLM 기반 에이전트보다 더 높은 정확도와 속도를 보였습니다.
   • 심각도 및 원인 분석: LLM 기반 에이전트와 크리틱을 사용하여 결함의 심각도 (Critical/Non-critical) 를 분류하고 자연어로 원인을 설명하는 능력을 검증했습니다.

4. 실험 결과 (Experimental Results)

• 데이터셋: 오픈 소스 네트워크 테lemetry 데이터셋 (Dataset 4) 사용. 포트 상태 변경 (광 트랜시버, 관리자 상태, 링크 상태 등) 에 대한 CSV 및 로그 파일 포함.
• 결함 탐지 성능 비교:
  • XGBoost 기반 에이전트: 정확도 96.44%, F1-Score 0.9656, 처리 속도 빠름.
  • LLM 기반 에이전트 (RAG 포함): 정확도 58.82%, F1-Score 0.6957.
  • LLM 기반 에이전트 (RAG 없음): 정확도 46.12%, F1-Score 0.5016.
  • 결론: 구조화된 표 데이터의 결함 탐지에는 XGBoost 와 같은 클래식 머신러닝이 LLM 보다 훨씬 효율적이고 정확함.
• 심각도 및 원인 분석:
  • Llama3.2, DeepSeek-R1, Mistral, Granite3.2, Phi4, Llava:7b 등 다양한 오픈 소스 LLM 을 테스트했습니다.
  • 결과: 모델마다 'Critical'로 분류하는 비율이 상이했습니다 (예: Llama3.2 는 25.8% 를 Critical 로 분류, Granite3.2 는 8.7%).
  • 크리틱 (LLM 기반) 은 에이전트의 응답을 평가하고 수정하여 더 정확한 원인 분석을 도출했습니다.
• 수렴성 검증:
  • 제안된 알고리즘에 의해 계산된 총 비용과 CVX 솔버로 구한 중앙 집중식 최적 비용의 비율이 1 에 수렴하는 것을 확인했습니다.
  • 피드백 신호 ($\Theta$) 와 시간 평균 활성화 상태가 안정적으로 수렴함을 그래프로 입증했습니다.

5. 의의 및 결론 (Significance and Conclusion)

• 하이브리드 접근법의 타당성: 복잡한 네트워크 결함 탐지에는 빠른 속도와 높은 정확도를 가진 클래식 머신러닝 (XGBoost) 을 사용하고, 정교한 해석 (심각도 분류, 원인 요약) 이 필요한 단계에는 생성형 AI (LLM) 를 활용하는 하이브리드 방식이 가장 효과적임을 입증했습니다.
• 확장 가능한 분산 시스템: 에이전트와 크리틱의 수에 관계없이 통신 오버헤드가 일정하게 유지되는 알고리즘은 대규모 분산 AI 시스템 설계에 중요한 통찰을 제공합니다.
• 실시간 적용 가능성: 제안된 프레임워크는 실시간 네트워크 모니터링, 스마트 에너지 시스템, 산업용 결함 탐지 등 다양한 분야에 적용 가능하며, 실제 네트워크 장비에서의 실시간 구현이 향후 과제로 제시되었습니다.

이 논문은 AI 에이전트와 크리틱의 협력적 제어를 통해 멀티모달 작업을 최적화하는 이론적 기반을 마련하고, 이를 실제 네트워크 관리 문제에 적용하여 그 유효성을 검증한 의미 있는 연구입니다.