기술 요약: SADE – LLM 기반 네트워크 문제 해결을 위한 증상 인식 진단 에스컬레이션

1. 문제 정의

현대 컴퓨터 네트워크는 운영자 또는 자동화 오류로 인해 종종 발생하며, 진단 비용이 높고 시간이 오래 걸리는 장애에 직면해 있습니다. 대규모 언어 모델 (LLM) 은 의도 변환 및 구성 생성과 같은 네트워크 작업에 적용되어 왔지만, 실시간으로 저하된 네트워크에서의 능동적 장애 진단에 대한 적용은 여전히 제한적입니다. 기존 LLM 기반 에이전트들은 종종 증거 수집과 가설 확정을 혼동하는 자유 형식의 숙고에 의존합니다. 그 결과, NIKA 와 같은 공개 벤치마크에서 근본 원인을 국소화하는 데 어려움을 겪으며, 실제 배포 임계값보다 훨씬 낮은 성능을 보입니다. 핵심 과제는 단순히 의도에서 구성을 생성하는 것이 아니라, 시간 및 쿼리 제약 하에 다층적이고 연쇄적인 증상을 탐색하며 증거를 능동적으로 수집하고, 가설을 수정하며, 근본 원인을 식별하는 것입니다.

2. 방법론: SADE 프레임워크

저자들은 **SADE(Symptom-Aware Diagnostic Escalation, 증상 인식 진단 에스컬레이션)**를 제안합니다. 이는 고전적인 시스코 (Cisco) 문제 해결 방법론을 명시적이고 다단계 정책으로 인코딩한 LLM 기반 에이전트 프레임워크입니다. SADE 는 일반적인 진단 방법론을 장애별 전문 지식과 분리하여, 증상에서 근본 원인으로 이동하는 규율 있는 워크플로우를 강제합니다.

이 프레임워크는 네 가지 주요 단계를 통해 작동합니다:

1. 초기 스캔: 에이전트는 get_reachability()를 실행하여 기본적인 모든 쌍 (all-pairs) 핑 스캔을 수행합니다. 이는 패킷 손실, 타임아웃, 연결 거부와 같은 관찰 가능한 증상을 식별합니다. DNS 오류 (경로 장애를 모방할 수 있음) 로 인한 모호성을 해결하기 위해 SADE 는 직접 IP 프로브를 수행하여 해결사 문제를 실제 네트워크 경로 장애와 구분합니다.
2. 심층 네트워크 스캔: 초기 스캔에서 명확한 증상이 나오지 않으면, SADE 는 시스코 방법론에 따라 하향식 (bottom-up) 체계적 스캔을 수행합니다. 이 단계는 4 개의 순차적 하위 단계를 통해 레이어 2 에서 애플리케이션 레이어까지 네트워크를 검사합니다:
   • 인프라/L2: 방화벽 드롭, 누락된 IP/라우트, ARP 불일치, 중복 MAC 주소를 확인합니다.
   • 제어 플레인/라우팅: OSPF 및 BGP 상태, 이웃 인접성, 수렴을 스캔합니다.
   • 호스트 로컬: 커널 경로, DHCP 이벤트, 링크 플랩을 분석합니다.
   • 서비스/리소스: DNS, HTTP 타이밍, CPU/소켓 스파이크, 데몬 존재 여부를 검사합니다.
   • 구현: 이 단계는 구조화된 증거를 수집하기 위해 infra_sweep.py, ospf_snapshot.py와 같은 파이썬 헬퍼 스크립트 라이브러리를 활용합니다.
3. 증상 - 장애 패밀리 매핑: 감지된 증상은 **Fault-Index(장애 인덱스)**를 사용하여 고수준 장애 카테고리 (장애 패밀리) 로 매핑됩니다. 이 인덱스는 규칙 세트와 논리적 추론을 사용하여 여러 레이어에서 발생할 수 있는 증상을 모호하게 구분합니다 (예: 링크 장애와 라우팅 제어 플레인 장애 구분). 이 단계는 라이브러리에서 적절한 진단 기술을 선택합니다.
4. 장애 감지 및 국소화: 에이전트는 15 개의 전문 "Claude Skills"(선언적 SKILL.md 문서) 을 포함하는 **Skill Bank(기술 은행)**를 호출합니다. 각 기술은 고전적인 실패 모드, 선도 신호, 특정 프로브 (예: nft list ruleset, show ip ospf neighbor), 그리고 가드레일을 정의합니다. 에이전트는 후보 장치에서 이러한 프로브를 실행하고, 증거를 기술의 "지문"과 매칭하여 특정 결함 장치와 고전적 장애 라벨을 식별합니다.

SADE 는 Model Context Protocol(MCP) 을 통해 NIKA 벤치마크 (Kathará 네트워크 에뮬레이터 기반) 와 상호작용하며, 사고당 엄격한 20 턴 예산을 준수합니다.

3. 주요 기여

• SADE 프레임워크: 산업 표준 방법론에 기반한 다단계 문제 해결 접근법 (초기 스캔, 심층 스캔, 증상 매핑, 기술 주도 분석) 을 구현한 LLM 기반 에이전트 시스템.
• 성능 향상: SADE 는 NIKA 벤치마크의 홀드아웃 523 건 사고 슬라이스에서 근본 원인 F1 점수 0.77을 달성했습니다. 이는 동일한 기본 모델 백엔드를 사용하는 ReAct + GPT-5 기준 (0.40) 대비 37 퍼센트 포인트 개선이며, Claude Code 기준 (0.55) 대비 22 퍼센트 포인트 개선입니다.
• 확장성 및 견고성: SADE 는 다양한 크기 (최대 100 개 이상 노드) 의 토폴로지에 걸쳐 장애를 성공적으로 해결하여, 가장 성능이 좋은 기준 대비 약 5% 높은 작업 완료율을 달성했습니다.
• 효율성: 체계적인 증거 수집을 위한 더 높은 토큰 사용량에도 불구하고, SADE 는 ReAct(49.5) 및 Claude Code(51.5) 에 비해 올바른 제출당 훨씬 적은 도구 호출 (27.2) 을 필요로 합니다. 또한 "제출 없음" 실패 (예산 내에서 유효한 진단을 생성하지 못함) 를 Claude Code 의 15.3% 에서 4.2% 로 줄였습니다.
• 오픈 소스: 저자들은 재현성을 지원하기 위해 SADE 소스 코드, 진단 기술 라이브러리, 유틸리티 스크립트를 공개했습니다.

4. 결과 및 분석

NIKA 벤치마크 (523 개의 매칭된 테스트 사례) 에 대한 평가는 몇 가지 중요한 발견을 강조합니다:

• 크로스 스택 진단: SADE 는 가시적인 증상 (예: 서비스 도달 불가) 이 근본 원인 (예: 특정 ACL 이 BGP 트래픽을 차단하거나 포트 필터) 을 즉시 드러내지 않는 "크로스 스택" 시나리오에서 탁월한 성능을 발휘합니다. 기준 모델들은 종종 증상 단계에서 멈추거나 불완전한 설명을 제공하는 반면, SADE 의 구조화된 워크플로우는 에이전트가 증상에서 특정 라우팅 또는 필터링 메커니즘으로 장애를 추적하도록 강제하여 더 높은 심사자 점수와 정확도를 달성합니다.
• 토폴로지 민감도: 네트워크 크기가 증가함에 따라 (~11 개에서 ~101 개 노드), Claude Code 기준의 성능은 감소하는 반면 SADE 는 높은 정확도를 유지합니다. 이는 복잡한 환경에서 SADE 의 증상 기반 검색 공간 축소 방식이 기준 모델들의 균일한 탐색보다 더 효과적임을 시사합니다.
• 성공 요인 귀속: 동일한 Claude Sonnet 백엔드를 대상으로 SADE 정책 없이 수행한 모델 통제 비교에서, 37 퍼센트 포인트 개선 중 22 포인트가 진단 정책 자체에 기인한 것으로 나타났습니다. 이는 개선이 단순히 기본 LLM 기능 때문이 아니라 구조화된 워크플로우에 의해 주도됨을 확인시켜 줍니다.
• 주입 유효성: 저자들은 표준 NIKA 주입기가 의도한 장애를 주입하지 못하는 경우가 있음을 지적했습니다. 훈련 세트에 대한 수동 검증 파이프라인은 이러한 주입 실패를 수정하면 SADE 의 보고된 점수가 더욱 향상될 것임을 보여주었으며, 이는 현재 지표가 보수적임을 시사합니다.

5. 중요성 및 주장

이 논문은 효과적인 LLM 기반 네트워크 문제 해결의 주요 장벽은 도구 접근성 부족이 아니라 규율 있는 진단 절차의 부재라고 주장합니다. 증거 수집과 가설 확정을 분리하는 명시적 정책으로 시스코 방법론을 인코딩함으로써, SADE 는 에이전트 네트워크가 자유 형식 숙고를 넘어 실용적인 근본 원인 국소화를 달성할 수 있음을 보여줍니다.

저자들은 SADE 의 성공이 에이전트의 진단 과정을 구조화하는 것이 모델 자체만큼이나 중요함을 증명한다고 주장합니다. 이 프레임워크는 고수준 의도와 저수준 장애 국소화 사이의 간극을 효과적으로 연결하여, 현대의 다층적 네트워크 장애 복잡성을 처리할 수 있는 신뢰할 수 있는 자동화 네트워크 문제 해결을 위한 길을 제시합니다. 이 연구는 SADE 가 현재는 시뮬레이션 환경 (Kathará) 에서 평가되었지만, 특정 테lemetry 및 구성 시스템용 래퍼가 개발된다면 실제 네트워크 배포의 기반을 제공한다는 구조적 접근법으로 결론을 내립니다.