CTBench: Evaluating Troubleshooting Capabilities of AI Agents in Realistic Telecom Network Operations

기술 요약: CTBench

문제 정의

통신 분야의 네트워크 운영 및 유지보수(NetO&M)는 엔지니어가 이질적인 텔레메트리를 해석하고, 장치별 명령을 실행하며, 엄격한 안전 제약 조건 하에서 여러 계층에 걸친 결함을 진단해야 하는 복잡한 영역입니다. 대규모 언어 모델(LLM) 에이전트는 다단계 추론 및 도구 사용 능력을 입증해 왔으나, 기존 벤치마크는 통신 환경의 실상을 정확하게 모델링하지 못하고 있습니다. 현재의 평가 방식은 완전한 관측 가능성(full observability)을 가정하고, 단일 도메인 토폴로지에 의존하며, 표준화된 인터페이스를 활용하고, 오직 최종 답변에만 집중합니다. 결과적으로, 이러한 방식은 엄격한 근거를 통해 결함을 식별하는 에이전트와 정당한 근거 없이 정답 레이블만을 반환하는 에이전트를 구분할 수 없습니다. 이러한 프로세스 수준의 투명성 부족은 진단이 조치 이전에 반드시 정당화되어야 하는 운영 환경에서 AI 에이전트의 배포를 저해합니다.

방법론

저자들은 실제적인 통신 네트워크 운영 환경에서 AI 에이전트의 트러블슈팅 능력을 평가하기 위해 설계된 공개 벤치마크인 CTBench를 소개합니다.

데이터셋 구축

CTBench는 두 가지 운영 패밀리로 나뉘는 234개의 전문가 큐레이션 태스크로 구성됩니다:

1. 근본 원인 분석 (Root Cause Analysis, RCA): 에이전트가 영향을 받은 노드/객체를 식별하고 정규화된 근본 원인 레이블을 할당해야 하는 126개의 태스크.
2. 경로 복구 (Path Restoration): 에이전트가 소스에서 목적지까지의 서비스 전달 경로를 재구성해야 하는 108개의 태스크.

데이터셋은 전문가 참여형(expert-in-the-loop) 프로세스를 통해 구축되었습니다:

• 태스크 생성: 15명의 시니어 통신 전문가(평균 경력 20년)가 실제 유지보수 사례로부터 태스크를 추상화하고 민감한 데이터를 비식별화했습니다.
• 독립적 검토: 독립적인 전문가가 정답(ground truth)에 접근하지 않은 상태에서 각 태스크를 해결하여 해결 가능성과 일관성을 검증했습니다.
• 골든 증거 (Golden Evidence): 표준 벤치마크와 달리, CTBench는 문제를 해결하기 위해 전문가가 요구하는 결정적인 핵심 진단 동작들의 집합인 골든 증거 단계를 각 태스크에 주석으로 달았습니다.

태스크 특성

태스크에는 구조적 난이도를 특징짓는 풍부한 메타데이터가 주석으로 달려 있습니다:

• 관측 가능성 (Observability): 증거가 직접 관찰 가능한 O1 (Full) 또는 에이전트가 간접적인 관찰을 통해 결함을 추론해야 하는 **O2 (Partial)**로 분류됩니다.
• 이질성 (Heterogeneity): 참여하는 벤더(예: Huawei, Cisco, H3C) 및 장치 유형(라우터, 스위치, 방화벽)의 수가 다양합니다.
• 복잡성 (Complexity): 메타데이터에는 결함 전파 체인의 길이, 근본 원인 개수(단일 vs 다중 결함), 프로토콜 복잡성, 그리고 골든 솔루션 경로의 길이가 포함됩니다.

평가 프레임워크

CTBench는 허용된 진단 인터페이스를 노출하는 반응형 샌드박스 환경을 사용하여 에이전트를 평가합니다. 평가는 최종 답변의 정확도를 넘어 다음을 포함합니다:

• 로컬라이제이션 (Localization): 예측된 노드/객체와 골든 노드/객체 간의 IoU (Intersection over Union).
• 식별/복구 (Identification/Restoration): 예측된 근본 원인 레이블 또는 경로 엣지와 골든 레이블/엣지 간의 IoU.
• 증거 획득 (Evidence Acquisition): 에이전트가 골든 증거에 포함된 특정 진단 단계를 수집했는지 측정하는 F1 점수.
• 비용 지표 (Cost Metrics): 지연 시간(latency), 상호작용 횟수, 토큰 소비량.

주요 기여

1. CTBench 벤치마크: 부분 관측 가능성, 네트워크 이질성 및 멀티 벤더 환경을 시뮬레이션하는 234개의 전문가 큐레이션 RCA 및 경로 복구 태스크를 포함하는 공개 벤치마크.
2. 전문가 기반 지표: 로컬라이제이션, 식별, 복구 및 증거 획득을 별도로 평가하여, 정답이 필요한 진단 프로세스에 의해 뒷받침되는지를 보장하는 새로운 평가 프로토콜.
3. 태스크 메타데이터 스키마: 관측 가능성, 이질성, 프로토콜 복잡성 및 결함 전파를 포괄하는 종합적인 주석 시스템을 통해 다양한 운영 조건에서의 에이전트 성능에 대한 세밀한 분석 가능.
4. 종합적 평가: 다섯 가지 대표적인 에이전트-모델 조합(예: Codex+GPT-5.5, HermesAgent+DeepSeek-V4-Pro)을 평가하여 현재의 에이전트 역량의 구체적인 격차를 밝힘.

실험 결과

저자들은 CTBench 데이터셋에 대해 다섯 가지 에이전트-모델 조합을 평가했습니다. 주요 결과는 다음과 같습니다:

• 성능 격차: 최첨단 에이전트들은 경로 복구(엔드포인트 식별)에서는 우수한 성능을 보였으나, **근본 원인 분석(RCA)**에서는 현저히 낮은 성능을 보였습니다. 예를 들어, Codex+GPT-5.5는 **경로 복구 정확도(Path-Res) 95.28%**와 **경로 로컬라이제이션 99.38%**를 달성했지만, **RCA 정확도는 47.62%**에 그쳤습니다.
• 증거 결핍: 에이전트가 그럴듯하거나 올바른 최종 답변을 생성하더라도, 실제 현장에서 요구되는 증거 기반 진단을 제공하는 데는 자주 실패합니다. 예를 들어, Codex+GPT-5.5는 높은 경로 로컬라이제이션을 달성했음에도 **경로 증거 커버리지(Path Evidence coverage)는 47.84%**에 불과했으며, 이는 정답을 낸다고 해서 에이전트가 필요한 진단 증거를 수집했다는 것을 의미하지 않음을 보여줍니다.
• 카테고리별 난이도: 에이전트들은 인터페이스 상태 및 링크 계층 결함(C1) (0.00%–10.71% 정확도)과 **서비스/관리 결함(C5)**에서 가장 큰 어려움을 겪었습니다. 반면, 보안/NAT 결함(C2)에서는 상대적으로 더 나은 성능을 보였습니다.
• 제약 조건의 영향:
  • 부분 관측 가능성 (Partial Observability): 부분 관측 가능성(O2) 환경에서 성능이 크게 저하됩니다. 에이전트가 간접적인 증거를 수집할 수는 있지만, 이를 정밀한 로컬라이제이션으로 전환하는 데 어려움을 겪습니다.
  • 이질성 (Heterogeneity): 높은 네트워크 이질성(다중 벤더/장치)은 경로 복구 정확도를 급격히 감소시킵라 (일부 에이전트의 경우 약 29%에서 4%로 하락).
• 비용 대비 역량: 높은 계산 비용(더 많은 토큰, 긴 지연 시간)이 반드시 더 나은 진단 능력과 상관관계가 있는 것은 아닙니다. 일부 에이전트는 훨씬 더 많은 자원을 소비하면서도 더 낮은 점수를 기록했습니다.
• 인간 기준선 (Human Baseline): 인간 전문가는 경로 복구에서 92.6%, RCA에서 56.4%의 정확도를 달성했으며, 태스크 완료에 40~60분이 소요되었습니다. 이는 현재 AI 에이전트와 인간 운영자 사이의 격차를 극명히 보여줍니다.

의의 및 주장

본 논문은 CTBench가 에이전트가 "무엇을" 답하는가를 넘어 "어떻게" 그 답에 도달하는가를 평가하는 데 필수적인 전환을 제공한다고 주장합니다. 저자들은 다음과 같이 단언합니다:

• 프로세스 투명성의 중요성: 운영 신뢰성을 위해서는 진단이 조치 이전에 반드시 증거에 의해 정당화되어야 합니다. 현재의 에이전트들은 최종 레이블이 정답일 때조차 이러한 정당성을 제공하지 못하는 경우가 많습니다.
• 현실적인 제약의 중요성: 부분 관측 가능성과 멀티 벤더 이질성은 단순한 구현 디테일이 아니라, 현재의 모델들이 어려움을 겪고 있는 통신 에이전트 역량의 핵심 차원입니다.
• 진단적 추론이 병목 구간: 현재 에이전트의 주요 한계는 도구 실행 능력이 아니라, 증거 기반의 진단, 부분 정보 하에서의 인과적 추론, 그리고 독립적인 근본 원인과 다운스트림 증상을 구분하는 능력입니다.

저자들은 에이전트가 엔드포인트 식별에는 유망함을 보이지만, 복잡한 통신 트러블슈팅, 특히 증거 기반의 RCA 및 부분 관측 환경에서는 여전히 신뢰할 수 있는 운영자가 되기에는 멀었다고 결론짓습니다. 저자들은 CTBench를 신뢰할 수 있고, 도메인에 기반하며, 운영상 안전한 통신 네트워크용 AI 에이전트를 개발하기 위한 기초로서 제시합니다.