기술 요약: APEX – 네트워크 네이티브 시계열 파운데이션 모델

문제 정의

엔터프라이즈 환경에서 무선 액세스 포인트(AP) 장애는 종종 사용자가 연결 끊김이나 DHCP 타임아웃을 경험할 때까지 감지되지 않은 채 방치됩니다. AP는 DHCP, RF, 인터페이스 및 업링크 상태를 아우르는 풍부한 교차 계층(cross-layer) 텔레메트리 데이터를 수집하지만, 이 로우(raw) 데이터를 클라우드로 내보내는 것은 상당한 대역폭, 개인정보 보호 및 지연 시간 비용을 발생시킵니다.

기존의 범용 시계열 파운데이션 모델(TSFM)은 이 도메인에 효과적으로 전이(transfer)되지 못합니다. 네트워크 텔레메트리는 일반적인 벤치마크(예: 금융 또는 기상 데이터)에서 발견되지 않는 독특한 특성을 보입니다. 신호는 버스트(bursty)가 발생하며, 정상 작동 중에는 제로 인플레이션(zero-inflated) 특성을 띠고, 복잡한 교차 계층 의존성 및 프로토콜 특유의 시간적 구조를 가집니다. 결과적으로, 범용 모델은 DHCP 성능 저하 예측과 같은 네트워크 특화 작업에서 성능이 떨어집니다. 또한, 자원이 제한된 에지 하드웨어에서 대규모 모델을 실행하거나 클라우드 추론에 의존하는 것은 선제적 조치를 방해하는 지연 시간 및 개인정보 보호 문제를 야기합니다.

방법론

APEX 아키텍처

APEX는 네트워크 텔레메트리에 특화되어 설계된 **디코더 전용 패치 트랜스포머(decoder-only patched transformer)**입니다. 이는 약 4,500개의 운영 네트워크에서 추출한 약 100,000개의 AP 시계열 코퍼스를 활용한 "네트워크 네이티브" 사전 학습 전략을 사용합니다.

• 입력: 모델은 10개 채널의 다변량 입력을 처리합니다. 여기에는 DHCP 인과 체인을 나타내는 5개의 타겟 메트릭(클라이언트 수, 오퍼율, ACK 비율, 성공률, 지연 시간)과 5개의 외생 변수 신호(서버 수, VLAN 수, 타임아웃/지연 시간의 통계적 집계값)가 포함됩니다.
• 토큰화(Tokenization): 입력 시계열은 인스턴스 정규화(instance-normalization)를 거친 후 16 스텝 단위의 겹치지 않는 패치(non-overlapping patches)로 분할됩니다.
• 메커니즘: 모델은 차기 패치 예측을 위해 인과적 셀프 어텐션(causal self-attention)을 채택합니다. 표현 효율성을 위해 SwiGLU 피드 포워드 레이어를 사용하며, 학습된 위치 임베딩(learned positional embeddings)을 활용합니다.
• 변형 모델: 두 가지 모델 크기가 제시됩니다:
  • APEX-Large: 269M 파라미터로, 클라우드 환경에 최적화되었습니다.
  • APEX-Edge: 10.5M 파라미터(26배 더 작음)로, AP급 에지 하드웨어(예: ARM Cortex-A76) 배포에 최적화되었습니다.

학습 및 추론

• 사전 학습(Pretraining): 모델은 MSE 손실 함수를 사용하여 차기 패치 예측을 통해 학습됩니다. 학습에는 AdamW, 코사인 학습률 스케줄링, 4×A10G GPU에서의 혼합 정밀도(mixed-precision)가 사용됩니다.
• 불확실성 추정(Uncertainty Estimation): 별도의 앙상블을 학습시키는 대신, APEX는 추론 시 **MC-드롭아웃(Monte Carlo Dropout)**을 사용합니다. 드롭아웃을 활성화한 상태로 확률적 순방향 패스(stochastic forward passes, 예: N=50)를 수행함으로써, 파라미터 오버헤드 없이 예측 구간(P5/P95)을 생성하여 예측 및 이상 탐지에 활용합니다.
• 이상 탐지 전략: 통계적 베이스라인(VAR-Mahalanobis 등) 및 다른 파운데이션 모델을 포함한 3개 이상의 독립적인 방법이 동일하게 이상 징후를 지목할 경우에만 해당 타임 스텝을 이상(anomalous)으로 레이블링하는 합의 기반의 그라운드 트루스(consensus-based ground truth)를 구축합니다. 이를 통해 오탐(false positive)을 줄이고 값비싼 수동 주석(manual annotation)의 필요성을 제거합니다.

주요 기여

1. 네트워크 네이티브 사전 학습: 본 논문은 도메인 특화 네트워크 텔레메트리로 사전 학습하는 것이 범용 모델보다 유의미한 성능 향상을 가져온다는 것을 입증합니다. APEX-Large는 192-스텝(4일) DHCP 성능 저하 벤치마크에서 가장 강력한 범용 베이스라인인 Toto 대비 MAE를 18% 감소시켰으며, SARIMA 대비로는 38% 감소시켰습니다.
2. 통합된 예측 및 이상 탐지: 단일 체크포인트로 MC-드롭아웃을 통한 점 예측(point forecasts)과 보정된 불확실성 구간을 모두 제공합니다. 이를 통해 별도의 탐지 파이프라인 없이도 전문화된 통계 방식(VAR-Mahalanobis의 0.94)에 근접하는 0.93의 이상 탐지 F1 스코어를 달성했습니다.
3. 에지 배포 효율성: APEX-Edge(10.5M 파라미터)는 훨씬 더 큰 범용 모델과 유사한 정확도(Toto의 MAE 3.64에 근접한 3.87 달성)를 구현하면서도, AP급 ARM 하드웨어에서 202 ms 내에 실행됩니다. 이는 클라우드 의존성 없는 온디바이스 추론의 실현 가능성을 보여줍니다.

실험 결과

• 예측 정확도: 192-스텝 호라이즌에서 다변량 모드의 APEX-Large는 모든 지표에서 가장 낮은 오차(MAE: 2.98, RMSE: 4.61)를 기록했습니다. 다변량 모드가 단변량 모드보다 크게 우수한 성능을 보였는데, 이는 채널 간의 인과 체인을 모델링하는 것이 매우 중요하다는 것을 확인시켜 줍니다.
• 이상 탐지: APEX-Large(MC-dropout)는 0.93의 F1 스코어를 달야, 범용 파운데온 모델(Toto: 0.85, Chronos-2: 0.83)을 능가하고 최적의 통계적 베이스라인(VAR-Mahalanobis: 0.94)에 근접했습니다.
• 에지 성능: 생산 환경의 AP 하드웨어를 대표하는 Raspberry Pi 5에서, APEX-Edge는 96-스텝 예측을 202 ms 만에 완료했으며 피크 메모리 사용량은 428 MB였습니다. 이는 클라우드 의존성 없는 배포의 타당성을 입증합니다.

의의 및 주장

본 논문은 네트워크 네이티브 사전 학습이 선제적 무선 운영을 위한 실질적인 토대임을 주장합니다. 주요 의의는 범용 파운데이션 모델과 네트워크 텔레메트리의 복잡한 역학 사이의 간극을 메운 데 있습니다.

프로토콜 수준의 사전 지식(priors)을 모델에 직접 인코딩함으로써, APEX는 일반적인 TSFM과 네트워크 작업 간의 성능 격차가 아키텍처의 문제가 아닌 데이터의 효과임을 입증합니다. 이 연구는 컴팩트하고 에지에 배포 가능한 모델이 복잡한 클라우드 기반 예측 서비스, 별도의 이상 탐지기, 텔레메리 수출 파이프라인 스택을 대체할 수 있음을 보여줍니다. 이를 통해 다음이 가능해집니다:

• 제로 클라우드 의존성: WAN 장애 발생 시에도 운영이 지속됩니다.
• 데이터 프라이버시: 로우 텔레메트리가 장치를 떠나지 않으므로 의료, 금융, 정부 분야의 규제 요구사항을 충족합니다.
• 서브 세컨드 액션 레이턴시: (예측 → 이상 플래그 → 로컬 조치)로 이어지는 탐지-조치 루프가 텔레메트리 간격 내에 완료되어 실시간 자가 치유(self-healing)가 가능합니다.

저자들은 현재 평가가 DHCP 성능 저하에 국한되어 있으나, 인과 체인 입력 구조가 RF, 로밍 등 다른 도메인에도 일반화될 수 있어 즉각적인 교차 도메인 확장이 가능하다고 결론짓습니다.