Hybrid Active-Online Learning Framework for Label-Efficient Concept Drift Adaptation in Optical Network Failure Detection

기술 요약: 광 네트워크 장애 탐지를 위한 하이브리드 능동-온라인 학습

문제 정의
광 네트워크에서 효과적인 장애 관리는 지속적인 서비스를 유지하는 데 매우 중요합니다. 머신러닝(ML) 기법이 장애 탐지를 자동화하기 위해 제안되어 왔으나, 정적 모델은 데이터 분포가 변하는 현상인 개념 드리프트(Concept Drift, CD)가 발생할 때 제대로 작동하지 못하는 경우가 많습니다. 광 네트워크에서 CD는 장비 노후화나 채널 특성 변화와 같은 요인으로 인해 발생합니다. 특히, 모델이 "연성 장애(soft failure)" 데이터로 학습된 후 희귀한 "강성 장애(hard failure)" 이벤트를 마주할 때 특정 문제가 발생하는데, 이러한 강성 장애는 시뮬레이션하기 어렵고 레이블(label)이 된 데이터도 매우 부족합니다.

전통적인 온라인 학습은 스트리밍 데이터에 대해 순차적으로 모델을 업데이트함으로써 CD에 적응합니다. 그러나 표준적인 온라인 접근 방식은 모든 샘플에 대해 레이블이 지속적으로 가용하다는 가정을 전제로 합니다. 실제 배포 환경에서는 이러한 가정이 성립하는 경우가 드뭅니다. 전문가의 검증이나 자동화된 오라클(oracle)을 항상 사용할 수 있는 것은 아니기 때문입니다. 따라서 개념 드리프트에 적응하면서도 레이블이 극도로 부족한 상황에서도 작동할 수 있는 방법론이 필요합니다.

방법론
저자들은 온라인 학습의 적응성과 능동 학습(active learning)의 레이블 효율성을 결합한 하이브리드 능동-온라인 학습 프레임워크를 제べき합니다.

• 데이터셋 및 특징: 본 연구는 실험용 테스트베드에서 생성된 데이터셋을 활용하며, 네 가지 특징(Feature)인 비트 오류율(BER), 송신기 및 수신기에서의 광 신호 대 잡음비(OSNR)를 포함합니다. 데이터는 연성 장애(SFD) 세트와 강성 장애(HFD) 세트로 나뉩니다.
• 시스템 아키텍처: 세 가지 모델을 비교하였습니다:
  1. 정적 모델(Static Model): SFD로 사전 학습되었으며, 새로운 샘플에 대해 추론(inference) 용도로만 사용됩니다.
  2. 지도 학습 기반 온라인 모델(Supervised Online Model): SFD로 사전 학습된 후, 가용한 모든 샘플과 그 레이블을 사용하여 순차적 방식(예측 후 학습)으로 업데이트됩니다.
  3. 하이브리드(능동+온라인) 모델(Hybrid (Active+Online) Model): SFD로 사전 학습된 후, 스트리밍 데이터를 처리할 때 먼저 예측을 수행합니다. 이 모델은 실패 클래스와 정상 클래스 사이의 마진(확률 차이)을 계산하는 **불확실성 샘플링(Uncertainty Sampling)**을 채택합니다.
• 레이블링 전략: 하이브리드 시스템은 불확실성 마진이 조절 가능한 **마진 임계값(Margin Threshold)**을 초 exceed하거나 가용 가능한 "예산 토큰(budget tokens)"이 있는 경우에만 레이블을 요청합니다. 요청이 이루어지면 모델이 업데이트되며, 그렇지 않으면 예산 보존을 위해 해당 샘플은 건너뜁니다. 예산은 점진적으로 충전됩니다.
• 드리프트 탐지: OSNR_Rx 특징(장애 레이블과 가장 높은 상관관계를 보임)에서 개념 드리프트를 식별하기 위해 2단계 절차(Page-Hinkley Test 및 Kolmogorov-Smirnov Test)가 배치되었습니다. 이 탐지는 시각화 및 분석을 위해 사용되었으나, 레이블링 예산을 직접 제어하지는 않았습니다.
• 알고리즘: 온라인 학습 작업에 적합한 Adaptive Random Forest (ARF) 앙상블이 세 시스템 모두에 선택되었습니다.

주요 기여
본 연구의 주요 기여는 광 네트워크 장애 탐지를 위한 능동 학습과 온라인 학습의 최초 공동 적용입니다. 이 프레임워크는 온라인 학습의 적응 능력과 능동 학습의 레이블 효율성이라는 "양쪽의 장점"을 모두 제공하는 것을 목표로 합니다.

결과
HFD를 스트리밍 데이터로 사용하여 실험을 진행하였으며, 마지막에 합성 장애 샘플을 추가하여 장애 이벤트가 증가하는 상황을 시뮬레이션했습니다.

• 정확도 및 AUC: 하이브리드 방식은 완전 지도 학습 기반 온라인 모델과 대등한 성능을 달야냈습니다. 마진 임계값을 0.7로 조정했을 때, 시스템은 최종 윈도우에서 0.77의 이동 정확도(rolling accuracy)와 0.59의 AUC를 달성했습니다. 결정적으로, 이 성능은 스트리밍 샘플의 단 3.4%(원래 HFD 스트림 중 193개 쿼리)만을 요청하여 얻은 결과입니다.
• 드리프트 적응: 두 온라인 모델(지도 학습 기반 및 하이브리드) 모두 개념 드리프트와 강성 장애를 만났을 때 정적 모델보다 유의미하게 우수한 성능을 보였습니다. 하이브리드 모델은 소수의 쿼리된 장애 샘플으로부터 학습함에 따라 정확도가 향상되었으며, 합성 샘플이 도입되었을 때 지도 학습 기반 모델의 성능에 도달하거나 일시적으로 이를 상회했습니다.
• 지연 시간(Latency): 하이브리드 시스템은 무시할 수 있는 수준의 지연 시간 오버헤드를 보여주었습니다. 평균 이벤트당 지연 시간은 0.1650 ms로, 정적 모델(0.1624 ms)과 거의 동일했습니다. 하이브리드 모델의 온라인 오버헤드는 0.0027 ms에 불과했으며, 이는 완전 지도 학습 기반 온라인 모델의 오버헤드인 0.3522 ms와 비교했을 때 대폭 감소한 수치입니다.

의의 및 주장
본 논문은 제안된 하이브리드 프레임워크가 레이블링이 제한된 광 네트워크의 실시간 모니터링을 위한 실용적인 솔루션을 제공한다고 주장합니다. 최소한의 레이블링(샘플의 3.4%)만으로 최상위 수준의 정확도와 AUC를 달성하고 정적 추론과 유사한 지연 수준을 유지함으로써, 이 방법은 적응 성능과 운영 비용 사이의 핵심적인 트레이드오프(trade-off) 문제를 해결합니다. 저자들은 이 접근 방식이 지속적인 인간 또는 오라클 레이블링의 과도한 비용 없이도 효과적인 개념 드리프트 적응을 가능하게 한다고 결론지었습니다.