기술 요약: OrEdge – 직교 도메인 학습을 통한 효율적인 다중 모드 이상 탐지

1. 문제 정의

분산 마이크로서비스의 광범위한 채택은 시스템 확장성을 높였으나 운영 복잡성 또한 증가시켰으며, 이에 따라 적시의 이상 탐지가 신뢰성 확보를 위해 매우 중요해졌습니다. 그래프 신경망(GNN)과 트랜스포머(Transformer)를 사용하여 로그, 메트릭, 트레이스를 공동으로 분석하는 최근의 다중 모드 접근 방식들은 탐지 정확도를 향상시켰지만, 상당한 계산 및 메모리 오버헤드를 유발합니다. 이러한 무거운 아키텍처는 자원이 제한된 에지 장치(예: IoT, 커넥티드 차량, UAV)에 실시간으로 배포하기에는 부적합한 경우가 많습니다.

기존의 경량 탐지기들은 효율적이지만 일반적으로 단일 모드 데이터에 국한되어 교차 모드 의존성을 포착하지 못합니다. 반대로, 다중 모드 프레임워크는 풍부한 의존성을 포착하지만 높은 복잡성을 대가로 합니다. 본 연구가 다루는 핵심 과제는 이질적인 관측 가능성 신호를 모델링하는 능력을 희생하지 않으면서도, 에지 배포에 적합한 낮은 계산 비용을 유지하는 정확한 다중 모드 이상 탐지 프레임워크를 개발하는 것입니다.

2. 방법론: OrEdge 프레임워크

OrEdge(Orthogonal-Edge)는 분산 소프트웨어 시스템의 실시간 이상 탐지를 위해 설계된 경량 프레임워크입니다. 이 프레임워크는 로그, 메트릭, 트레이스를 공동으로 분석하며, 이질적인 모니터링 신호를 **직교 시간 표현(orthogonal temporal representations)**으로 투영합니다. 이 접근 방식은 정보가 풍부한 시간적 패턴을 보존하면서 중복성을 줄이며, 그래프 메시지 패싱(graph message passing)이나 거대한 트랜스포머 어텐션 메커니즘의 계산 비용을 피합니다.

주요 아키텍처 구성 요소

• 전처리 및 그래프 평탄화(Pre-processing and Graph Flattening):

  • 메트릭 및 로그: 최소-최대 스케일링(min-max scaling)을 통해 파싱 및 정규화됩니다.
  • 트레이스: 서비스 수준의 상호작용 특징(빈도, 지연 시간)으로 집계되어 서비스 의존성 그래프를 형성합니다.
  • 평탄화: GNN을 사용하여 메시지 패싱을 수행하는 대신, OrEdge는 서비스 의존성 그래프를 시간 시퀀스로 변합니다. 메트릭 및 로그 특징은 시퀀스로 배열되며, 트레이스 특징은 서비스 쌍 간의 상호작용 시퀀스로 구성됩니다. 이는 값비싼 그래프 연산을 우회하면서 시간적 및 구조적 패턴을 보존합니다.

• 다중 모드 재구성 블록(Multi-Modal Reconstruction Block):

  • OrEdge는 각 모달리티(메트릭, 로그, 트레이스)가 경량 선형 인코더를 통해 잠재 공간으로 먼저 투영되는 통합 재구성 프레임워크를 채택합니다.
  • **공유 재구성 모듈(Shared Reconstruction Module)**은 이러한 표현들을 처리합니다. 모달리티를 독립적으로 처리하는 방식과 달리, OrEdge는 밀집된 시간 신호(메트릭 및 로그) 간의 상호작용을 모델링하기 위해 **선형 어텐션(Linear Attention)**을 사용하며, 트레이스 정보를 구조적 의 dependency 특징으로 유지합니다.
  • 이 아키텍처는 모달리티별 표현 학습과 공유 시간 재구성을 분리하여, 상호 보완적인 관측 가능성 소스 간의 효율적인 상호작용을 가능하게 합니다.

• OrEdgeCore (핵심 엔진):

  • 이는 경량화된 직교 도메인 재구성 모듈입니다.
  • 가역 정규화(Reversible Normalization, RevIN): 입력 시계열의 비정상성(non-stationarity)을 줄이기 위해 적용됩니다.
  • 직교 투영(Orthogonal Projection): 정규화된 데이터는 직교 도메인(예: Legendre, Fourier, Chebyshev 기저)으로 투영됩니다. 이 변환은 시간적 패턴을 압축된 성분으로 분리합니다.
  • 제약된 선형 모델링(Constrained Linear Modeling): 투영된 데이터는 안정적인 특징 상호작용을 학습하기 위해 NormLin(제약된 선형 레이어)을 통과한 후, 일시적인 노이즈를 억제하기 위한 **저역 통과 필터(Low-Pass Filtering, LPF)**를 거칩니다.
  • 역 투영(Inverse Projection): 신호는 다시 원래의 시간 도메인으로 매핑됩니다.
  • 이 설계는 트랜스포머 기반 모델보다 훨씬 적은 파라미터를 사용하여 반복적인 시간 패턴을 포착하는 동시에 일시적인 변동을 억제합니다.

• 손실 함수(Loss Function):

  • OrEdge는 다음을 공동 최적화하는 준지도 학습 형식을 따릅니다:
    1. 재구성 손실(Reconstruction Loss): 시간 도메인 손실과 시간 도메인을 넘어 시간적 패턴을 보존하기 위한 직교 도메인 손실(FreDF)을 포함합니다.
    2. 분류 손실(Classification Loss): 클래스 불균형을 처리하기 위해 가용한 이상 라벨에 대한 가중치 적용 교차 엔트로피 손실을 사용합니다.

3. 주요 기여

1. OrEdge 프레임워크: 압축된 시간 표현을 통해 로그, 메트릭, 트레이스를 공동으로 모델링하는 경량 직교 도메인 다중 모드 이상 탐지 프레임워크를 제안합니다.
2. OrEdgeCore: (선형 투영 및 선형 어텐션을 사용하여) 경쟁력 있는 탐지 성능을 유지하면서 모델 복잡도를 획기적으로 줄이는 직교 재구성 모듈을 제공합니다.
3. 포괄적인 평가: 세 가지 실제 마이크로서비스 데이터셋(MSDS, SN, TT)에 대해 탐지 정확도, 계산 효율성, 직교 기저 선택 및 아키텍처 절제 실험(ablation studies)을 수행하여 광범위하게 평가했습니다.
4. 에지 배포 검증: 리소스가 제한된 Raspberry Pi 플랫폼(Pi 3 및 Pi 5)에서의 실질적인 배포를 입증하여, 서브 초 단위의 추론 시간과 기존 방법 대비 유의미한 지연 시간 감소를 보여주었습니다.

4. 실험 결과

저자들은 세 가지 데이터셋에 대해 OrEdge를 Eadro, AnoFusion, MSTGAD, Art, Medicine과 같은 최신 베이스라인 모델들과 비교 평가했습니다.

• 탐지 정확도: OrEdge는 경쟁력 있는 성능을 달합니다. MSDS 데이터셋에서 가장 높은 F1-score(0.966)와 Recall(0.982)을 기록하며 그래프 기반 방법들을 앞질렀습니다. SN 및 TT에서도 각각 0.965와 0.952의 F1-score를 달성하였으며, 이는 가장 성능이 높은 그래프 기반 모델(예: SN에서 0.983을 기록한 Art)을 근소하게 뒤처지는 수준이지만 복잡도는 훨씬 낮습니다.
• 모델 복잡도: OrEdge는 기존 다중 모드 방법들의 파라미터가 20K~143K인 것에 비해, SN 데이터셋에서 2.2K개, TT에서 5.6K개, MSDS에서 9.6K개의 파라미터로 재구성 모델 크기를 줄였습니다.
• 계산 효율성:
  • FLOPs: OrEdge는 MSTGAD(1725.7M)에 비해 최대 한 자릿수 적은 FLOPs(예: SN에서 33.8M)를 요구합니다.
  • 추론 지연 시간: Raspberry Pi 5에서 OrEdge는 샘플당 30125ms의 추론 시간을 달성하여 MSTGAD 대비 지연 시간을 최대 64배 줄였습니다. Raspberry Pi 3에서도 MSTGAD와 같은 무거운 모델들이 메모리 제약으로 인해 배포에 실패하는 것과 달리, Or же는 서브 초 단위의 추론(210802ms)을 유지합니다.
• 절제 연구(Ablation Studies):
  • 직교 도메인 목적 함수(FreDF 손실)나 선형 어텐션 구성 요소를 제거하면 성능이 저하되어 이들의 필요성이 확인되었습니다.
  • Legendre 기저가 Hermite, Chebyshev 또는 Fourier 기저와 비교했을 때 모든 데이터셋에서 가장 안정적이고 효과적인 직교 투영임이 밝혀졌습니다.
  • 민감도 분석 결과, 압축된 선형 어텐션 차원(예: 10)만으로도 시간적 의존성을 포착하기에 충분함이 나타났습니다.

5. 의의 및 주장

본 논문은 OrEdge가 직교 도메인 시간 모델링이 계산 집약적인 어텐션 및 그래프 기반 아키텍처에 대한 효과적인 대안이 될 수 있음을 입증한다고 주장합니다.

주요 의의는 탐지 정확도와 계산 효율성 사이의 유리한 균형을 달성했다는 점에 있습니다. 직교 표현을 활용함으로써, OrEdge는 기존의 고성능 모델을 적용하기 어려운 자원 제한적 에지 장치에서도 정확하고 실시간적인 다중 모드 이상 탐지를 가능하게 합니다. 저자들은 이 접근 방식이 값비싼 그래프 구축이나 거대한 트랜스포머 아키텍처에 의존하지 않고도, (Raspberry Pi와 같은) 자원이 제한된 플랫폼에서 정교한 다중 모드 분석을 배포할 수 있게 한다고 강조합니다. 이는 IoT 및 분산 시스템의 확장되는 에지 컴퓨팅 환경을 위한 실질적인 솔루션이 됩니다.

재현성을 보장하기 위해 코드가 공개되었으며, 본 연구는 현대적 분산 소프트웨어 시스템을 위한 효율적이고 확장 가능한 이상 탐지를 향한 단계로 자리매김하고 있습니다.