A Novel Evaluation Metric for Unsupervised Learning in AIS-Based Maritime Anomaly Detection: MADQI

기술 요약: AIS 기반 해상 이상 탐지(MADQI)를 위한 새로운 비지도 학습 평가 지표

문제 정의
자동 식별 장치(AIS) 데이터를 이용한 해상 이상 탐지는 안전, 보안 및 환경 보호 측면에서 매우 중요하다. 그러나 이 분야는 레이블이 지정된 정답(ground truth) 데이터의 부재라는 중대한 문제에 직면해 있다. 결과적으로 연구자들은 이상치를 식별하기 위해 Isolation Forest와 같은 비지도 학습 알고리즘에 의존한다. 이러한 방법들은 이상치를 찾아내는 데는 효과적이지만, 본 논문은 기존 문헌의 결정적인 공백을 지적한다. 즉, 객관적이고 정량적이며 도메인 특화된 평가 지표가 부재하다는 점이다. 현재의 평가는 주로 주관적인 시각적 검사나 전문가의 판단에 의존하고 있어, 모델 성능을 벤치마킹하거나 서로 다른 알고리즘을 비교하거나 결과를 체계적으로 검증하는 것을 어렵게 만든다.

방법론
본 연구는 레이블 데이터 없이 비지도 이상 탐지를 평가하기 위해 설계된 복합 지표인 **해상 이상 탐지 품질 지수(MADQI)**를 중심으로 한 종합적인 프레임워크를 제안한다.

1. 데이터 및 특징 공학(Feature Engineering):

   • 본 프레임워크는 시공간 궤적을 포함하는 AIS 데이터(특히 2022년 3월 31일자 미국 데이터)를 활용한다.
   • 원시 데이터(위도, 경도, 대지 속도[SOG], 대지 침로[COG], 타임스탬프)는 하버사인 공식(Haversine formula)을 이용한 공간 거리 기반의 파생 특징 추출 과정을 거쳐 처리된다.
   • 주요 추출된 특징은 다음과 같다:
     • 공간적(Spatial): 연속된 지점 간의 거리.
     • 시간적(Temporal): 메시지 간의 시간 간격.
     • 운동학적(Kinematic): 함축된 속도(거리/시간으로부터 유도됨) 및 보고된 SOG와 함축된 속도 간의 차이.
     • 행동적(Behavioural): 회전율 및 복합 지표.
   • 이상치는 다섯 가지 유형으로 분류된다: 속도 이상, 위치 점프 이상, 시간 간격 이상, 회전율 이상, 그리고 복합 행동 이상.

2. 이상 탐지 모델:

   • 핵심 비지도 모델로 Isolation Forest 알고 것이 사용된다. 이 알고리즘은 무작위 특징 분할을 기반으로 이진 트리(binary trees)를 구축하여 이상치를 격리한다. 이상치는 일반적으로 격리하는 데 더 적은 분할을 필요로 하며, 이는 더 짧은 경로 길이와 높은 이상 점수로 이어진다.

3. MADQI 프레임워크:

   • 모델의 출력을 평가하기 위해 저자들은 네 가지 별도의 구성 요소를 결합한 MADQI를 도입했다:
     • 이상률 일관성(Anomaly Rate Consistency, ARC): 관찰된 이상 비율과 예상 오염 수준(contamination level) 사이의 일치도를 측정한다.
     • 물리적 타당성 점수(Physical Plausibility Score, PPS): 탐지된 이상치가 정상적인 행동과 비교하여 의미 있는 물리적 편차(속도, 거리, 시간 측면)를 보이는지 평가한다.
     • 점수 분포 분리도(Score Distribution Separation, SDS): 정상 관측치와 이상 관측치 사이의 통계적 분리 정도를 정량화한다.
     • 극단 사례 증거(Extreme Case Evidence, ECE): 특히 공간적 변위 측면에서 극단적인 행동 편차가 존재하는지 평가한다.
   • 정규화 전략: 이러한 이질적인 지표들 간의 비교 가능성을 확보하기 위해, 프레 framework는 멀티 청크(multi-chunk) 평가 전략(데이터를 겹치지 않는 하위 집합으로 분할)과 **적응형 스케일링(adaptive scaling)**을 사용한다. 이는 하위 사분위 통계량을 사용하여 스케일링 파라미터를 결정하고, 지수 정규화(exponential normalization) 함수($1 - e^{-x/\tau}$)를 적용한다. 이 접근 방식은 전통적인 소프트 정규화의 "중심화 편향(centralization bias)"을 방지하여, 고성능 구성 요소가 자연스럽게 1에 가까워지도록 한다.

주요 기여
본 논문은 네 가지 주요 기여를 명시한다:

1. 통합 비지도 접근법: 레이블 없이 다중 특징 해상 이상을 탐지하기 위해 Isolation Forest와 하버사인 기반 공간 분석을 사용하는 견고한 프레임워크를 제시한다.
2. 구조화된 이상 분류 체계: 탐지 과정을 구조화하기 위해 다섯 가지 특정 해상 이상 유형(속도, 위치 점프, 시간 간격, 회전율, 복합)을 정의하는 분류 시스템을 제공한다.
3. MADQI 지표: 공간, 시간, 행동 차원을 하나의 해석 가능한 점수로 통합하는 새로운 도메인 특화 레이블 프리(label-free) 품질 지수를 개발했다.
4. 운용 도구: 탐지된 이상치를 인터랙티브 지리 공간 지도(Folium 라이브러리 사용)에 투영함으로써, 비지도 탐지와 해사 당국의 실행 가능한 정보 사이의 간극을 메우는 실질적인 구현을 제공한다.

실험 결과
프레임워크는 100만 개 이상의 AIS 관측치 데이터셋을 대상으로 테스트되었으며, 특히 평가를 위해 50만 개의 관측치 서브셋에 집중하였다.

• 탐지 성능: Isolation Forest 모델은 498개의 이상치(데이터의 약 0.1%)와 도메인 규칙 기반의 10개 극단 이상치를 식별했다.
• MADQI 점수: 프레임워크는 총 80.37%의 MADQI 점수를 달성했다.
  • 극단 사례 증거 (ECE): 정규화된 점수가 1.000으로, 극단적인 공간적 편차를 탐지하는 탁월한 능력을 보여주었다.
  • 이상률 일관성 (ARC): 0.907을 기록하여 관찰된 이상률과 예상 이상률 사이의 강한 일치성을 보였다.
  • 물리적 타당성 (PPS): 0.672를 기록하여 합리적인 물리적 유효성을 나타냈다.
  • 점수 분포 분리도 (SDS): 0.636을 기록하여 정상 사례와 이상 사례 간의 명확한 통계적 분리를 보여주었다.
• 시각화: 결과는 인터랙티브 지도로 시각화되어, 이상치의 공간적 분포에 대한 질적 검증을 가능하게 했다.

의의 및 주장
저자들은 MADQI가 해상 맥락의 비지도 이상 탐지에서 발생하는 근본적인 미해결 과제인 '표준화되고 객관적인 평가 지표의 부재'를 해결한다고 주장한다.

• 해석 가능성: 성능을 ARC, PPS, SDS, ECE로 분해함으로써, 이 지표는 단순히 하나의 불투명한 점수를 제공하는 것이 아니라 모델이 왜 잘 작동하거나 잘 작동하지 않는지에 대한 진단적 통찰을 제공한다.
• 강건성: 멀티 청크 평가와 데이터 기반 적응형 스케일링을 통해 특정 데이터셋의 변동에 대한 민감도를 줄이고 임의적인 파라미터 튜닝을 제거한다.
• 확장성 및 적용 가능성: 프레임워크는 계산 효율적이며 대규모 AIS 데이터셋에 적합하도록 설계되어, 실시간 해상 감시 시스템을 위한 "플러그 앤 플레이(plug-and-play)" 솔루션을 제공한다.
• 모델 불가지론(Model Agnosticism): Isolation Forest를 통해 입증되었으나, 저자들은 이 지표가 다양한 비지도 기법의 벤치마킹을 용이하게 하도록 모델에 구애받지 않게 설계되었다고 밝히고 있다.

결론적으로, MADQI는 해상 AIS 데이터의 이상 탐지를 주관적 분석에서 정량적이고 도메인 인지적인 평가로 전환하는 신뢰할 수 있고 의미 있으며 확장 가능한 접근 방식을 제공한다.