Generalist Graph Anomaly Detection via Prototype-Based Distillation

기술 요약: 프로토타입 기반 증류 (ProMoS) 를 통한 범용 그래프 이상 탐지

문제 제기
그래프 이상 탐지 (GAD) 는 금융, 소셜 네트워크, 사이버 보안과 같은 고위험 분야에서 중요합니다. 그러나 기존 GAD 방법들은 일반적으로 "그래프 하나당 모델 하나" 프로토콜을 따르며, 새로운 그래프마다 재학습과 광범위한 하이퍼파라미터 튜닝이 필요하여 막대한 계산 및 운영 비용을 초래합니다. 최근의 "범용" GAD 모델들은 그래프 간에 이전 가능한 단일 탐지기를 학습하려 시도하지만, 기존 솔루션들은 희소하고 비용이 많이 드는 이상 레이블에 크게 의존합니다. furthermore, 이러한 지도식 범용 방법들은 종종 보지 못한 이상 패턴에 대한 일반화 실패 또는 추론 중 퓨샷 (few-shot) 지원을 요구하여, 이상 레이블이 본질적으로 존재하지 않거나 진화하는 비정상 행동 공간을 충분히 커버하지 못하는 오픈 월드 시나리오에서의 견고성을 제한합니다.

방법론: ProMoS
이러한 한계를 해결하기 위해 저자들은 레이블이 없는 데이터에서 풍부한 정상성을 모델링하고, 처음부터 학습하거나 이상 레이블에 의존하지 않는 최초의 비지도 범용 GAD 프레임워크인 ProMoS(Prototype-guided Mixture-of-Students) 를 제안합니다. 이 프레임워크는 세 가지 핵심 구성 요소로 구성됩니다:

1. 동결된 교사 (Teacher) 로부터의 지식 증류:
   GNN 을 처음부터 학습하는 대신, ProMoS 는 대규모 레이블 없는 그래프에서 학습된 사전 학습된 자기지도식 GNN(SSL) 을 동결된 "교사"로 활용합니다. 이 교사는 실제 세계 그래프에서 정상 노드의 우세함으로 인해 강력한 "정상성 사전 지식"을 인코딩합니다. 경량 어댑터가 교사의 표현을 학생 공간에 정렬합니다.

2. 혼합 학생 (Mixture-of-Students, MoS) 아키텍처:
   표현력과 효율성을 균형 있게 맞추기 위해, 학생 모듈은 다음을 포함하는 MoS 아키텍처를 사용합니다:

   • 공유 브랜치: 항상 활성화되며, 이 브랜치는 글로벌 규칙성과 이전 가능한 정상 패턴을 포착합니다.
   • 개인화 브랜치: 경량 학생 모델 풀을 호스팅합니다. 라우팅 네트워크가 각 노드에 대한 학생의 서브셋을 동적으로 선택하기 위해 희소 활성화 가중치 (Top-K) 를 계산하여, 과파라미터화 없이 다양한 지역적 정상성 패턴을 포착할 수 있게 합니다.

3. 프로토타입 기반 소프트 레이블 증류:
   이질적인 그래프에 걸쳐 동결된 교사와 학생 간의 간극을 메우기 위해, ProMoS 는 프로토타입 주도 증류 전략을 도입합니다.

   • 시맨틱 프로토타입: 학습 가능한 프로토타입 코드북 (학습 특징에 대한 k-means 로 초기화) 이 시맨틱 앵커 역할을 합니다.
   • 소프트 레이블 정렬: 인스턴스 수준의 특징 매칭을 강제하는 대신, 교사와 학생의 출력이 공유된 프로토타입 공간에서 정렬됩니다. 손실은 이러한 프로토타입에 대한 교사와 학생의 확률 분포 간의 Kullback–Leibler(KL) 발산을 최소화합니다.
   • 불일치 인식 헌신 및 정제 (DCR): 도메인 간 시맨틱 및 구조적 이질성을 처리하기 위해, 프레임워크는 교사 표현을 안정적인 프로토타입으로 끌어당기는 헌신 손실과 프로토타입을 업데이트하는 정제 손실을 포함합니다. 핵심적으로, 불일치 인식 가중치 메커니즘은 프로토타입 업데이트 중 잠재적 이상치인 신뢰할 수 없는 노드의 가중치를 적응적으로 낮추어 시맨틱 공간에 편향이 생기지 않도록 방지합니다.

추론 메커니즘
보지 못한 그래프에 대한 추론 중 ProMoS 는 재학습이나 미세 조정 (zero-shot) 이 필요 없습니다. 이상 점수는 두 가지 보완적 신호를 융합하여 도출됩니다:

1. 증류 편향: 교사의 소프트 레이블과 학생의 예측 간의 시맨틱 불일치 (KL 발산).
2. 기하학적 편차: 임베딩과 그 양자화된 프로토타입 간의 기하학적 불일치.
   두 지표 모두에서 높은 값을 보이는 노드가 이상으로 식별됩니다.

주요 기여

• 최초의 비지도 범용 GAD: ProMoS 는 레이블이 있는 데이터 없이 그래프 간 일반화를 달성한 최초의 프레임워크로, 희소한 이상 주석에 대한 의존성을 제거합니다.
• 새로운 비지도 KD 프레임워크: 사전 학습된 SSL 교사로부터의 사전 지식을 경량 MoS 모듈로 이전하여 표현력과 효율성을 균형 있게 조정합니다.
• 향상된 일반화 능력: 프로토타입 기반 소프트 레이블 증류와 불일치 인식 목적 함수의 도입은 데이터셋별 세밀한 패턴에 대한 과적합을 피함으로써 그래프 간 이전성을 향상시킵니다.
• 이론적 보장: 저자들은 MoS 프레임워크의 기대 예측 오차가 개별 학생 중 어느 것보다 크지 않음을 보여주는 이론적 증명을 제공합니다.

실험 결과
다양한 도메인 (인용 네트워크, 소셜 네트워크, 금융 거래 등) 의 15 개 실제 그래프에서 광범위한 실험이 수행되었으며, 모델은 부분 집합에서 학습되고 보지 못한 그래프에서 테스트되었습니다.

• 성능: ProMoS 는 일관되게 최첨단 지도식, 비지도식, 범용 베이스라인 (ARC, UNPrompt, AnomalyGFM 포함) 을 능가했습니다. 11 개 테스트 데이터셋 중 9 개에서 최고의 AUROC 를 달성했고 나머지 두 개에서는 두 번째로 좋은 성과를 거두었으며, 가장 강력한 베이스라인 (DOMINANT) 대비 평균 14.12% 의 개선을 기록했습니다.
• Zero-Shot 능력: 추론을 위해 퓨샷 샘플을 종종 요구하는 지도식 범용 방법과 달리, ProMoS 는 순수한 제로샷 설정에서 작동합니다.
• 효율성과 확장성: ProMoS 는 뛰어난 효율성을 보여주어 학습 중 GCN 보다 4.8 배, 추론 중 1.4 배 빠르게 실행되었습니다. 확장성 분석은 엣지 수에 대해 추론 시간이 부분 선형적으로 증가 ($T \propto |E|^{0.3}$) 함을 보여 대규모 그래프에 적합함을 입증했습니다.
• 견고성: 이 프레임워크는 다양한 교사 백본 (예: GCA, GraphCL, BGRL) 과 사전 학습 데이터셋 구성에 대해 견고함을 보여주었습니다.

의의 및 주장
이 논문은 ProMoS 가 레이블 없는, 제로샷 범용 GAD를 향한 실용적인 경로를 제시한다고 주장합니다. 풍부한 레이블 없는 데이터를 활용하고 지식 증류 패러다임을 통해 정상성을 모델링함으로써, 이 연구는 고위험 도메인에서 확장 가능한 이상 탐지를 위한 새로운 경로를 확립합니다. 저자들은 그들의 접근 방식이 비용이 많이 드는 주석과 반복적인 학습에 대한 의존성을 줄여 배포 효율성을 향상시킨다고 강조합니다. 그들은 방법이 견고하지만 데이터 이동으로 인한 편향된 예측과 같은 잠재적 위험이 남아 있음을 인정하며, 모델 출력을 인간-루프 의사 결정 프로세스 내 보조 신호로 사용할 것을 권장합니다.