When Graph Structure Becomes a Liability: A Critical Re-Evaluation of Graph Neural Networks for Bitcoin Fraud Detection under Temporal Distribution Shift

1. 문제 제기 (Problem)

기존의 비트코인 사기 탐지 연구 (Elliptic 데이터셋 기반) 에서는 GCN, GraphSAGE, GAT, EvolveGCN 등의 그래프 신경망 (GNN) 이 특징 (Feature) 만을 사용하는 기저 모델 (Baseline) 보다 성능이 뛰어나다는 것이 정설로 받아들여졌습니다. 그러나 저자는 이러한 합의가 평가 프로토콜의 결함과 **시간적 분포 변화 (Temporal Distribution Shift)**에 기인한 인위적 결과일 가능성을 제기합니다.

• 핵심 문제: 기존 연구들은 대부분 전도적 (Transductive) 평가 방식을 사용하거나, 테스트 기간의 그래프 구조를 학습 중에 간접적으로 노출시키는 방식을 취했습니다. 이는 실제 배포 환경 (미래의 거래를 예측하는 인덕티브 설정) 과 괴리가 있습니다.
• 분포 변화: Elliptic 데이터셋의 테스트 기간에는 사기 거래의 비율이 훈련 기간 (약 11.6%) 에 비해 급격히 감소하여 0.3% 수준까지 떨어지는 심각한 **사전 확률 변화 (Prior Shift)**가 발생합니다.
• 가설: 엄격한 인덕티브 (Inductive) 프로토콜 (학습 시 테스트 기간의 노드와 엣지를 전혀 보지 않음) 과 시간별 (Per-timestep) 평가를 적용하면, GNN 의 성능이 기존 주장보다 현저히 낮아지며 오히려 전통적인 머신러닝 모델이 우위를 점할 수 있다.

2. 방법론 (Methodology)

저자는 기존 연구의 평가 방식을 재검토하기 위해 엄격한 실험 프로토콜을 설계했습니다.

• 엄격한 인덕티브 프로토콜 (Strict Inductive Protocol):
  • 학습 데이터: 시간 단계 (Time-step) 34 까지의 레이블이 지정된 하위 그래프만 사용.
  • 학습 제한: 메시지 전달 (Message Passing) 과 배치 정규화 (Batch Normalization) 통계가 학습 기간 동안 테스트 기간의 노드나 엣지를 절대 관찰하지 못하도록 차단.
  • 평가: 전체 그래프 (테스트 기간 포함) 에서 추론 수행.
• 비교 실험 설계:
  • 10 개의 시드 (Seeds) 반복: 결과의 통계적 유의성을 확보하기 위해 10 번의 독립적인 시드로 실행.
  • 페어링된 통제 실험: 아키텍처, 옵티마이저, 손실 함수, 시드를 동일하게 유지한 채 '전도적 (Transductive)' 학습과 '인덕티브' 학습을 직접 비교하여 데이터 누출 (Leakage) 의 영향을 정량화.
  • 그래프 구조 제거 및 무작위화: 실제 거래 엣지, 엣지 제거 (MLP 로 대체), 엣지 무작위 셔플 (Shuffled edges) 을 비교하여 그래프 구조의 실제 기여도를 분석.
  • 하이브리드 모델 검증: GraphSAGE 임베딩과 원시 특징 (Raw Features) 을 결합한 모델이 실제로 성능 향상을 가져오는지 재검증.
• 모델 구성: MLP, GCN, GraphSAGE, GAT, Random Forest (RF), XGBoost 등 다양한 아키텍처를 동일한 하이퍼파라미터 조건에서 훈련.

3. 주요 기여 (Key Contributions)

1. 평가 프로토콜의 인위적 효과 규명: 10 개의 시드에서 수행된 페어링된 실험을 통해, 전도적 학습 (테스트 데이터 노출) 과 인덕티브 학습의 F1 점수 차이가 39.5 포인트에 달함을 증명했습니다. 이는 아키텍처의 차이보다 평가 프로토콜의 누출이 성능 차이의 주원인임을 보여줍니다.
2. 그래프 구조의 역설적 발견: Elliptic 데이터셋의 조건 (희소성, 분포 변화) 하에서는 실제 거래 그래프보다 무작위로 섞인 엣지 (Random Edges) 가 GNN 성능을 더 높였습니다. 심지어 엣지를 완전히 제거한 상태 (MLP) 가 실제 그래프를 사용한 것보다 성능이 좋았습니다.
3. 하이브리드 모델의 실패 증명: 이전 초안에서 보고된 "GraphSAGE 임베딩 + 원시 특징" 하이브리드 모델의 F1 0.807 기록은 엄격한 인덕티브 프로토콜 하에서 0.699 로 급감했습니다. 이는 그래프 구조가 원시 특징에 비해 실질적인 기여를 하지 못함을 의미합니다.
4. 새로운 벤치마크 제시: 10 시드, 시간별 (Per-timestep) F1, 95% 부트스트랩 신뢰구간을 포함한 엄격한 벤치마크를 공개하여 향후 연구의 기준을 마련했습니다.

4. 주요 결과 (Results)

A. 성능 순위의 반전 (Rank Inversion)

• 엄격한 인덕티브 환경에서:
  • Random Forest (원시 165 차원 특징): F1 = 0.821 (최고 성능)
  • GraphSAGE (가장 강력한 GNN): F1 = 0.689
  • MLP: F1 = 0.549
  • 결론: 기존 연구에서 GNN > MLP 순서였으나, 엄격한 평가 하에서는 RF > GNN > MLP 순서로 반전되었습니다.

B. 전도적 vs 인덕티브 격차 (Transductive vs Inductive Gap)

• GraphSAGE 를 동일한 조건으로 학습했을 때:
  • 전도적 학습 (테스트 엣지 노출): F1 = 0.294
  • 인덕티브 학습 (테스트 엣지 차단): F1 = 0.689
  • 격차: 39.5 포인트 (Cohen's d = 15.8, p = 2.6 × 10⁻¹²).
  • 해석: 테스트 기간의 엣지를 학습 중에 보는 것이 오히려 성능을 떨어뜨리는 '누출'이 아니라, 분포 변화가 심한 환경에서 테스트 데이터가 학습에 포함되면 모델이 오히려 혼란을 겪어 성능이 급락함을 의미합니다.

C. 그래프 구조의 해악 (Graph Structure as a Liability)

• 엣지 무작위화 실험: 실제 거래 그래프 (F1 0.290) 보다 무작위 엣지 (F1 0.380) 가 성능이 8.9 포인트 높았습니다.
• 원인: 비트코인 거래 그래프는 매우 희소하며 (평균 차수 2.3), 사기 노드가 합법적 노드 (거래소, 지갑 등) 로 둘러싸여 있습니다. 분포 변화가 발생하면 GNN 의 메시지 전달은 사기 노드의 표현을 합법적 노드 영역으로 끌어당겨 (Neighbourhood Noise) 오히려 성능을 저하시킵니다.

D. 시간적 붕괴 (Temporal Collapse)

• 모든 모델은 테스트 기간의 42 단계 (사기율 11.1% → 1.8% 로 급감) 이후 성능이 급격히 붕괴했습니다.
• 이는 특징의 분포 변화 (Covariate Shift) 가 아니라 사기율의 급격한 감소 (Prior Shift) 때문이며, 온도 스케일링 (Temperature Scaling) 같은 보정 방법으로는 해결되지 않았습니다.

5. 의의 및 시사점 (Significance)

1. 벤치마크의 재정의: Elliptic 데이터셋과 같은 시간적 분포 변화가 심한 사기 탐지 문제에서는, 원시 특징 (Raw Features) 만을 사용하는 Random Forest 가 가장 강력한 베이스라인입니다. GNN 을 도입하려면 이 베이스라인을 엄격한 인덕티브 프로토콜 하에서 능가해야만 그 가치가 입증됩니다.
2. 평가 프로토콜의 중요성 강조: 기존 문헌의 높은 성능 수치는 전도적 학습이나 데이터 누출로 인한 인위적 결과일 가능성이 높습니다. 향후 연구는 학습 시 테스트 기간의 정보 (노드, 엣지, 배치 통계) 가 절대 유입되지 않도록 엄격히 통제해야 합니다.
3. 그래프 구조의 한계: 그래프 구조가 항상 유익한 것은 아닙니다. 특히 노드 간 동질성 (Homophily) 이 낮고, 분포 변화가 심하며, 엣지 속성이 없는 희소 그래프 환경에서는 오히려 그래프 구조가 노이즈로 작용하여 성능을 저해할 수 있습니다.
4. 실무적 조언: 배포 환경에서는 모델의 재학습 (Retraining) 이 재보정 (Recalibration) 보다 중요합니다. 사기율의 급격한 변화는 의사결정 임계값의 이동을 요구하므로, 슬라이딩 윈도우를 통한 주기적 재학습이 필수적입니다.

결론적으로, 이 논문은 비트코인 사기 탐지라는 특정 도메인과 데이터셋 조건 하에서 그래프 신경망이 오히려 단순 머신러닝보다 열등할 수 있음을 통계적으로 엄밀하게 증명하였으며, 그래프 학습 연구의 평가 프로토콜에 대한 근본적인 재검토를 촉구하고 있습니다.