기술 요약: GraphLand: 다양한 산업 데이터에 대한 그래프 머신러닝 모델 평가

문제 제기

실제 산업 응용 분야에서 그래프 구조 데이터가 널리 존재함에도 불구하고, 그래프 머신러닝 (GML) 모델, 특히 그래프 신경망 (GNN) 과 그래프 기초 모델 (GFM) 의 평가는 제한된 벤치마크 세트에 의해 제약받고 있습니다. 현재 인기 있는 벤치마크는 주로 학술 인용 네트워크 (예: Cora, Citeseer, Pubmed) 와 소수의 전자상거래 공동 구매 네트워크에 의존합니다. 이러한 데이터셋은 다음과 같은 몇 가지 치명적인 한계를 겪고 있습니다:

• 도메인 협소성: 사회 네트워크, 웹 그래프, 도로 네트워크와 같은 실제 세계 그래프의 다양성을 반영하지 못하고 단일 또는 매우 제한된 응용 도메인만을 다룹니다.
• 특성 동질성: 기존 데이터셋 대부분이 텍스트 기반 노드 속성만을 제공하여, 산업 환경에서 흔히 발생하는 수치 및 범주형 특성의 복잡한 혼합을 간과합니다.
• 구조적 편향: 이들은 대부분 동질적 (에지가 유사한 노드를 연결) 인 반면, 많은 산업 그래프는 비동질적입니다.
• 평가 격차: 표준 벤치마크는 현실적인 시간적 데이터 분할과 귀납적 설정을 종종 결여하여, 시간적 분포 변화 하에서의 모델 성능이나 사전 학습 데이터 없이 새로운 노드가 나타날 때의 성능을 평가하지 못합니다.
• 기초 모델의 한계: 제안된 GFM 들은 종종 텍스트 속성 그래프에서만 평가되어, 임의의 비텍스트 노드 특성 세트를 가진 그래프로의 일반화라는 과제를 무시합니다.

결과적으로 산업 환경에서 GML 모델의 진정한 일반화 능력을 평가할 수 있는 신뢰할 수 있고 다양하며 현실적인 벤치마크가 부족합니다.

방법론

이러한 격차를 해소하기 위해 저자들은 산업 응용 분야와 미활용된 공개 데이터 소스에서 파생된 14 개의 다양한 그래프 데이터셋으로 구성된 벤치마크 GraphLand를 소개합니다.

데이터셋 구성

이 벤치마크는 웹 사기 탐지, 예술가 소셜 네트워크, 도로 교통 예측, 광고 클릭률 (CTR) 예측, 크라우드소싱 작업자 사기 탐지 등 다양한 도메인을 아우르는 14 개의 데이터셋을 포함합니다. 주요 특징은 다음과 같습니다:

• 다양성: 그래프는 약 1 만 1 천 개에서 약 3 백만 개의 노드까지 다양하며, 밀도, 지름, 군집 계수가 각기 다릅니다.
• 풍부한 특성: 노드는 사용자 관심사, 도로 구간 메타데이터, 제품 가격 등 수치 및 범주형 특성을 포함한 다양한 속성을 가지며, 순수한 텍스트 설명을 넘어섭니다.
• 작업 다양성: 작업에는 이진 분류 (사기 탐지), 다중 클래스 분류 (주제 예측, 지역 예측), 회귀 (교통 속도, 조회수, CTR) 가 포함됩니다.
• 데이터 분할: 저자들은 대부분의 데이터셋에 대해 세 가지 명확한 분할 전략을 제공합니다:
  1. RL (Random Low): 10% 학습, 10% 검증, 80% 테스트.
  2. RH (Random High): 50% 학습, 25% 검증, 25% 테스트.
  3. TH (Temporal High): 시간적 진화에 기반한 50% 학습, 25% 검증, 25% 테스트로, 현실적인 분포 변화를 시뮬레이션합니다.
  4. THI (Temporal High Inductive): TH 와 유사하지만, 학습 중 테스트 노드와 이에 연결된 에지가 사용되지 않는 엄격한 귀납적 설정을 따릅니다.

실험 설정

저자들은 다양한 모델 클래스를 비교하는 광범위한 실험을 수행했습니다:

• 그래프 무관 베이스라인: ResMLP (ResNet 스타일의 MLP) 와 Gradient-Boosted Decision Trees (GBDTs: XGBoost, LightGBM, CatBoost).
• 그래프 증강 베이스라인: **Neighborhood Feature Aggregation (NFA)**로 증강된 위 모델들. 이는 집계된 이웃 통계 (평균, 최대, 최소) 를 노드 특성에 추가합니다.
• 그래프 신경망 (GNN): 고전적 아키텍처 (GCN, GraphSAGE) 와 어텐션 기반 모델 (GAT, Graph Transformer).
• 그래프 기초 모델 (GFM): OpenGraph, AnyGraph, TS-GNN, GCOPE 의 평가로, 비텍스트 특성 처리 및 도메인 간 전이 능력을 중점적으로 살펴봅니다.

모든 모델은 엄격한 하이퍼파라미터 튜닝을 거쳤습니다. 실험은 그래프 구조와 시간적 변화의 영향을 분리하기 위해 전도적 (transductive) 및 귀납적 (inductive) 설정 모두에서 수행되었습니다.

주요 결과

1. 그래프 구조의 유용성

GraphLand 데이터셋의 그래프 구조는 매우 유익합니다. GNN 은 일관되게 그래프 무관 ResMLP 모델보다 우수한 성능을 보였습니다. 또한, GBDT 에 NFA 를 증강하면 성능이 크게 향상되어 종종 표준 GNN 과 맞먹거나 초과하는 결과를 보였으며, 특히 회귀 작업에서 두드러졌습니다. 이는 그래프에서 파생된 특성을 가진 GBDT 가 산업 환경에서 강력한 베이스라인 역할을 한다는 것을 확인시켜 줍니다.

2. GNN 의 성능

• 어텐션 메커니즘: 어텐션 기반 GNN(GAT, Graph Transformer) 은 대부분의 데이터셋에서 고전적 GNN(GCN, GraphSAGE) 보다 일반적으로 우수한 성능을 보여, 다양한 산업 그래프에서 콘텐츠에 기반한 이웃 메시지 가중치가 중요함을 시사합니다.
• 시간적 변화: 무작위 (RH) 분할에 비해 시간적 (TH) 분할 하에서 모델 성능이 현저히 저하되어, 현실적인 분포 변화가 상당한 도전 과제를 제기함을 나타냅니다.
• 귀납적 설정: 전도적 설정에 비해 귀납적 (THI) 설정에서 성능이 더욱 하락하여, 진화하는 그래프에서 보이지 않는 노드로의 일반화가 어렵다는 점을 강조합니다.

3. 현재 기초 모델의 한계

현재 GFM 들 (OpenGraph, AnyGraph, TS-GNN, GCOPE) 은 GraphLand 데이터셋에서 경쟁력 있는 결과를 내지 못했습니다.

• 비텍스트 노드 특성과 대규모 그래프 처리에 어려움을 겪었습니다.
• 성능은 종종 고전적 GNN 은 물론 GBDT 베이스라인보다도 열악했습니다.
• 많은 모델이 더 큰 데이터셋에서 런타임 오류나 메모리 한계에 직면했으며, 제공된 구현체 중 어느 것도 노드 회귀 작업을 효과적으로 지원하지 못했습니다.

의의 및 주장

저자들은 GraphLand 를 GML 방법론에 대한 더 현실적이고 다양한 평가로 나아가는 필수적인 단계로 위치시킵니다. 논문은 다음과 같은 의의를 주장합니다:

1. 벤치마킹의 현실성: GraphLand 는 인용 네트워크의 지배를 넘어 다양한 산업 도메인, 특성 유형, 구조적 속성을 아우르는 노드 속성 예측을 위한 최초의 통합 벤치마크를 제공합니다.
2. 연구 격차 부각: 이 벤치마크는 현재 GML 방법론, GFM 을 포함하여, 시간적 분포 변화에 견고하지 않거나 임의의 노드 특성 세트를 처리할 능력이 부족함을 드러냅니다. 이러한 변화에 견딜 수 있는 모델 설계가 중요한 연구 방향임을 식별합니다.
3. 베이스라인 재평가: 결과는 그래프 기반 특성을 가진 GBDT 가 산업 환경에서 GNN 의 강력한 경쟁자임을 보여주며, GNN 이 항상 우월하다는 가정에 도전합니다.
4. 기초 모델 평가: 이러한 데이터셋에서 현재 GFM 들의 부진한 성능은 텍스트를 넘어선 특성 일반화와 관련하여 진정한 일반화 가능한 그래프 기초 모델을 만드는 문제가 아직 해결되지 않았음을 시사합니다.

저자들은 GraphLand 가 미래 연구를 위한 신뢰할 수 있는 시험대 역할을 한다고 결론지으며, 초기 후속 연구들이 이미 이 벤치마크를 활용하여 이러한 데이터셋에서 강력한 결과를 달성하는 GFM 을 개발했다고 언급합니다. 데이터셋과 코드는 GitHub 와 PyTorch Geometric 을 통해 공개적으로 제공됩니다.