기술 요약: 그래프 파운데이션 모델의 노드 속성 예측에 대한 공정한 평가

문제 정의

그래프 구조 데이터의 편재성으로 인해 그래프 파운데이션 모델(Graph Foundation Models, GFMs)의 개발이 큰 주목을 받고 있습니다. 특히, 노드 속성 예측(특성, 구조 및 알려진 레이블로부터 미지의 노드 레이블을 예측하는 것)을 위해 설계된 GFM은 사기 탐지부터 추천 시스템에 이르기까지 다양한 응용 분야에서 높은 관심을 받고 있습니다. 그러나 이 분야에는 통일된 평가 설정이 부족합니다. 기존 연구들은 매우 상이한 프로토콜을 사용하며, 종종 좁고 대표성이 없는 데이터셋과 약한 베이스라인을 채택하고 있습니다. 이러한 불일치는 서로 다른 GFM 간, 그리고 GFM과 전통적인 그래프 신경망(GNN) 간의 신뢰할 수 있는 비교를 방해합니다. 또한, "파운데이션 모델"이라는 용어가 매우 다른 그래프 도메인(예: 분자 vs. 사회적 네트워크)과 태스크를 대상으로 하는 모델들에 느슨하게 적용되어, 모델의 실제 범위와 역량을 모호하게 만듭니다.

방법론

이러한 문제를 해결하기 위해, 저자들은 강력하고 잘 튜닝된 GNN 베이스라인을 대상으로 노드 속성 예측을 위한 9개의 최신 GFM을 엄격하고 대규모로 재평가하는 실증적 연구를 수행했습니다.

1. 데이터셋

본 연구는 GraphLand 벤치마크(Bazhenov et al., 2025)의 10개 데이터셋을 활용합니다. 이 벤치마크는 이커머스, 교통, 사회적 네트워크 등 다양한 도메인의 실제 산업 응용 사례를 나타냄으로써, 기존 데이터셋의 한계(버그, 좁은 도메인 커버리지, 의심스러운 실질적 관련성 등)를 극복하기 위해 특별히 설계되었습니다. 저자들은 표준 RL(Random Label) 데이터 분할을 사용합니다.

2. 베이스라인 (GNNs)

공정한 비교를 보장하기 위해, 저자들은 튜닝이 부족한 베이스라인을 피했습니다. 저자들은 다음과 같은 개선된 GNN 아키텍처의 두 가지 버전을 채택했습니다:

• Platonov et al. (2023b): 스킵 연결(skip-connections) 및 정규화(normalization)와 같은 아키텍처 개선 사항이 포함된 GCN, GraphSAGE, GAT 및 Local Graph Transformer(LGT)의 변형들입니다.
• Luo et al. (2024): 에고-이웃 임베딩 분리(ego-neighbor embedding separation)와 같은 추가적인 아키텍처 옵션이 포함된 유사한 개선된 변형들입니다.
• 하이퍼파라미터 튜닝: 베이스라인을 과소 튜닝하는 경향에 대응하기 위해, 두 베이스라인 세트 모두에 대해 TPE 알고리즘을 사용하여 100회의 시행을 거치는 광범위한 하이퍼파라미터 탐색을 수행했습니다.

3. 평가 대상 모델

연구에서는 메커니즘별로 분류된 9개의 GFM을 평가합니다:

• 비-PFN 기반 GFM: OpenGraph, AnyGraph, GCOPE, SAMGPT, MDGFM, TS-GNN. 이러한 모델들은 일반적으로 네이티브한 그래프 인식 사전 학습 없이 특성 투영, 차원 축소 또는 그래프를 테이블로 변환하는 메커니즘에 의존합니다.
• PFN 기반 GFM: G2T-FM, TAG, GraphPFN. 이들은 사전 데이터 적합 네트워크(Prior-data Fitted Networks, PFN) 패러다임에 기반합니다. 이들은 합성 데이터셋에서 학습하여 **인컨텍스트 학습(In-Context Learning, ICL)**을 수행하며, 데이터셋별 학습 없이 단 한 번의 순방향 패스(forward pass)로 예측을 수행합니다.
  • G2T-FM과 TAG는 노드 특성에 그래프 정보를 증강하여 사전 학습된 테이블형 파운데이션 모델(LimiX-16M 또는 TabPFNv2)에 입력합니다.
  • GraphPFN은 PFN 구조 내에 메시지 패싱을 직접 통합하는 커스텀 그래프 네이티브 아키텍처를 사용합니다.

4. 평가 프로토콜

모델은 지원되는 모든 체제 하에서 평가됩니다:

• 인컨텍스트 학습 (ICL): 사전 학습된 모델을 사용한 제로샷(zero-shot) 예측.
• 파인 튜닝 (FT): 모델 파라미터에 대한 데이터셋별 학습.
• 지표: 정확도(multiclass), 평균 정밀도(binary), R²(regression)를 사용하며, 데이터셋 전체에 대해 평균 순위(average rank)와 평균 정규화 점수(average normalized score)로 집계합니다.
• 효율성: 하이퍼파라미터 튜닝, 학습 및 추론에 소요되는 계산 비용을 측정합니다.

주요 결과

1. 예측 성능

결과는 GFMs를 두 개의 뚜렷한 그룹으로 명확히 구분합니다:

• 비-PFN 기반 GFM: 이 모델들은 모든 데이터셋에서 잘 튜닝된 고전적 GNN보다 일관되게 낮은 성능을 보이며, 종종 상당한 차이로 뒤처집니다.
• PFN 기반 GFM: 이 모델들은 일반적으로 GNN보다 높은 성능을 보입니다.
  • ICL 체제에서 PFN 기반 모델들(특히 GraphPFN, G2T-FM, TAG)은 대부분의 데이터셋에서 최상위 결과를 달성하며 모든 GNN을 능가합니다. GraphPFN이 평균 순위에서 선두를 차지합니다.
  • 파인 튜닝 체제에서 PFN 기반 모델들의 성능은 크게 향상됩니다. **GraphPFN (FT)**이 전체 최고의 모델로 부상하며, 10개 데이터셋 모두에서 큰 차이로 가장 좋은 결과를 달s합니다.
  • 아키텍처 비교: PFN 기반 모델 중 LimiX-16M 백본(G2T-FM, TAG)을 사용하는 모델이 TabPFNv2를 사용하는 모델보다 성능이 좋습니다. 그러나 메시지 패싱을 통해 그래프 구조를 네이티브하게 처리하는 GraphPFN이 ICL 및 FT 체제 모두에서 테이블 백본 접근 방식(G2T-FM 및 TAG)보다 우수한 성능을 보입니다.

2. 계산 효율성

• 추론: GNN은 추론 시 훨씬 더 효율적이며, 일반적으로 1초 미만이 소요됩니다. 반면, PFN 기반 GFM은 전체 컨텍스트를 단일 순방향 패스로 처리하는 데 따른 계산 비용 때문에 수 초에서 수 분이 소요됩니다 (일부 TAG 모델은 최대 30분 소요).
• 학습/개발: GNN은 각 새로운 데이터셋에 대해 광범위한 하이퍼파라미터 튜닝과 여러 번의 학습 실행(수백 번의 순방향/역방향 패스)이 필요합니다. PFN 기반 모델은 일단 사전 학습되면 튜닝해야 할 하이퍼파라미터가 훨씬 적으며(예: 파인 튜닝을 위한 학습률만 필요), 학습 실행 횟수도 적습니다. 개발 시간이 중요하고 추론 지연 시간이 덜 제한적인 시나리오에서는 PFN이 선호될 수 있습니다.

주요 기여

1. 통합 평가 프레임워크: 본 논문은 GraphLand 벤치마크와 강력하고 잘 튜닝된 GNN 베이스라인을 활용하여 노드 속성 예측을 위한 공정하고 엄격한 평가 프로토콜을 확립합니다.
2. 성능 격차 식별: 현재의 많은 GFM(비-PFN 기반)이 적절히 튜닝된 GNN보다 성능이 낮음을 입증함으로써, "파운데이션 모델"이 그래프 작업에서 본질적으로 우월한 성능을 보장한다는 가설에 의문을 제기합니다.
3. PFN 패러다임 검증: PFN(사전 데이터 적합 네트워크) 패러다임에 기반한 GFM만이 ICL 및 파인 튜닝 설정 모두에서 GNN을 능가하는 최첨단 성능을 달성함을 확인합니다.
4. 아키텍처 통찰: 테이블형 파운데이션 모델을 그래프에 적응시키는 것(특성 증강을 통해)도 작동하지만, 네이티브 그래프 인식 아키텍처(GraphPFN과 같은)가 그래프를 테이블로 취급하는 방식(G2T-FM 및 TAG)보다 더 우수한 결과를 낸다는 점을 강조합니다.
5. 비용-편익 분석: PFN의 높은 추론 비용과 GNN 대비 낮은 개발/튜닝 비용 사이의 트레이드오프에 대한 상세한 분석을 제공합니다.

의의 및 주장

저자들은 이 연구가 분야의 현 상태를 명확히 하는 "공정하고 엄격한 재평가"를 제공한다고 주장합니다. 주요 의의는 다음과 같습니다:

• 오해 교정: 모든 모델이 "GFM"으로 불린다고 해서 효과적인 것은 아니며, 오직 PFN 패러다임을 활용하는 모델만이 GNN보다 성능상의 이점을 제공한다는 점을 보여줍니다.
• 범위 정의: "GFM"이라는 용어가 정의가 불분명함을 지적하며, 연구자들이 모델의 범위(예: 특정 데이터 도메인 또는 태스크)를 명시적으로 밝힐 것을 촉구합니다.
• 실무적 지침: 실무자들에게 명확한 트레이드오프 분석을 제공합니다: 만약 추론 속도가 가장 중요하다면 잘 튜닝된 GNN이 여전히 지배적인 선택이며, 최소한의 튜닝으로 새로운 데이터셋에 빠르게 적응하는 것이 필요하다면 추론 지연 시간이 높더라도 PFN 기반 GFM이 더 나은 선택지입니다.

본 논문은 비록 이 분야가 아직 통일된 솔루션으로 수렴하지는 않았지만, 특정 애플리케이션에서 추론 계산 비용을 수용할 수 있다면 PFN 패러다임이 그래프 파운데이션 모델(노드 속성 예측 분야)의 가장 유망한 방향임을 결론짓습니다.