기술 요약: 메시지가 아닌 필터를 게이팅하라 (Gate the Filter, Not the Message)

문제 정의

사전 전파 그래프 신경망(Pre-propagation Graph Neural Networks, PP-GNNs)은 그래프 의존적 연산을 학습 루프에서 분리함으로써 표준 메시지 전달 GNN(MP-GNNs)의 확장성 한계를 해결한다. PP-GNN에서는 그래프 전파를 밀집된 노드 특징(hops)을 생성하기 위한 전처리 단계로서 단 한 번 수행하며, 모델은 오직 이 특징들만을 사용하여 학습한다. 이러한 접근 방식은 거대 그래프에 대한 학습을 가능하게 하고 수십 배의 속도 향상을 가져오지만, 한 가지 지속적인 의문이 남아 있다: 더 복잡한 특징 어그리게이터(feature aggregator)가 반드시 더 나은 성능을 보장하지는 않는다는 점이다.

경험적 관찰에 따르면, 단순한 MLP 기반 어그리게이터(예: SIGN)가 다양한 벤치마크에서 정교한 hop-attention 메커니즘(예: HOGA)과 대등하거나 오히려 더 나은 성능을 보이는 경우가 많다. 기존의 연구들은 이를 단순히 모델의 구조적 용량(architectural capacity) 문제로 돌리며 설명하려 했으나, 이는 충분하지 않다. 본 논문은 그 한계가 어그리게이터의 복잡성이 아니라, 사전 계산된 확산 기저(diffusion basis) 내에서 필터 계수가 노드 및 채널 간에 어떻게 공유되는가에 있다고 주장한다. 구체적으로:

• MLP 기반 아키텍처는 채널 의존적이지만 노드 간에는 대체로 공유되는 필터를 학습한다.
• Hop-attention 아키텍처는 노드 의존적이지만 채널 간에는 대체적으로 공유되는 혼합물(mixtures)을 학습한다.
  두 방식 모두 **노드와 채널 모두에 적응 가능한 공동 적응형 필터링(joint node- and channel-adaptive filtering)**을 완전히 구현하지 못하고 있으며, 이는 표준적인 PP-GNN 설계가 탐구하지 못한 영역이다.

방법론: FilterMoE

저자들은 사전 전파의 계산 계약(학습 중 희소 메시지 전달 금지)을 엄격히 준방하면서, 노드 및 채널 공동 적응형 필터링을 도입하는 Mixture-of-Experts (MoE) 기반 PP-GNN인 FilterMoE를 제안한다.

핵심 아키텍처

1. 전처리 (오프라인):

   • 체비셰프 확산 기저(Chebyshev diffusion basis)를 한 번 생성한다: $B_k = T_k(\tilde{L})X$ (여기서 $k=0, \dots, K$, $\tilde{L}$은 재조정된 그래프 라플라시안, $T_k$는 체비셰프 다항식).
   • 필터 응답을 분석하기 위해 확률적 란초스 쿼드러처(Stochastic Lanczos Quadrature, SLQ)를 사용하여 스펙트럼 그리드를 생성한다.

2. 전문가 뱅크 (Expert Bank):

   • 모든 노드-채널 쌍에 대해 독립적인 다항식 계수를 예측하는 대신(이는 계산 비용이 매우 높고 귀납적 편향이 약함), FilterMoE는 소수의 $M$개 체비셰프 필터 전문가(Chebyshev filter experts) 뱅크를 학습한다.
   • 각 전문가 $m$은 특정 스펙트럼 응답 $g_m(\lambda)$를 나타내는 체비셰프 계수 집합 $\alpha_m$으로 정의된다.

3. 공동 노드-채널 라우팅 (Joint Node-Channel Routing):

   • 전문가를 라우팅하기 위해 3D 게이팅 텐서 $G \in \mathbb{R}^{N \times M \times F}$를 사용한다. $G_{i,m,f}$는 노드 $i$와 특징 채널 $f$에 대한 전문가 $m$의 가중치를 결정한다.
   • 이를 통해 모든 노드-채널 쌍은 고유한 유효 필터 $\beta_{i,f} = \sum_m G_{i,m,f} \alpha_m$를 가질 수 있으나, 동시에 모든 필터가 공유된 전문가 뱅크의 혼합물이라는 제약을 유지한다.

4. 라우터 변형 (Router Variants):

   • Direct Joint MLP: 노드 기술자(descriptor)를 전체 $M \times F$ 로짓 그리드로 직접 매핑한다.
   • Response-Aware Two-Stage Router: 전문가들의 스펙트럼 응답 스케치(spectral response sketches)를 키(key)로 사용한다. 먼저 전문가들에 대한 노드 수준의 사전 확률(prior)을 계산한 후, 채널 수준의 잔차(residual)를 통해 이를 정교화한다. 이는 라우팅을 그래프 인지적 스펙트럼 형태(spectral shapes)에 명시적으로 조건화한다.

5. 학습 목적 함수 (Training Objective):

   • 주요 손실 함수는 지도 학습 태스크 손실이다.
   • 보조 정규화 (Auxiliary Regularization):
     • 다양성 손실 (Diversity Loss): 전문가들이 스펙트럼 응답 공간(SLQ 그리드 사용)에서 서로 구별되는 스펙트럼 응답을 갖도록 유도하여 붕괴(collapse)를 방지한다.
     • 매끄러움 손실 (Smoothness Loss): 높은 차수의 체비셰프 계수에 페널티를 부여하여 안정적인 필터를 보장한다.
     • MoE 균형 (MoE Balancing): 전문가의 사용이 균등하도록 표준적인 중요도 및 부하 분산 손실을 적용한다.

주요 기여

1. 그래프-필터 관점의 분석: 본 논문은 PP-GNN의 성능을 어그리게이터의 용량이 아니라, 필터 계수가 어떻게 공유되는지의 관점에서 재정의한다. 기존 방식들이 노드 공유/채널 적응형 또는 채널 공유/노드 적응형에 머물러 있어, 공동 적응형 영역을 놓치고 있음을 식별했다.
2. FilterMoE 아키텍처: 공유된 체비셰프 전문가들을 3D 게이팅 텐서로 라우팅하여 노드 및 채널 공동 적응형 필터링을 구현하는 새로운 PP-GNN을 제시한다.
3. 수동 튜닝에 대한 강력한 대안: FilterMoE는 데이터셋마다 특정 hop 어그리게이터(MLP vs. Attention vs. Fusion)를 수동으로 선택할 필요가 없는, 학습된 견고한 기본 메커니즘 역할을 한다.
4. 포괄적인 평가: 11개의 벤치마크(동질적, 이질적, 대규모 그래프 포함)에 대한 광범-한 실험을 통해 접근 방식의 효용성을 입증한다.

실험 결과

FilterMoE는 네 개의 동질적(homophilic) 그래프, 네 개의 이질적(heterophilic) 그래프, 세 개의 대규모 그래프(Pokec, OGBN-Products, OGBN-Papers100M)를 포함한 11개 데이터셋에서 평가되었다.

• 전반적인 성능: FilterMoE는 11개 데이터셋 중 9개에서 가장 강력한 PP-GNN 베이스라인(SIGN, HOGA, GAMLP)을 능가했으며, 평균 테스트 점수를 1.53점 향상시켰다.
• 대규모 그래프: FilterMoE는 세 개의 대규모 벤치마크 모두에서 1위를 차지했으며, 최상의 PP-GNN 베이스라인보다 각각 +1.76 (Pokec), +0.93 (OGBN-Products), +0.71 (OGBN-Papers100M) 높은 성적을 기록했다.
• MP-GNN과의 비교: 대규모 그래프에서 FilterMoE는 PP-GNN의 전파 효율성을 유지하면서도 평가된 모든 MP-GNN 베이스라인을 능가했다. 소규모 그래프에서는 특화된 적응형 MP-GNN(예: AGDN 변형)과 경쟁할 만한 수준을 유지했으나 일관되게 압도하지는 못했는데, 이는 이 모델의 주된 강점이 PP-GGNN 영역에 있음을 시사한다.
• 절제 연구 (Ablation Studies):
  • 라우팅 (Routing): 공동 노드-채널 라우팅이 단일 축(노드 전용 또는 채널 전용) 변형보다 일관되게 우수한 성능을 보였다.
  • 연산자 (Operator): 성능 향상이 단순히 체비셰프 연산자 때문만은 아니었다. 베이스라인의 연산자를 체비셰프로 교체하면 성능이 개선되기는 했으나 FilterMoE와의 격차를 줄이지는 못했다.
  • 정규화 (Regularization): 스펙트럼 매끄러움 손실(spectral smoothness loss)이 가장 중요한 정규화 요소였으며, 다양성 및 MoE 균형 손실은 데이터셋에 따라 작게나마 도움이 되었다.

의의 및 주장

본 논문은 기존 PP-GNN의 주요 한계가 복잡한 어그리게이터의 부재가 아니라, 확장성을 유지하면서 노드와 채널에 공동으로 적응하는 그래프 필터를 학습할 수 있는 구조적 메커니즘의 부재라고 주장한다.

FilterMoE는 노드-채널 공동 필터 라우팅을 데이터셋별로 특정 hop 어그리게터를 수동으로 선택해야 하는 문제를 해결하는 견고한 대안으로 확립한다. 스펙트럼 응답(학습된 전문가)을 라우팅 메커니즘(노드-채널 게이팅)으로부터 분리함으로써, 모델은 이웃 폭발 문제나 매 에포크마다 발생하는 메시지 전달의 계산 오버헤드를 재도입하지 않고도 높은 표현력을 달yx한다. 결과적으로, 대규모 노드 분류를 위해 공유된 필터 뱅크에 대해 학습된 적응형 라우팅 전략을 사용하는 것이 각 데이터셋에 맞춰 특정 어그게이션 헤드를 설계하거나 튜닝하는 것보다 우수함을 보여준다.

저자들은 현재의 연구가 노드 분류를 위한 고정된 동질적 그래프에 집중되어 있음을 언급하며, 향후 연구 과제로 링크 예측, 그래프 수준 태스크, 이종 그래프(heterogeneous graphs), 동적 그래프로의 확장을 제시하며 범위를 제한하였다.