기술 요약: 이종 동종 그래프 학습(Heterophilic Graph Learning)의 발전 사항에 대한 재평가

문제 제기

그래프 신경망(GNN)은 관계형 데이터에서 상당한 성공을 거두었으나, 연결된 노드들이 서로 다른 클래스에 속하는 경우가 빈번한 **이종 그래프(heterophilic graphs)**에서는 성능이 저하되는 경우가 많습니다. 이러한 현상은 표준 GNN의 핵심적인 귀납적 편향(inductive bias)인 **동종성 원리(homophily principle)**에 위배됩니다. 이종성을 해결하기 위해 수많은 이종 특화 GNN과 동종성 지표들이 제안되었지만, 본 논문은 이러한 발전 사항들의 공정하고 정확한 평가를 저해하는 세 가지 결정적인 함정을 식별하였습니다:

1. 적절한 하이퍼파라미터 튜닝의 부재: 많은 연구가 베이스라인을 충분히 튜닝하지 않아, 기본적인 GNN이 최적화되지 않은 베이스라인 설정으로 인해 특화된 모델보다 더 나은 성능을 보이는 부정확한 비교를 초래합니다.
2. 진정으로 도전적인 데이터셋에 대한 불충분한 평가: 기존 벤치마크들은 그래프 인식 모델이 그래프 비인식 모델보다 자연스럽게 우수한 성능을 보이는 데이터셋(의사 도전적 데이터셋)을 포함하고 있어, 그래프 구조가 해롭거나 모호한 진정한 난제 사례들을 분리해내지 못합니다.
3. 동종성 지표에 대한 정량적 평가의 부재: 현재 동종성 지표의 평가는 합성 그래프 상에서의 주관적이고 관찰 기반인 비교에 의존하고 있으며, 엄격한 정량적 벤치마크가 부족합니다.

방법론

저자들은 세 가지 주요 단계를 포함하는 종합적인 재평가 프레임워크를 제안합니다:

1. 절제 연구(Ablation Studies)를 통한 데이터셋 분류

저자들은 27개의 널리 사용되는 벤치마크 데이터셋에 대해 베이스라인 **그래프 인식 모델(GCN, SGC-1)**과 그에 대응하는 **그래프 비인식 모델(MLP-2, MLP-1)**을 미세 조정(fine-tuning)했습니다. 이 결합된 모델들의 성능을 비교함으로써, 데이터셋을 세 가지 그룹으로 분류했습니다:

• 악성 이종성(Malignant Heterophily): 그래프 인식 모델이 그래프 비인식 모델보다 일관되게 낮은 성능을 보입니다. 여기서 그래프 구조는 메시 전달 과정에서 해로운 정보를 제공합니다.
• 양성 이종성(Benign Heterophily): 그래프 인식 모델이 그래프 비인식 모델보다 일관되게 높은 성능을 보입니다. 이는 낮은 동종성에도 불구하고 구조가 여전히 학습에 도움을 준다는 것을 나타냅니다.
• 모호한 이종성(Ambiguous Heterophily): 성능이 일관되지 않습니다. 예를 들어, 비선형 그래프 인식 모델(GCN)은 그래프 비인식 모델보다 우수할 수 있지만 선형 모델(SGC-1)은 그렇지 않을 수 있으며, 그 반대의 경우도 발생합니다. 이는 그래프 구조와 모델 비선형성 사이의 복잡한 시너지를 시사합니다.

2. 최신 기술(SOTA) 모델의 재평가

새롭게 분류된 데이터셋을 사용하여, 저자들은 여섯 가지 대중적인 이종성 처리 방법(예: 에고-이웃 분리, 음의 메시 전달, 스펙트럼 필터링, 다중 홉 집계)을 포괄하는 11개의 SOTA GNN을 재평가했습니다. 모든 모델은 미세 조정된 베이스라인과의 공정한 비교를 위해 엄격한 하이퍼파라미터 튜닝을 거쳤습니다.

3. 동종성 지표의 정량적 평가

지표 평가의 주관성을 해결하기 위해, 저자들은 정규 그래프(RG), 선호 부착(PA), GenCat의 세 가지 서로 다른 방식으로 생성된 합성 그래프에서 11개의 대중적인 동종성 지표를 평가했습니다. 시각적 관찰 대신, 저자들은 동종성 수준 변화에 따른 지표 값과 GNN 성능 곡선 사이의 유사성을 정량적으로 측정하기 위해 **피어슨 상관계수(Pearson correlation)**와 **프레셰 거리(Fréchet distance)**를 사용했습니다.

주요 결과

데이터셋 분류

본 연구는 이전에 "이종성 도전 과제"로 분류되었던 많은 데이터셋이 실제로는 양성이거나 심지어 동종적임을 밝혀냈습니다 (예: minesweeper, tolokers, questions는 동종성 값이 0.5보다 큼). 진정으로 어려운 작업은 악성 및 모호한 하위 집합에 국한되어 있습니다.

모델 성능

• 특화 모델의 제한적인 우월성: 대부분의 SOTA GNN은 모든 카테고리에 걸쳐 가장 잘 튜닝된 베이스라인 모델(GCN/SGC/MLP)보다 유의미하게 우수하지 않았습니다.
• 효과적인 방법: 오직 세 가지 접근 방식만이 광범위한 효과를 보일 잠재력을 보여주었습니다: 적응형 채널 믹싱을 결한 고역 통과 필터링(ACM-GCN)*, 선택적 메시 전달(FSGNN), 그리고 *음의 메시 전달(GloGNN)**입니다.
• 트레이드오프와 실패: 많은 모델이 어려운 그래프에서의 미미한 개선을 얻기 위해 쉬운(동종적/양성) 그래프에서의 성능을 희생합니다. **음의 메시 전달(Negative Message Passing)**과 같은 일부 방법은 양성 이종성에서 일관되게 낮은 성능을 보였습니다.
• 확장성 문제: 여러 모델(예: GloGNN, GBK-GNN, FSGNN)은 더 큰 데이터셋에서 메모리 부족(OOM) 오류를 겪었으며, 이는 확장성의 한계를 나타냅니다.
• 과도한 전역화(Over-Globalization): 다중 홉 GNN(예: APPNP)은 특정 데이터셋에서 어려움을 겪었으며, 이는 장거리 의존성이 이종 그래프에서 유익하지 않은 "과도한 전역화" 현상을 반영합니다.

지표 평가

• 고전적 지표의 강력함: 에지 동종성($H_{edge}$) 및 **노드 동종성($H_{node}$)**과 같은 전통적인 지표는 다양한 합성 그래프 생성 방식에 대해 견고한 성능을 입증했습니다.
• 신규 지표의 불안정성: 많은 새로운 지표(예: $H_{agg}$, Label Informativeness)는 특정 시나리오에서 불안정성을 보이거나 모델 성능과의 상관관계가 낮았습니다.
• 측정 방식에 따른 의존성: 지표의 순위는 사용된 유사도 측정 방식(Pearson vs. Fréchet)과 그래프 생성 방법에 따라 크게 달라집니다. 예를 들어, 가설 검정 기반의 지표는 Pearson과는 잘 상관되었으나 Fréchet 거리와는 상관관계가 낮았습니다.

의의 및 주장

본 논문은 다음과 같은 최초의 성과를 주장합니다:

1. 그래프 인식 모델과 비인식 모델 간의 경험적 성능 비교를 바탕으로 이종 데이터셋의 분류 체계(악성, 양성, 모호함)를 제안하여, 향후 연구를 위한 진정한 도전적 하위 집합을 식별했습니다.
2. 하이퍼파라미터를 미세 조정한 11개의 SOTA 모델에 대한 엄격한 재평가를 수행하여, 많은 주장된 발전이 보편적으로 효과적이지 않으며 단순한 베이스라인이 여전히 경쟁력이 있음을 밝혔습니다.
3. 합성 그래프에 대한 Pearson 상관계수와 Fréchet 거리를 사용하여 동종성 지표에 대한 최초의 정량적 평가 벤치마크를 제공함으로써, 주관적인 시각적 비교를 넘어 지표 선택을 위한 더 신뢰할 수 있는 표준을 제시했습니다.

저자들은 향후 연구가 그래프 구조와 모델 비선형성 사이의 시너지를 이해하기 위해 모호한 이종성에 집중해야 하며, 새로운 동종성 지표는 이러한 통찰력을 바탕으로 설계되어야 한다고 결론짓습니다. 또한, 식별된 함정들(튜닝, 데이터셋 선택, 지표 평가)을 해결하지 않는다면, 이종 그래프 학습의 효능에 대해 오해의 소지가 있는 결론을 내릴 위험이 있다고 강조합니다.