When does distribution shift break graph neural networks calibration?

기술 요약: 분포 변화와 GNN 보정(Calibration)

문제 정의
그래프 신경망(GNN)은 테스트 시점의 그래프 분포가 학습 시점의 분포와 다른(예: 진화하는 소셜 네트워크, 재배선된 인프라) 동적인 환경에 점점 더 많이 배치되고 있습니다. 예측 정확도는 자주 연구되는 반면, GNN의 보정(calibration)—즉, 예측 신뢰도와 실제 정확도 사이의 일치도—은 이러한 분포 변화 하에서 제대로 이해되지 않고 있습니다. 기존의 보정 방법들(예: temperature scaling, CaGCN, GATS)은 일반적으로 타겟 분포의 레이블이 있는 검증 데이터에 의존합니다. 하지만 실제 배포 환경에서는 이러한 레이블을 사용할 수 없으며, 소스 데이터에 맞춰진 표준 보정기들은 호모필리(homophily)나 특징 노이즈와 같은 그래프 속성이 변할 때 신뢰도와 정확도 사이의 관계가 변하기 때문에 실패하게 됩니다. 핵심 과제는 분포 변화가 GNN 보정을 어떻게 변화시키는지 규명하고, 타겟 레이블 없이도 재보정(recalibration)할 수 있는 방법을 개발하는 것입니다.

방법론 및 이론적 프레임워크
본 논문은 분포 변화 하에서의 GNN 보정에 대한 **폐쇄형 이론적 특성(closed-form theoretical characterization)**을 도출함으로써 이 문제에 접근합니다. 분석은 노드가 가우시안 특징을 갖고 에지는 클래스 호모필리에 기반하여 형성되는 **문맥적 확률적 블록 모델(Contextual Stochastic Block Model, CSBM)**에 기초합니다. 분석 대상 모델은 선형 분류기가 뒤따르는 선형 GNN(평균 집계 또는 대칭 정규화된 GCN)입니다.

핵심적인 이론적 통찰은 모델의 로짓 크기(logit magnitude) $t$와 실제 정확도 사이의 관계가 단일 스칼라 파라미터인 보정 기울기(calibration slope) $\kappa$에 의해 지배된다는 것입니다:
$$\text{Confidence}(t) = \sigma(t) \quad \text{vs.} \quad \text{Accuracy}(t) = \sigma(\kappa t)$$
여기서 $\sigma$는 시그모이드 함수입니다. 본 논문은 $\kappa$가 소스($h_s$)와 타겟($h_t$) 그래프의 호모필리 수준 및 특징의 신호 대 잡음비($\rho$)에 의해 명시적으로 결정됨을 증명합니다:
$$\kappa(h_t) = \frac{(2h_t - 1)(1 + 4h_s(1-h_s)\rho)}{(2h_s - 1)(1 + 4h_t(1-h_t)\rho)}$$
주요 이론적 확장 사항은 다음과 같습니다:

• Self-loop GCN: 기울기는 자기 루프(self-loop)를 고려하여 조정되며, 이는 헤테로필리($h < 0.5$) 상황에서도 신호가 지속될 수 있게 합니다.
• 다중 클래스 분류: 기울기는 신호 계수 $c_K(h)$를 통해 일반화되며, 이는 단일 전역 온도(global temperature)가 $K$개의 클래스에 대해 여전히 충분함을 보여줍니다.
• 공변량 변화(Covariate shift): 특징 노이즈의 증가는 $\kappa$를 단조 감소시켜 과잉 확신(over-confidence)을 유발합니다.
• 기대 보정 오차(Expected Calibration Error, ECE) 경계: ECE의 이론적 상한선이 $\frac{1}{4}|\kappa - 1| \mathbb{E}[|\delta|]$로 도출되며, 이는 $\kappa$가 1에서 벗어나는 정도와 미보정(miscalibration)의 심각성을 직접 연결합니다.

주요 기여

1. 폐쇄형 보정 기울기: 본 논문은 분포 변화 하에서의 GNN 보정에 대한 최초의 분석적 공식 $\kappa$를 제공하며, 이를 구조적 변화(호모필리) 및 특징 품질과 명시적으로 연결합니다. 이는 GNN이 왜 그리고 얼마나 많이 과잉 확신($\kappa < 1$) 또는 과소 확신($\kappa > 1$)하게 되는지를 설명합니다.
2. 전역 온도의 최적성: 구조적 결과론에 따르면, 동종 분포 변화(homogeneous distribution shift)(변화가 모든 노드에 유사하게 영향을 미치는 경우) 하에서는 단일 전역 온도 $T^* = 1/\kappa$가 이론적으로 최적입니다. 이는 복잡한 노드별 보정 방법이 동종 설정에서는 이점을 제공하지 못함을 의미하는데, 왜냐하면 모집단 최적해(population-optimal solution)가 상수 함수이기 때문입니다.
3. STAC (Structure-aware Test-time Adaptive Calibration): 이 이론을 바탕으로 저자는 소스 프리(source-free) 및 레이블 프리(label-free) 재보정 방법인 STAC를 제안합니다. STAC는 신뢰도 통계와 섭동(perturbation) 하에서의 예측 불일치를 사용하여 레이블이 없는 데이터로부터 타겟 정확도 $\hat{a}$를 추정합니다. 그 후, 평균 신뢰도가 추정된 정확도와 일치하도록 단일 전역 온도 $T^* = 1/\hat{\kappa}$를 설정합니다.
4. 병목 구간 식별: 본 연구는 실질적인 레이블 프리 GNN 보정의 주요 장벽이 보정 메커니즘 자체가 아니라, 타겟 정확도를 추정하는 것임을 식별했습니다.

실험 결과

• 합성 데이터 검증: 합성 CSBM 데이터에서 폐쇄형 기울기 $\kappa$는 높은 정밀도($r=0.99$)로 경험적 측정치와 일치했습니다. 예측된 최적 온도 $T^*$는 다양한 호모필리와 신호 대 잡음비에 걸쳐 보정을 회복(ECE를 $\leq 0.02$로 감소)시켰습니다.
• 실제 그래프: 이론은 광범위한 호모필리 스펙트럼($h=0.05$ ~ $0.84$)과 다양한 클래스 수($K=2$~$18$)를 아우르는 5개의 실제 데이터셋에서 유효했습니다.
  • 오라클 성능: "오라클" 온도(실제 타겟 레이블로부터 도출된)를 적용했을 때 모든 데이터셋에서 보정이 회복되었으며, 이는 이론의 충분성을 확인시켜 줍니다.
  • STAC 성능: STAC는 합성 변화 상황에서 소스 적합 베이스라인(source-fitted baselines)에 비해 보정 오차 간극을 성공적으로 절반으로 줄였습니다. 그러나 실제 헤테로필리 그래프(예: roman-empire, amazon-ratings)에서는 STAC의 정확도 추정이 신뢰할 수 없었으며(종종 실제 정확도를 초과함), 이로 인해 보정 성능이 저하되었습니다. 이는 이론적 프레임워크는 견고하지만, 현재의 레이블 프리 정확도 추정기가 복잡한 그래프 변화에는 불충분함을 확인시켜 줍니다.
• 이질적 변화(Heterogeneous Shift): 서로 다른 노드가 서로 다른 변화를 겪는 이질적 변화 하에서는 단일 전역 온도로 모델을 완전히 교정할 수 없습니다. 노드별 단계(per-node stage)를 테스트했으나 사용된 구조적 특징으로는 미미한 이점만을 제공했으며, 이는 단일 전역 온도가 이질적 변화 상황에서만 필요하다는 이론적 주장을 뒷받침합니다.

의의 및 주장
본 논문은 분포 변화 하에서의 GNN 보정에 대한 최초의 폐쇄형 이론적 설명을 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

• 메커니즘적 설명: 경험적 관찰을 넘어 호모필리 의존적 기울기 $\kappa$를 통해 미보정의 방향과 크기를 설명합니다.
• 원칙적 단순화: 동종 변화 시나리오에서 단일 전역 온도를 사용하는 것에 대한 엄격한 근거를 제공하며, 이러한 맥락에서 복잡한 노드별 보정기의 필요성에 도전합니다.
• 향-후 연구를 위한 로드맵: 문제를 레이블 프리 보정에서 레이블 프리 정확도 추정이라는 하위 문제로 축소함으로써, 본 논문은 견고한 GNN 보정기 배포를 가로막는 구체적인 기술적 장애물을 격리했습니다. 이는 향후 연구가 더 복잡한 보정 아키텍처를 설계하는 것이 아니라, 국소적 호모필리와 집계 효과를 고려하는 그래프 네이티브(graph-native) 정확도 추정기를 개발하는 데 집중해야 함을 시사합니다.

저자는 이론은 견고하지만, 실제 헤테로필리 그래프에서의 레이블 프리 정확도 추정 상태가 여전히 해결되지 않은 핵심 과제로 남아 있음을 인정하며 STAC의 실제 배포에 대해 겸허한 태도를 유지하고 있습니다.