기술적 요약: 딥 앙상블이 실제로 그래프 신경망의 불확실성을 포착하는가?

문제 제기

딥 앙상블 (DEs) 은 컴퓨터 비전을 비롯한 딥러닝 분야에서 불확실성 정량화 (UQ) 를 위한 표준 방법이며, 독립적으로 훈련된 모델들 간의 불일치를 통해 인식적 불확실성 (epistemic uncertainty) 을 포착하는 데 의존합니다. 그러나 그래프 구조 데이터, 특히 메시지 패싱 그래프 신경망 (GNN) 에 대한 그 효과는 엄격하게 검증되기보다는 주로 가정되어 왔습니다. 사례적 증거와 제한된 연구들이 DEs 가 그래프 (예: PEMS 도로 네트워크 벤치마크) 에서 실패할 수 있음을 시사하지만, 다양한 그래프 작업에 걸친 체계적인 평가는 부재합니다. 핵심 문제는 GNN 의 구조적 속성과 메시지 패싱 메커니즘의 본질이 DEs 가 불확실성을 효과적으로 정량화하는 데 필요한 모델 다양성을 생성하는 것을 방해하는지 여부입니다.

방법론

저자들은 GNN 에 적용된 표준 딥 앙상블에 대한 포괄적인 실증 평가를 수행했습니다. 그들의 방법론은 다음과 같습니다:

1. 데이터셋: 노드 분류 (Cora, Citeseer, Tolokers2), 노드 회귀 (Artnetviews, Chameleon), 그리고 그래프 회귀 (QM9-5%) 를 아우르는 7 개의 다양한 그래프 데이터셋으로 구성된 벤치마크 스위트.
2. 모델: 서로 다른 무작위 가중치 초기화를 가진 딥 앙상블 (일반적으로 $M=5$개 모델) 로 훈련된 표준 메시지 패싱 아키텍처 (GCN 및 GATv2). 회귀 작업의 경우, 모델은 우연적 불확실성 (aleatoric uncertainty) 을 포착하기 위한 전용 분산 헤드를 포함합니다.
3. 베이스라인: 단일 GNN, 훈련 레이블에서 유도된 상수 가우시안 분포를 예측하는 "Trivial" 베이스라인, 그리고 특정 사례에서는 베이지안 GNN 또는 그래프 가우시안 프로세스와 비교합니다.
4. 지표:
   • 주요 지표: 결합 예측 성능과 불확실성을 평가하기 위한 음의 로그 가능도 (NLL).
   • 보조 지표: 점 추정 지표 (회귀의 경우 RMSE, 분류의 경우 정확도) 및 보정 지표 (기대 보정 오차 - ECE).
   • 분해: 회귀의 경우 분산 분해를, 분류의 경우 엔트로피 분해를 사용하여 우연적 및 인식적 불확실성 구성 요소를 명시적으로 분리합니다.
   • 다양성 분석: 앙상블 구성원 간의 불일치를 분석하고 "모델 수프 (model soups, 가중치 평균화)"를 통해 가중치 공간 대 함수 공간의 볼록성을 테스트함으로써 "인식적 붕괴 (epistemic collapse)"를 조사합니다.

주요 기여

1. 체계적인 벤치마킹: 본 논문은 여러 작업과 복잡성에 걸쳐 GNN 을 위한 표준 딥 앙상블의 첫 번째 대규모 체계적 벤치마크를 제공하여 고립된 사례 연구를 넘어섭니다.
2. 인식적 붕괴 식별: 저자들은 초기화와 관계없이 독립적으로 훈련된 GNN 이 매우 유사한 예측 함수로 수렴하는 현상인 "인식적 붕괴 (epistemic collapse)"를 실증적으로 증명합니다. 이러한 기능적 다양성의 부재는 앙상블이 인식적 불확실성을 포착하는 주요 메커니즘 (불일치) 을 무력화시킵니다.
3. NLL 향상 해부: 본 연구는 GNN 앙상블에서 관찰되는 NLL 의 한계적 개선이 인식적 불확실성 포착이나 불확실성 보정의 진정한 개선이 아니라 점 예측의 안정화 (최적화 노이즈 감소) 에 거의 전적으로 기인함을 밝힙니다.
4. 볼록성 분석: 가중치 공간 평균화 실험을 통해 GNN 의 가중치 공간은 여전히 매우 비볼록 (모델들이 서로 다른 가중치 분지에 위치함) 하지만, 함수 공간은 일종의 볼록성을 나타내는 것으로 나타났습니다. 서로 다른 가중치 해가 거의 동일한 행동을 유도한다는 것은 메시지 패싱 아키텍처 자체가 가설 공간을 제한함을 시사합니다.

결과

• 제한된 개선: 대부분의 데이터셋에서 딥 앙상블은 NLL 측면에서 단일 GNN 대비 미미한 개선만 제공합니다 (예: 분류의 경우 0.1%~1% 가능도 향상, 컴퓨터 비전의 경우 약 20% 와 대조됨).
• 보정 저하: 여러 사례 (예: Chameleon, QM9-5%) 에서 앙상블은 점 정확도를 약간 향상시키는 반면 보정 (ECE) 을 실제로 악화시킵니다. 이는 NLL 향상이 더 나은 불확실성 추정 때문이 아님을 나타냅니다.
• 인식적 붕괴: 불확실성 분해는 GNN 앙상블에서 인식적 불확실성이 우연적 불확실성에 비해 무시할 수 있을 정도로 작음 (종종 0 에 가까움) 을 보여줍니다. 인식적 대 우연적 불확실성의 비율은 일관되게 낮으며, 인식적 불확실성이 지배적인 컴퓨터 비전 벤치마크와 뚜렷한 대비를 이룹니다.
• 모델 수프 실패: 앙상블 구성원의 가중치를 평균화 ("모델 수프") 하면 단일 모델보다 성능이 저하됩니다. 이는 모델들이 가중치 공간에서 단순한 볼록 분지를 공유하지 않으며, 오히려 동일한 함수로 매핑되는 서로 다른 가중치를 찾았음을 확인시켜 줍니다.
• PEMS 벤치마크: 본 연구는 PEMS 도로 네트워크 벤치마크를 재검토하여, GNN 앙상블이 불확실성 정량화에서 단순 베이스라인보다 재앙적으로 나쁜 성능을 보일 수 있음을 확인했습니다. 이는 메시지 패싱과 앙상블 메커니즘 간의 상호작용에 기인한 실패로 귀결됩니다.

중요성 및 주장

본 논문은 컴퓨터 비전에서의 딥 앙상블 성공이 그래프 머신러닝으로 자연스럽게 이전되지 않는다고 결론 내립니다. 저자들은 표준 딥 앙상블이 의미 있는 인식적 불확실성을 포착하지 못하므로 메시지 패싱 GNN 에는 비효율적이라고 주장합니다.

• 비효율성: 앙상블을 훈련하고 배포하는 것은 상당한 계산 및 메모리 비용을 수반하지만, 앙상블은 다양한 불확실성 추정을 제공하는 대신 최적화 노이즈를 줄이는 분산 감소용 평활기 (smoother) 로서만 작용합니다.
• 실제적 함의: 단일 "운 좋은" 모델 (검증을 통해 선택됨) 이 종종 전체 앙상블의 성능과 맞먹거나 초과할 수 있습니다. 따라서 표준 GNN 에 대해 앙상블의 곱셈적 비용은 정당화되지 않습니다.
• 이론적 통찰: 이 발견들은 메시지 패싱 메커니즘이 모델 행동을 동질화시키는 근본적인 아키텍처 편향을 부과하여 비볼록 가중치 공간에서도 기능적 볼록성을 초래함을 시사합니다. 이는 그래프 도메인에서 앙상블 기반 UQ 에 필요한 다양성을 생성하기 위해 무작위 초기화만으로는 충분하다는 가정에 도전합니다.

본 논문은 그래프 학습에서 고품질 불확실성 정량화를 달성하기 위해서는 표준 메시지 패싱 아키텍처의 단순한 앙상블을 넘어설 필요가 있으며, 기능적 다양성 부재를 명시적으로 해결하는 새로운 방법이 필요할 수 있다고 주장합니다.