기술적 요약: 그래프 신경망의 설명자 설명: 비교 연구

문제 제기

그래프 신경망 (GNN) 은 그래프 기반 학습의 표준이 되었으나, 그 "블랙박스" 성격으로 인해 안전이 중요한 시나리오에서의 배포가 제한됩니다. 수많은 GNN 설명자가 모델 결정을 해석하기 위해 등장했지만, 이 분야는 서로 다른 GNN 아키텍처가 설명 가능성에 미치는 영향, 특정 설정에 최적의 설명자는 무엇인지, 그리고 다양한 문제 유형 (예: 서브구조 카운팅 대 모티프 감지) 이 설명의 질에 어떻게 영향을 미치는지에 대한 체계적인 이해가 부족합니다. 이전 벤치마킹 노력은 주로 단일 GNN 아키텍처 (일반적으로 GCN) 만 평가하거나, 일관되지 않은 지표를 사용하거나, 설명의 "타당성" (인간 직관/실제 정답과의 일치) 과 "정확성" (모델의 실제 결정 과정과의 일치) 을 구분하지 못함으로써 제한되었습니다.

방법론

저자들은 대규모 체계적 실험 연구를 수행했으며, 이는 다음을 포함합니다:

• 아키텍처: 계산 메커니즘에 따라 분류된 8 가지 대표적인 메시지 전달 GNN 아키텍처: 스펙트럴 (Cheb, GCN), 공간 (GraphSAGE, GIN, GAT), 고차 (GraphConv), 그리고 풀링 기반 (MinCutPool, Set2Set).
• 설명자: 5 가지 범주로 분류된 12 가지 인스턴스 기반 설명자: 기울기 기반 (GradExplNode, GuidedBP, IntegratedGradients, GradCam), 교란 기반 (GNNExplainer, PGExplainer, SubgraphX), 분해 기반 (CAM), 대리 모델 기반 (PGMExplainer), 그리고 생성 기반 (RG-Explainer).
• 데이터셋: 그래프 및 노드 분류 작업 모두를 위해 신중하게 설계된 6 개의 데이터셋. 여기에는 실제 정답 설명이 알려진 합성 벤치마크 (Grid, Grid-House, Stars, House-Color, Shapes, Infection) 가 포함되어 엄격한 평가가 가능합니다.
• 평가 지표: 이 연구는 두 가지 주요 전략을 사용합니다:
  1. 타당성: 설명자의 마스크와 알려진 실제 정답 개념 간의 유사성을 측정합니다 (AUC-ROC 사용).
  2. 정확성: 설명 서브그래프만 사용하여 계산할 때 모델 예측이 얼마나 잘 보존되는지 측정합니다. 이는 충분성 (설명에 대한 예측) 과 포괄성 (보완 집합에 대한 예측) 으로 분해되어 F1-정확성 점수로 집계됩니다.
• 실험 프로토콜: 모델은 최소 95% 의 훈련 정확도를 달성하도록 훈련되었습니다. 설명은 훈련 세트에서 생성되어 정보성을 기준으로 필터링된 후, 클래스와 데이터셋 전체에 걸쳐 집계되어 아키텍처와 설명자를 순위 매겼습니다.

주요 기여

1. 포괄적인 벤치마킹: 본 연구는 이전 작업의 단일 아키텍처 편향을 넘어 여러 데이터셋에 걸쳐 다양한 설명자에 대해 광범위한 GNN 아키텍처를 평가한 첫 번째 연구입니다.
2. 타당성과 정확성의 분리: 저자들은 높은 타당성 (인간 기대치와 일치) 이 높은 정확성 (모델 행동과 일치) 을 보장하지 않으며 그 반대도 마찬가지인 빈번한 트레이드오프를 강조합니다. 단일 지표에 의존하면 설명자의 질에 대해 오해의 소지가 있는 결론을 내릴 수 있음을 입증했습니다.
3. "게으른" 학습의 식별: 이 연구는 GNN 이 종종 "게으름"을 보이며, 한 클래스 (예: 양수 클래스) 에 대한 차별적 특징만 학습하고 나머지를 기본값으로 취급함을 드러냈습니다. 이러한 "기본" 클래스에 대한 설명은 종종 신뢰할 수 없거나 오해의 소지가 있습니다.
4. 설명 가능성에 미치는 아키텍처적 영향: 이 작업은 집계 함수의 선택 (선형 대 비선형) 과 엣지 특징 처리와 같이 설명 가능성에 상당한 영향을 미치는 특정 아키텍처 구성 요소를 분리해냈습니다.

주요 결과

연구 질문 1: 아키텍처는 설명에 어떤 영향을 미치는가?

• 전반적 최상위: GraphConv(고차) 는 그래프 분류 작업에서 타당성과 정확성 모두에 대해 가장 높은 집계 점수를 달성했습니다.
• 가장 설명하기 쉬운: GCN은 대부분의 데이터셋과 지표에서 일관되게 가장 설명하기 쉬운 아키텍처였습니다. 저자들은 이것이 더 복잡한 아키텍처와 대조적으로 단순한 선형 메시지 전달 메커니즘 때문일 수 있다고 제안합니다.
• 가장 설명하기 어려운: GIN(그래프 동형 네트워크) 은 단일 레이어 MLP 구조가 단순함에도 불구하고 설명하기 가장 어려웠습니다. 이는 종종 GCN 에서 개발되고 테스트되는 기존 설명자들의 편향을 시사합니다.
• 노드 분류: 노드 분류의 경우, GraphSAGE가 실제 정답과 가장 일치하는 설명 (타당성) 을 제공한 반면, GIN이 가장 높은 정확성을 보였습니다. 체비셰프(Cheb) 는 더 넓은 수용 영역으로 인해 설명하기 가장 어려웠을 것입니다.

연구 질문 2: 설명자는 설명에 어떤 영향을 미치는가?

• 그래프 분류: 엣지 기반 설명자가 노드 기반 설명자보다 일관되게 우수한 성과를 보였습니다. SubgraphX(교란 기반) 는 아키텍처 전반에 걸쳐 가장 강력한 설명자였습니다. 기울기 기반 방법은 타당성에서 뛰어난 성과를 보인 반면, 생성 기반 방법은 정확성에서 가장 잘 수행되었습니다.
• 노드 분류: 경향이 반전되었습니다; 노드 기반 설명자(특히 GNNExplainer와 GradCam) 가 엣지 기반 설명자보다 우수한 성과를 보였습니다. 기울기 기반 방법은 일반적으로 노드 분류 작업에서 더 우수했습니다.
• 마스크 유형: 그래프 분류에서 엣지 기반 마스크의 우월성은 이들이 그래프를 위해 특별히 설계되었기 때문인 반면, 노드 기반 마스크는 종종 텐서 데이터에서 적응된 것임을 기인합니다.

연구 질문 3: 서로 다른 문제 유형은 설명에 어떤 영향을 미치는가?

• 모티프 카운팅: "Stars"데이터셋 (서브구조 카운팅) 에서 설명자들은 타당성과 정확성을 일치시키는 데 어려움을 겪었습니다. 모델은 종종 올바른 예측을 하기 위해 전체 그래프 컨텍스트 (배경 ER 그래프 포함) 가 필요했으므로, "실제 정답" 모티프만으로는 높은 정확성을 달성하기에 불충분했습니다.
• 구성성: "Grid-House"에서 모델은 게으름을 보이며 종종 한 구성 요소 (그리드 또는 하우스) 만 식별하고 다른 클래스는 부재로 예측하는 경향이 있었습니다.
• 노드 특징: 노드 특징 (색상) 이 차별적이었던 "House-Color"에서 엣지 기반 설명자는 여전히 잘 수행되었지만, 노드 특징에 크게 의존하는 어텐션 메커니즘 (GAT) 은 테스트된 엣지 기반 방법들에 의해 poorly 설명됨이 관찰되었습니다.

중요성과 주장

이 논문은 정량적 성능 지표를 넘어 특정 아키텍처와 설명자가 성공하거나 실패하는 이유에 대한 질적 통찰을 제공함으로써 "설명 가능성 설명을 향한 중요한 단계"를 제공한다고 주장합니다.

• 실용적 권장사항: 저자들은 그래프 분류에는 엣지 기반, 교란 또는 생성 기반 설명자(SubgraphX 등) 를, 노드 분류에는 노드 기반, 기울기 기반 설명자(GradCam 또는 GNNExplainer 등) 를 사용하는 실행 가능한 지침을 제공합니다.
• 지표에 대한 비판적 통찰: 이 연구는 높은 정확도가 모델이 실제 정답 개념을 학습했음을 의미하지는 않는다고 경고합니다. 타당성과 정확성 사이의 불일치는 종종 모델이 "게으르거나" 우연한 상관관계를 학습했음을 나타냅니다.
• 향후 방향: 저자들은 모델 수준의 설명 필요성, 서브그래프를 넘어선 설명의 정의 (예: 중심성 또는 전역 속성), 그리고 비메시지 전달 아키텍처 (예: 트랜스포머) 와 동적 그래프를 위한 설명자 개발 등 열린 문제들을 식별했습니다. 그들은 설명 가능성이 새로운 GNN 아키텍처를 설계할 때 설계 지표로 고려되어야 함을 강조합니다.

이 논문은 진전이 있었음에도 불구하고, 아키텍처 선택, 데이터셋 특성, 그리고 현재 평가 지표의 한계 간의 상호작용과 관련하여 GNN 설명 가능성에 대한 만족스러운 이해는 여전히 요원하다고 결론지었습니다.