TACENR: Task-Agnostic Contrastive Explanations for Node Representations

1. 문제 정의 (Problem Definition)

그래프 표현 학습 (Graph Representation Learning) 은 그래프 구조 데이터를 잠재 벡터 공간으로 인코딩하여 노드 분류, 링크 예측 등 다양한 다운스트림 태스크에 성공적으로 적용되고 있습니다. 그러나 생성된 노드 표현 (Node Representations) 은 여전히 '블랙박스' 성격을 띠고 있어 해석이 어렵습니다.

기존의 설명 가능성 (Explainability) 연구는 다음과 같은 한계를 가지고 있습니다:

• 태스크 특화적 (Task-Specific) 접근: 주로 노드 분류나 링크 예측과 같은 특정 태스크의 예측 결과를 설명하는 데 집중하며, 표현 학습 자체의 구조를 설명하는 데는 미흡합니다.
• 개별 차원 설명: 기존 방법들은 표현 벡터의 개별 차원 (dimension) 을 설명하는 데 그치거나, 근접성 (proximity) 이나 구조적 유사성 (structural similarity) 중 하나의 측면만 강조합니다.
• 전체적 구조 부재: 노드 표현이 근접성, 구조적 역할, 노드 속성 (attribute) 의 복합적인 상호작용으로 형성된다는 점을 고려할 때, 이를 통합적으로 설명하는 방법이 부족했습니다.

2. 제안 방법: TACENR (Methodology)

이 논문은 TACENR (Task-Agnostic Contrastive Explanations for Node Representations) 을 제안합니다. 이는 특정 태스크에 의존하지 않고 (Task-Agnostic), 노드 표현 전체를 설명하는 로컬 설명 방법입니다.

핵심 메커니즘

1. 특성 확장 (Feature Enrichment):
   설명 대상 노드 $v$ 에 대해 다음 세 가지 유형의 특성을 결합한 벡터 $h_{v,u}$ 를 구성합니다.

   • 속성 (Attributes): 노드의 원래 특징 벡터 ($x_v$).
   • 근접성 (Proximity): 다른 노드 $u$ 와의 거리 기반 또는 확산 기반 지표 (예: 최단 경로, Personalized PageRank).
   • 구조적 (Structural): 노드의 위상적 역할 (예: 차수, 이웃의 평균 차수, 클러스터링 계수).

2. 대비 학습 (Contrastive Learning) 기반 유사도 함수 학습:

   • 목표: 표현 공간에서 노드 $v$ 와 다른 노드 $u$ 간의 실제 유사도 ($sim(z_v, z_u)$) 를 예측하는 해석 가능한 모델 $g$ 를 학습합니다.
   • 데이터 구성:
     • Affinity Set ($S^+_v$): 표현 공간에서 $v$ 와 가장 유사한 $k$ 개의 노드.
     • Divergence Set ($S^-_v$): 표현 공간에서 $v$ 와 가장 불유사한 $k$ 개의 노드.
   • 학습 과정: $g(h_{v,u})$ 가 실제 유사도와 오차를 최소화하도록 선형 회귀 (Linear Regression) 등의 모델을 훈련합니다. 이를 통해 어떤 특성들이 노드 간 유사도에 기여하는지 계수 (coefficients) 로 파악합니다.

3. 가중 유사도 측정 (Weighted Similarity Measure):

   • 지도 학습 (Supervised): 예측 라벨과 가장 밀접한 관련이 있는 표현 차원을 강조하기 위해 기울기 기반 (Gradient-based) 가중치를 적용합니다.
   • 비지도 학습 (Unsupervised): 태스크 정보가 없으므로, 노드 간을 구별하는 데 가장 중요한 전체 분산 (Global Variance) 이 큰 차원에 가중치를 부여합니다.

3. 주요 기여 (Key Contributions)

• 태스크 무관성 (Task-Agnosticity): 특정 다운스트림 태스크 없이도 노드 표현 자체의 구조적, 속성적 기원을 설명할 수 있는 최초의 포괄적인 프레임워크입니다.
• 통합적 설명: 근접성, 구조적 특징, 노드 속성이라는 세 가지 요소를 동시에 고려하여 노드 표현의 형성 원인을 정량적으로 분석합니다.
• 적응형 가중치 전략: 지도/비지도 설정에 따라 차원별 중요도를 동적으로 조정하는 가중 유사도 함수를 도입하여 설명의 정확도를 높였습니다.
• 광범위한 실험 검증: node2vec, role2vec, GCN, GAT, GraphSAGE 등 다양한 모델과 Cora, CiteSeer, PubMed, PPI, BA-Shapes 등 다양한 데이터셋에서 유효성을 입증했습니다.

4. 실험 결과 (Experimental Results)

(1) 비지도 표현 모델에 대한 설명

• BA-Shapes (합성 데이터): TACENR 은 모델이 '하우스 모티프 (house motifs)' 내의 노드와 'BA-Base' 노드를 어떻게 구분하는지 정확히 포착했습니다. 모티프 노드는 국소적 구조 (차수, 삼각형 수) 에, Base 노드는 전역적 역할 (PPR 표준편차) 에 의존함을 보여주었습니다.
• 실제 데이터셋:
  • Cora: 높은 동질성 (Homophily) 으로 인해 속성 유사도와 국소적 구조 (차수) 가 중요했습니다.
  • CiteSeer: 매우 희소한 속성 특성으로 인해 구조적 특징 (이웃의 평균 차수, 클러스터링 계수) 이 표현을 지배했습니다.
  • PPI: 고밀도 그래프 특성과 풍부한 생물학적 속성으로 인해 노드 속성이 가장 중요한 요소로 작용했습니다.
  • 모델별 차이: GNN 모델들은 이웃 정보 집계 방식에 따라 국소적 구조 특징에 더 민감한 반면, node2vec 은 근접성 신호에 더 의존함을 확인했습니다.

(2) 태스크 특화적 방법과의 비교 (지도 학습 설정)

• AOPC (Perturbation Curve): 중요한 특징을 제거했을 때 모델 성능이 얼마나 떨어지는지 측정. TACENR 의 지도 학습 변형체는 GraphLIME, GNNExplainer, GraphSVX 등 기존 방법들과 유사하거나 더 나은 성능을 보이며, 중요한 특징을 정확히 식별했습니다.
• 노이즈 필터링: 무작위 노이즈 특징을 추가했을 때, TACENR 은 다른 방법들보다 노이즈 특징을 중요도 순위에서 배제하는 능력이 뛰어났습니다.

(3) Ablation Study

• 가중치 전략: 가중치 적용 (Gradient-based 또는 Variance-based) 이 설명 모델의 MSE 와 MAE 를 통계적으로 유의미하게 개선했습니다.
• 대비 집합 구성: 지도 학습에서는 유사 노드 (Affinity) 비율을 높일 때, 비지도 학습에서는 불유사 노드 (Divergence) 비율을 높일 때 설명의 정확도가 최적화되었습니다.
• 해석 가능 모델: 복잡한 비선형 모델보다 선형 회귀 (Linear Regression) 가 대부분의 경우 동등하거나 더 나은 성능을 보이며, 계수 해석이 용이하여 기본 모델로 채택되었습니다.

5. 의의 및 결론 (Significance)

TACENR 은 그래프 표현 학습의 '블랙박스' 문제를 해결하기 위한 중요한 진전을 이룹니다.

1. 이해의 확장: 단순히 "어떤 노드가 예측에 기여했는가"를 넘어, "노드 표현이 왜 이렇게 형성되었는가 (근접성 vs 구조 vs 속성)"에 대한 통찰을 제공합니다.
2. 모델 진단 도구: 학습된 표현이 모델 아키텍처 (예: GNN 의 이웃 집계 vs Random Walk) 와 데이터 특성 (동질성, 밀도) 을 어떻게 반영하는지 진단할 수 있게 합니다.
3. 범용성: 지도/비지도 학습을 막론하고 적용 가능하며, 다양한 그래프 모델에 대한 설명을 통일된 프레임워크로 제공합니다.

결론적으로, TACENR 은 그래프 표현 학습의 투명성을 높이고, 신뢰할 수 있는 AI 시스템 구축을 위한 핵심 도구로 자리 잡을 것으로 기대됩니다.