기술 요약: 그래프 신경망을 위한 자기지도 학습적 적대적 정화

문제 정의

그래프 신경망 (GNN) 은 특히 엣지 삽입 및 삭제와 같은 구조적 교란에 대해 적대적 공격에 매우 취약합니다. 이러한 공격에 대응하는 것은 일반적으로 정확도(깨끗한 데이터에서의 성능) 와 강건성(공격에 대한 복원력) 이라는 두 가지 상충되는 목표를 균형 있게 조정해야 합니다. 전통적인 적대적 학습 방법은 단일 분류기 프레임워크 내에서 두 목표를 동시에 최적화하려 시도합니다. 그러나 이 접근법은 본질적으로 이러한 목표를 서로 얽히게 하여, 강건성을 높이면 깨끗한 데이터의 정확도가 크게 저하되는 트레이드오프를 강요하는 경우가 많습니다. 또한, 기존 적대적 정화 방법들은 종종 사전 정의된 휴리스틱 (예: 자카드 유사도, 저랭크 근사) 이나 단순한 엣지 탐지 메커니즘에 의존하는데, 이는 적응성이 부족하여 깨끗한 그래프와 적대적 그래프 사이의 복잡한 구조적 차이를 포착하지 못합니다.

방법론

저자들은 정확도와 강건성이라는 두 목표를 표준 GNN 분류기와 전용 정화기 (purifier) 라는 두 개의 별도 모듈로 분리하는 자기지도 학습적 적대적 정화 프레임워크를 제안합니다.

1. 프레임워크 아키텍처

• 분리 (Decoupling): 분류기 ($f_\psi$) 는 깨끗한 그래프로부터 정확한 표현을 학습하는 데만 집중하는 반면, 정화기 ($f_\theta$) 는 교란된 입력으로부터 원래 그래프 구조를 재구성하도록 독립적으로 훈련됩니다. 이러한 분리는 정확도와 강건성 목표 간의 간섭을 방지합니다.
• 자기지도 학습 훈련: 정화기는 자기지도 학습 전략을 사용하여 훈련됩니다. 이는 경계된 교란 공간 $B(G, \epsilon)$ 에서 샘플링된 교란된 그래프 $G'$ 를 입력으로 받아 원래 인접 행렬 $A$ 를 재구성하려 시도합니다. 훈련 목표는 노드 레이블에 의존하지 않고 재구성 오차를 최소화하므로, 정화기는 광범위한 교란에 걸쳐 일반적인 정화 방향을 학습할 수 있습니다.

2. GPR-GAE 모델

핵심 기여는 정화를 위해 특별히 설계된 새로운 그래프 오토인코더 (GAE) 인 GPR-GAE입니다. 이는 노드 간 구분을 흐리게 만드는 "적대적 스무딩" 및 고차원 구조 정보 포착의 어려움과 같은 기존 GAE 의 한계를 해결합니다.

• 다중 GPR 필터: 정적 GNN 레이어를 쌓는 대신, GPR-GAE 는 $K+1$ 개의 서로 다른 일반화 페이지랭크 (Generalized PageRank, GPR) 필터를 사용합니다. 각 필터는 학습 가능한 계수 $\gamma$ 를 사용하여 $K$-홉까지의 서로 다른 이웃 범위의 기여도를 동적으로 가중치합니다.
• 다양한 표현: 다양한 스케일과 계수를 가진 다중 GPR 필터를 활용함으로써, 모델은 다양한 구조적 측면을 포착합니다. 일부 필터는 특정 이웃 (예: 1-홉) 을 억제하는 반면 다른 이웃 (예: 2-홉) 을 강조하여, 과도한 스무딩을 겪지 않으면서도 깨끗한 영역과 적대적 영역을 효과적으로 구분할 수 있습니다.
• 아키텍처:
  • 노드 인코딩: 모든 GPR 필터의 출력을 연결하여 다중 스케일 노드 임베딩을 형성합니다.
  • 엣지 인코딩 및 디코딩: 연결된 노드 표현으로부터 엣지 임베딩을 계산하고, 일관성을 보장하기 위해 대칭 손실 함수를 사용하여 링크 확률을 예측합니다.

3. 다단계 정화 과정

추론 중 정화는 단일 단계 과정이 아니라 반복적이고 수렴하는 정제 과정입니다.

• 교란된 그래프 $G^{(0)}$ 로 시작하여, 모델은 "더 깨끗한" 인접 행렬 $\hat{A}^{(t)}$ 를 예측합니다.
• 그래프는 다음과 같이 반복적으로 업데이트됩니다: $G^{(t+1)} = G^{(t)} + \alpha \cdot (\hat{A}^{(t)} - G^{(t)})$. 여기서 $\alpha$ 는 단계 크기입니다.
• 이론적 보장: 저자들은 정화기가 국소 리프시츠 연속 함수 (상수 $L < 1$) 로 동작한다는 가정 하에, 이 반복 과정이 선형적으로 안정적인 고정점으로 수렴함을 증명합니다. 모델이 자기지도 학습 방식으로 훈련되었다면, 단계 크기에 관계없이 이 수렴이 보장됩니다.

주요 기여

1. 분리된 프레임워크: 이 논문은 정확도와 강건성을 명시적으로 분리하여 각각 전문화된 모듈 (분류기와 정화기) 에 할당함으로써, 적대적 학습에서 발견되는 본질적인 트레이드오프를 완화하는 프레임워크를 제안합니다.
2. GPR-GAE 아키텍처: 다중 스케일 구조적 표현을 포착하기 위해 다중 GPR 필터를 사용하는 전용 정화기를 도입하여, 기존 GAE 의 과도한 스무딩 문제를 피하면서도 깨끗한 그래프 영역과 적대적 그래프 영역을 효과적으로 구분합니다.
3. 수렴하는 다단계 정화: 그래프 구조를 반복적으로 복구하는 이론적 및 실용적인 다단계 정제 과정입니다. 저자들은 자기지도 학습 정화기의 리프시츠 연속성에 기반한 수렴 증명을 제공합니다.
4. 플러그 앤 플레이 방어: 이 방법은 GCN, GAT, GPRGNN, APPNP 등 다양한 GNN 분류기와 호환되는 독립 모듈로 기능하며, 분류기 자체의 재훈련이 필요하지 않습니다.

실험 결과

저자들은 다양한 데이터셋 (Cora, Citeseer, Pubmed, Chameleon, OGB-arXiv) 과 공격 시나리오 (PRBCD, LRBCD) 에서 GPR-GAE 를 평가했습니다.

• 강건성: GPR-GAE 는 적응형 공격에 대해 최첨단 수준의 강건성을 달성했습니다. 예를 들어, 심한 교란 ($\epsilon = 0.5$) 하의 Cora 데이터셋에서 GPRGNN 분류기와 결합된 GPR-GAE 는 최성능 적대적 학습 베이스라인 대비 테스트 정확도를 15.7 퍼센트 포인트 향상시켰습니다.
• 정확도 유지: 강건성을 위해 깨끗한 정확도를 희생하는 경우가 많은 적대적 학습과 달리, GPR-GAE 는 바닐라 분류기와 유사한 깨끗한 정확도를 유지하여 정확도 - 강건성 트레이드오프의 성공적인 완화를 입증했습니다.
• 확장성: 이 방법은 미니배치 처리를 사용하여 OGB-arXiv 와 같은 대규모 데이터셋으로 효율적으로 확장되었으며, 다른 방법들 (예: GOOD-AT, SVD-GCN) 은 메모리 제약에 직면하거나 확장하지 못했습니다.
• 비적응형 공격: 전이 공격 설정에서 GPR-GAE 는 휴리스틱 기반 정화 방법 (Jaccard-GCN, SVD-GCN) 과 강건한 GNN 아키텍처 (EvenNet, SoftMedianGDC) 를 일관되게 능가했습니다.
• 실증적 검증: 실험은 훈련된 정화기의 리프시츠 상수가 엄격히 1 미만임을 확인하여 이론적 수렴 주장을 뒷받침했습니다. 학습된 계수의 시각화는 GPR-GAE 가 그래프의 동질성 (homophily) 에 관계없이 다양하고 데이터 기반의 필터 패턴을 학습함을 보여주었습니다.

중요성과 주장

이 논문은 GPR-GAE가 방어 메커니즘을 근본적으로 재설계함으로써 GNN 방어 분야에서 중요한 진전을 이루었다고 주장합니다. "올인원" 적대적 학습 패러다임에서 자기지도 학습적 정화 접근법으로 전환함으로써, 이 방법은 다음과 같은 효과를 가집니다:

• 트레이드오프 파괴: 정확도와 강건성을 성공적으로 분리하여, 분류기는 깨끗한 데이터에서 정확성을 유지하는 반면 정화기는 강건성을 처리하도록 합니다.
• 일반화: 분류기의 아키텍처 변경 없이 기존 다양한 GNN 아키텍처의 강건성을 향상시키는 다목적 플러그 앤 플레이 방어 모듈로 작용합니다.
• 적응: 데이터 기반 자기지도 학습 훈련과 다중 스케일 GPR 필터를 통해 휴리스틱 또는 정적 방법보다 다양한 그래프 구조와 복잡한 교란 패턴에 더 효과적으로 적응합니다.

저자들은 이 프레임워크가 구조적 적대적 공격에 대한 그래프 신경망 보안을 위한 강건하고 확장 가능하며 이론적으로 근거 있는 솔루션을 제공한다고 결론지었습니다.