기술 요약: 그래프 구조가 그래프 신경망(GNN)의 멤버십 추론 위험에 미치는 영향

문제 정의

그래프 신경망(GNN)은 노드 분류 및 링크 예측과 같은 작업에 널리 배포되고 있으나, 이들의 적용은 민감한 도메인에서 학습 데이터 유출에 관한 중대한 우려를 낳고 있다. GNN의 프라이버시 누출에 관한 기존 연구는 주로 독립 동일 분포(i.i.d.) 도메인의 가정을 차용해 왔으나, 이러한 접근 방식은 그래프 구조의 결정적인 역할을 간과한다. 구체적으로, 기존 연구들은 데이터 인스턴스를 독립적인 것으로 취급함으로써 에지에 의해 발생하는 노드 간의 상호 의존성을 고려하지 못한다.

본 논문은 노드 수준의 멤버십 추론(MI) 문제를 다룬다: 훈련된 GNN이 주어졌을 때, 공격자가 특정 노드가 학습 세트에 포함되었는지 여부를 결정할 수 있는가? 저자들은 그래프 기반 학습에서 "데이터 인스스트런스"의 정의가 단순히 노드 특징 벡터가 아니라 **노드-이웃 튜플(node–neighborhood tuple)**이라고 주장한다. 결과적으로, 프라이버시 위험은 표준 분석에서 무시되는 두 가지 그래프 특유의 차원에 의해 조절된다:

1. 학습 그래프 구축: 학습 서브그래프가 어떻게 샘플링되는가 (예: 랜덤 샘플링 vs 스노볼 샘플링).
2. 추론 시 에지 접근성: 공격자가 추론 과정에서 활용할 수 있는 그래프 구조(에지)의 범위.

본 논문은 통계적 교환 가능성(statistical exchangeability)에 의존하는 표준 프라이버시 감사 결과가, 훈련 노드와 테스트 노드가 구조적으로 의존적인 귀납적(inductive) 그래프 설정에는 직접적으로 적용되지 않을 수 있다고 상정한다.

방법론

이론적 프레임워크

저자들은 입력 인스턴스를 $z_v = (x_v, y_v, N^L(v), \{x_u : u \in N^L(v)\})$ (여기서 $N^L(v)$는 $L$-홉 이웃)로 정의함으로써 노드 수준의 MI를 정형화한다. 이들은 통계적 교환 가능성의 정의를 GNN에 맞게 변형한다. 본 논문은 (정리 3.2를 통해) 랜덤 샘플링이나 스노볼 샘플링을 사용하는 경우 모두, 훈련 노드와 테스트 노드의 결합 분포(joint distribution)가 통계적으로 교환 가능하지 않음을 증명한다. 이는 테스트 노드의 이웃 구조가 특정 샘플링된 훈련 노드 집합 및 샘플링 프로세스 자체(예: 스노볼 샘플링에서의 순회 순서)에 의존하기 때문이며, 이는 표준 차분 프라이버시(DP) 감사 보증에 필요한 순열 불변성(permutation invariance)을 위반한다.

실험 설정

본 연구는 Cora, Chameleon, PubMed 세 가지 데이터셋을 사용하여 그래프 구조가 MI 위험에 미치는 영향을 평가한다.

• 샘플링 전략: 저자들은 문헌에서 표준적인 **균등 랜덤 노드 샘플링(Uniform Random Node Sampling)**과 (연락 추적 및 소셜 네트워크 구축과 같은 실제 시나리오에서 흔히 쓰이는) **스노볼 샘플링(Snowball Sampling)**을 비교한다. 스노볼 샘플링은 시드 노드에서 시작하여 반복적으로 이웃을 추가하며, 이는 고차수 허브(high-degree hubs)를 향한 커버리지 편향(coverage bias)을 유발한다.
• 추론 레짐(Inference Regimes): 저자들은 추론 시 세 가지 에지 접근 시나리오를 분석한다:
  1. Original: 훈련 세트 내의 에지와 테스트 세트 내의 에지만 사용된다 (훈련/테스트 에지는 서로소이다).
  2. FullGraph: 훈련 노드와 테스트 노드를 연결하는 에지를 포함하여, 기본 그래프의 모든 에지가 사용 가능하다.
  3. NoEdges: 어떠한 그래프 구조도 사용되지 않으며, 예측은 오직 노드 특징에만 의존한다.
• 공격 모델: 섀도 모델(shadow-model)의 아티팩트로부터 그래프 구조의 효과를 분리하기 위해, 저자들은 전통적인 섀도 모델 접근 방식을 우회한다. 대신, 타겟 모델의 예측 확률과 크로스 엔트로피 손실을 입력값으로 사용하여, 멤버 및 비멤버 노드의 일부($r \in \{0.1, 0.2, 0.5, 0.8\}$)에 대한 실제 멤버십 상태에 대해 직접 이진 분류기(2층 MLP)를 학습시킨다.
• 모델: 실험에는 GCN, GAT, GraphSage 아키텍처를 활용한다.

주요 결과

1. 일반화에 미치는 샘플링 전략의 영향

• 스노볼 샘플링 vs 랜덤 샘플링: 스노볼 샘플링은 랜덤 샘플링에 비해 종종 더 큰 일반화 격차(generalization gap, 훈련-테스트 정확도 차이)를 발생시킨다. 이는 스노볼 샘플링이 고차수 허브와 특정 그래프 영역을 과표집하는 반면 주변부 커뮤니티는 과소 표집하는 커버리지 편향에 기인한다. 이 편향은 홀드아웃(held-out) 노드에 대해 일반화 성능이 떨어지는 비-i.i.d. 훈련 분포을 초래한다.
• 에지 밀도: 스노볼 샘플링은 (이웃 캡핑이 없는 Chameleon과 같은 저동질성 데이터셋에서는 랜덤 샘플링이 더 높은 밀도를 가질 수 있지만) 일반적으로 더 높은 연결성을 가진 훈련 그래프를 생성하는 경향이 있다.

2. 추론 시 에지 접근성의 영향

• 성능: FullGraph 에지(훈련-테스트 간 에지 포함)에 대한 접근을 허용하면 모델이 더 완전한 이웃 정보를 활용할 수 있으므로, 일반적으로 테스트 정확도가 향상되고 훈련-테스트 격차가 줄어든다.
• 프라이버시 누출 (멤버십 이득): 멤버십 이득에 미치는 영향은 복잡하며 설정에 따라 달라진다:
  • Original Split: 훈련 노드의 구조적 맥락(테스트 노드와 분리됨)이 독특한 행동적 시그니처를 생성하기 때문에 종종 가장 높은 멤버십 이득을 보인다.
  • FullGraph: 놀랍게도, 특히 GCN과 GAT의 경우, 전체 에지 접근을 제공하는 것이 오히려 멤버십 이득을 감소시킨다(멤버와 비멤버를 구분하기 어렵게 만든다). 훈련-테스트 경계를 가로지르는 정보의 혼합이 두 그룹 간의 구분을 흐릿하게 만들기 때문이다.
  • NoEdges: 이 설정은 (구조적 맥락의 부재로 인해) 성능 격차를 키우는 경우가 많지만, Original split에 비해 멤버십 이득은 빈번하게 낮게 나타난다. 이는 큰 일반화 격차가 그래프에서 높은 프라이버시 위험의 신뢰할 수 있는 대리 지표(proxy)가 아님을 시사한다.

3. 일반화 격차와 프라이버시 위험의 디커플링(Decoupling)

본 논문은 일반화 격차가 멤버십 추론 위험의 불완전한 대리 지표임을 입증한다.

• 여러 시나리오(예: NoEdges 설정)에서 성능 격차는 증가하는 반면 멤버십 이득은 감소한다.
• 반대로, 어떤 경우(예: Cora와 같은 동질성 그래프에서의 FullGraph)에는 성능 격차가 더 낮음에도 불구하고 멤버십 이득이 NoEdges 설정보다 높을 수 있다.
• 이러한 디커플링은 프라이버시 누출이 단순히 과적합(기억)뿐만 아니라 구조적 의존성과 추론 시 가용한 특정 정보에 의해 구동됨을 나타낸다.

4. 모델별 민감도

• GCN 및 GAT: 이웃 특징을 평균내는 이 모델들은 에지 접근성에 매우 민감하다. "FullGraph" 설정은 전체 그래프에 걸쳐 표현(representation)을 평활화(smoothing)함으로써 MI 공격에 대한 취약성을 크게 감소시킨다.
• GraphSage: 다양한 에지 접근 설정에 대해 더 안정적인 멤버십 이득을 보인다. 저자들은 이것이 GraphSage가 이웃 특징을 평균내기보다 자기 자신의 특징과 결합하는 메커니즘을 사용하여 노드 고유의 신호를 더 잘 보존하기 때문이라고 가설을 세운다.

의의 및 주장

본 논문은 그래프 구조가 표준 i.i.d. 가정으로는 포착할 수 없는 방식으로 프라이버시 위험을 직접 형성한다고 주장한다.

1. 표준 감사의 무효성: 저자들은 귀납적 그래프 학습이 통계적 교환 가능성을 깨뜨린다는 것을 이론적으로 확립했다. 따라서 경험적 멤버십 이득을 비-그래프 설정에서처럼 차분 프라이버시 예산의 하한선으로 직접 변환할 수 없다. 데이터 생성 분포 자체가 (샘플링 편향을 통해) 모델의 학습된 파라미터와 독립적으로 멤버십 정보를 누출할 수 있기 때문이다.
2. 위협 모델의 재평가: 본 연구는 GNN에 대한 현실적인 프라이버시 평가가 공격자의 그래프 구조에 대한 지식(훈련 구축 시 및 추론 시 모두)을 명시적으로 모델링해야 한다고 주장한다. 공격자가 전체 그래프에 접근하거나 혹은 에지에 전혀 접근할 수 없다고 가정하는 것은 매우 다른 위험 평가 결과를 초래한다.
3. 일반화 지표의 한계: 본 논문은 프라이버시 위험을 추정하기 위해 일반화 격차에만 의존하는 것은 GNN에 있어 불충분하다고 결론짓는다. 프라이버시 누출은 샘플링 전략과 추론 시 가용 에지 사이의 특정 상호작용에 의해 구동되며, 일반화 격차와 독립적으로 상승하거나 하락할 수 있다.

저자들은 그래프 특유의 프라이버시 분석 연구를 촉진하기 위해 코드와 데이터를 공개하며, 훈련 그래프 구축 전략을 고려하는 새로운 프라이버시 개념의 필요성을 강조한다.