기술 요약: 그래프 신경망을 위한 베이지안 멤버십 프라이버시 (Bayesian Membership Privacy)

문제 정의

그래프 신경망(GNN)에 대한 기존의 프라이버시 분석은 주로 독립 동일 분포(i.i.d.) 데이터 설정에서 유도된 가정들에 크게 의존하고 있다. 이러한 접근 방식들은 그래프 구조 데이터의 두 가지 핵심적인 측면인 구조적 상관관계(노드들이 에지와 중첩된 이웃을 통해 상호 의존하는 현상)와 확률적 훈련 그래프 샘플링을 간과한다.

표준 멤버십 추론 공격(MIA)의 목표는 특정 데이터 포인트가 훈련 세트에 포함되었는지 여부를 결정하는 것이다. 그러나 GNN에서는 단일 노드의 포함 여부가 다른 많은 노드의 학습된 표현(representation)에 영향을 미친다. 또한, 훈련 노드는 그래프 구조와 상호작용하는 샘플링 과정을 통해 선택되는 경우가 많으며, 이는 일부 노드가 본질적으로 포함될 가능성이 더 높음을 의미한다.

차분 프라이버시(DP)나 표준 멤버십 프라이버시(MP)와 같은 현재의 정의들은 흔-히 다음을 가정한다:

1. 균등 사전 확률(Uniform Priors): 모든 노드가 훈련 세트에 포함될 사전 확률이 동일하다는 가정.
2. 대칭적 오류(Symmetric Errors): 제1종 오류와 제2종 오류만으로 프라이버시 위험을 특징짓기에 충분하다는 가정.
3. 교환 가능성(Exchangeability): 알고리즘이 실행되기 전, 훈련 노드와 비훈련 노드가 통계적으로 구별 불가능하다는 가정.

저자들은 이러한 가정들이 그래프 환경에서는 실패한다고 주장한다. 구조적 의존성은 교환 가능성을 깨뜨리며, 노드별 사전 확률(샘플링 메커니즘에 의해 유도됨)은 글로벌 공격 정확도나 고정된 오차 경계만으로는 노드별로 특화된 프라이버시 유출을 포착하기에 불충분하게 만든다.

방법론: 베이지안 멤버십 프라이버시 (BMP)

이러한 격차를 해소하기 위해, 본 논문은 멤버십 추론을 베이지안 가설 검정으로 취급하는 프레임워크인 **베이지안 멤버십 프라이버시(BMP)**를 도입한다.

1. 확률 모델

저자들은 다음과 같이 구성된 무작위 학습 알고리즘 $\mathcal{A} = (\mathcal{S}, \Phi)$를 정의한다:

• 샘플링 ($\mathcal{S}$): 훈련 서브그래프를 형성하기 위해 노드 부분 집합 $S \subseteq V$를 선택하는 확률적 메커니즘.
• 훈련 ($\Phi$): 샘플링된 서브그래프가 주어졌을 때 모델 출력 $W$를 생성하는 절차.

주요 변수는 다음과 같다:

• 멤버십 변수 ($M_i$): 노드 $i$가 샘플링된 집합 $S$에 포함되어 있는지를 나타내는 지표.
• 사전 확률 ($\gamma_i$): 노드의 포함 확률 $\Pr(M_i=1)$로, 샘플링 메커니즘에 기반한 노드의 포함 가능성을 나타냄.
• 사후 확률 ($\pi_i$): 모델 출력 $W$를 관찰한 후의 공격자의 믿음인 $\Pr(M_i=1 | W=w)$.

2. BMP의 정의

BMP는 사후 오즈(posterior odds)와 사전 오즈(prior odds)의 비율을 제한함으로써 정의된다. 알고리즘이 임의의 출력 $w$와 노드 $i$에 대해 $(\varepsilon_L, \varepsilon_R)$-BMP라는 것은 다음을 만족함을 의미한다:
$$e^{-\varepsilon_L} \leq \frac{\pi_i(1|w)}{\pi_i(0|w)} \cdot \frac{\gamma_i(0)}{\gamma_i(1)} \leq e^{\varepsilon_R}$$
이 공식은 노드별 사전 확률($\gamma_i$)을 명시적으로 포함하며, 비대칭성($\varepsilon_L \neq \varepsilon_R$)을 허용한다. 이러한 비대칭성은 멤버십을 드러내는 것(훈련 세트에 포함됨)의 프라이버시 위험이 비멤버십을 드러내는 것과 다를 수 있음을 인정한다.

논문은 또한 다음과 같은 관련 개념들을 정의한다:

• BMP-R / BMP-L: 멤버십 또는 비멤버십을 드러내는 위험에만 집중하는 단방향 버전.
• BMDP (Bayesian MDP): 다른 모든 노드의 멤버십에 조건화된 차분 버전. 다만, 저자들은 구조적 결합으로 인해 그래프 환경에서 이는 종종 비현실적이라고 언급한다.

3. 이론적 속성

본 논문은 BMP의 몇 가지 이론적 속성을 확립한다:

• 사전 확률 경계 (Prior Bounds): 프라이버시 파라미터 $\varepsilon_L$과 $\varepsilon_R$은 사전 확률의 비율에 의해 하한이 결정된다. "완벽하게 프라이빗한" 훈련 알고리즘이라 할지라도 샘플링 과정 자체에서 발생하는 유출은 숨길 수 없다.
• 후처리 (Post-processing): BMP는 모델 출력의 측정 가능한 변환에 대해 보존된다.
• 결합 (Composition): BMP와 MP(하나의 샘플에 대한 여러 프라이빗 연산)의 결합, 그리고 BMP와 BMP(여러 독립적인 샘플링 및 훈련 라운드)의 결합에 대한 결합 정리를 제공한다.
• 통계적 보장: BMP 파라미터와 제1종($\alpha$) 및 제2종($\beta$) 오차 영역 사이의 일대일 관계가 확립된다. 구체적으로, 허용된 $(\alpha, \beta)$ 영역은 노드의 사전 확률 $\eta_i$에 따라 달라진다.

4. 실무적 감사 메커니즘 (Practical Auditing Mechanism)

실무에서 BMP 파라미터를 추정하기 위해, 저자들은 감사 메커니즘을 제안한다:

• MIA 설계: 샘플링된 서브그래프 상에서 훈련된 섀도우 모델(shadow models)을 사용하여 노드 수준의 MIA를 구축한다.
• 베이지안 추정: BMP와 오차 확률 사이의 이론적 연결 고리를 사용하여, 관찰된 제1종 및 제2종 오차를 $R_{\eta}(\varepsilon_L, \varepsilon_R)$로부터 추출된 것으로 모델링한다.
• 추론: MIA에서 관찰된 오차 횟수를 바탕으로 $(\varepsilon_L, \varepsilon_R)$의 사후 분포를 추정하기 위해 마르코프 체인 몬테카를로(MCMC) 접근법을 사용한다.

주요 기여

1. BMP 프레임워크: 노드별 사전 확률을 통합하고 그래프 샘플링 확률을 공격자의 지식의 일부로 취급하는, 샘플링 인지형 베이지안 멤버십 프라이버시 공식을 도입하였다.
2. 이론적 분석: 결합 규칙, 후처리 불변성, 그리고 멤버십 추론 공격의 오차 확률과 BMP 파라미터 사이의 엄밀한 연결을 포함한 속성들을 도출하였다.
3. 감사 도구: MIA 결과를 사용하여 BMP 파라미터를 추정할 수 있는 샘플링 인지형 메커니즘을 제공하여, 세밀한 프라이버시 평가를 가능하게 한다.
4. 실증적 검증: 벤치마크 그래프 데이터셋에 대한 실험을 통해, BMP가 글로벌 공격 정확도에만 의존할 때는 보이지 않는 미세한 프라이버시 인사이트(노드 간의 위험 변화)를 드러낸다는 것을 입증하였다.

결과 및 주장

저자들은 자신들의 프레임워크가 기존 방법들과 비교하여 GNN에 대한 보다 정확하고 미묘한 프라이버시 이해를 제공한다고 주장한다.

• 미세한 인사이트: 실험 결과, 프라이버시 유출은 균일하지 않으며, 노드별 샘플링 확률 및 구조적 위치에 따라 크게 달라짐을 보여준다. 글로벌 지표(예: 평균 공격 정확도)는 이러한 이질성을 포착하지 못한다.
• 샘플링 인지: 본 프레임워크는 서로 다른 그래프 샘플링 전략, 훈련 세트 크기, 에지 설정이 노드 수준의 프라이서시 유출에 어떻게 영향을 미치는지 성공적으로 정량화한다.
• 이론적 일관성: 논문은 i.i.d. 데이터의 교환 가능성 가정이 성립하지 않는 그래프 환경에서 BMP가 필수적인 일반화임을 입증한다.

의의

본 논문은 BMP를 관계형 학습(relational learning)을 위한 프라이버시 정의의 필연적인 진화로 자리매김한다. 저자들은 구조적 의존성과 샘플링에 의한 사전 확률을 고려하지 않는다면, GNN에서의 프라이버시 보장은 지나치게 제한적이거나(현실을 반영하지 못함), 혹은 (민감한 구조적 정보를 보호하기에) 불충분할 것이라고 주장한다. 단순한 균등 오차 경계에서 사전 확률에 조건화된 사후 믿음 업데이트로 초점을 전환함으로써, BMP는 그래프 기반 머신러닝 시스템의 프라이버시 위험을 감사하고 정량화하는 원칙적인 방법을 제시한다.