Quantifying the Privacy of Counterfactuals by Leveraging Membership Inference Attacks Against Synthetic Data

기술 요약: 합성 데이터에 대한 멤버십 추론 공격을 활용한 반사실적 설명의 프라이버시 정량화

문제 정의
반사실적 설명(Counterfactual explanations)은 사용자가 원하는 결과를 얻기 위해 프로필을 어떻게 변경해야 하는지 보여줌으로써 고위험 머신러닝(ML) 애플리케이션에서 의사결정을 설명하는 데 널리 사용됩니다. 그러나 이러한 설명을 공개하는 것은 프라이버시 위험을 초래합니다. 기존 연구는 반사실적 설명이 멤버십 추론 공격(Membership Inference Attacks, MIA)을 통해 훈련 데이터에 대한 정보를 유출할 수 있음을 확인했지만, 현재의 반사실적 특화 공격(예: Counterfactual Distance Attack)은 일반적으로 공격자가 대상 모델에 대한 쿼리 접근 권한을 가져야 한다는 제약이 있습니다. 이러한 한계로 인해 모델 제공자는 쿼리율을 제한하거나 반복적인 반사실적 설명을 제공함으로써 위험을 완화할 수 있습니다. 본 논문은 공격자가 대상 모델, 훈련 데이터 또는 이를 쿼리할 수 있는 능력 없이 오직 공개된 반사실적 데이터 세트에만 접근할 수 있는 "노-박스(no-box)" 설정에서도 프라이버시 침해가 발생할 수 있는지에 대한 핵심적인 간극을 다룹니다.

방법론
저자들은 공개된 반사실적 설명을 합성 데이터의 한 형태로 취급하는 새로운 위협 모델을 제안합니다. 반사실적 설명이 GAN이나 기타 생성 모델에 의해 생성된 합성 데이터와 유사하게 실제 훈련 데이터를 현실적으로 대체한다는 비유를 바탕으로, 본 논문은 합성 데이터용으로 설계된 최첨단 MIA가 반사실적 환경으로 전이될 수 있는지 조사합니다.

실험 프레임워크는 다음과 같은 단계로 구성됩니다:

1. 위협 모델 정의: 본 연구는 공격자가 다양한 사용자에 대해 생성된 반사실적 집합을 보유하고 있지만, 대상 모델($f_\theta$)이나 훈련 데이터셋($D$)에는 접근할 수 없는 "노-박스" 공격 시나리오를 정의합니다. 이는 섀도우 모델(shadow models)을 활용하며 거리 계산을 위해 대상 모델을 쿼리해야 하는 기존의 "쿼리 접근(query access)" 시나리오(Counterfactual Distance Attack)와 대조됩니다.
2. 공격 구현: 저자들은 6가지 최첨단 합성 데이터 MIA 앙상블을 구현합니다:
   • Distance to Closest Record (DCR/DCR-Diff)
   • Monte-Carlo Attack
   • DOMIAS (Density-based MIA)
   • Data Plagiarism Index (DPI)
   • Gen-LRA (Generative Likelihood Ratio Attack)
   • LOGAN/Classifier
     이러한 공격들은 네 가지 서로 다른 메커니즘에 의해 생성된 반사실적 설명에 적용됩니다:
   • 인스턴스 기반(Instance-based): Nearest Instance Counterfactual Explanations (NICE) 및 k-d 트리를 이용한 Diverse Counterfactual Explanations (Dice-kdtree).
   • 섭동 기반(Perturbation-based): 그래디언트를 이용한 Diverse Counterfactual Explanations (Dice-gradient) 및 SCFE (Smooth Counterfactual Explanations).
3. 앙상블 전략: 어떤 공격 메커니즘이 특정 반사실적 생성 방법에 가장 효과적인지에 대한 불확실성을 처리하기 위해, 저자들은 6개의 개별 공격으로부터 신호를 결합하는 앙상블 전략(Majority Voting 및 Mean Aggregation)을 채택합니다.
4. 실험 설정: 실험은 네 가지 테이블 데이터셋(Adult, Acs_income, Compas, Heloc)과 다양한 반사실적 생성 기술을 사용하여 수행되었습니다. 성능 평가는 ROC AUC, 낮은 FPR에서의 TPR(True Positive Rate), 그리고 Precision-Recall AUC를 사용하여 이루어졌습니다.

주요 기여

• 도메인 간 가교 역할: 본 논문은 합성 데이터 프라이버시와 반사실적 프라이버시 사이의 이론적 및 실무적 연결 고리를 구축하여, 합성 데이터용 MIA가 반사실적 설명에도 직접 적용될 수 있음을 입증합니다.
• 노-박스 공격의 타당성: 저자들은 생성 모델이나 훈련 데이터에 대한 접근 없이도 성공적인 MIA 수행이 가능하다는 것을 입증함으로써, 쿼리 접근을 제한하는 것만으로 프라이버시 보호가 충분하다는 가설에 도전합니다.
• 앙상블의 효과성: 본 연구는 앙상블된 합성 데이터 공격이 대부분의 시나리오, 특히 인스턴스 기반 반사실적 설명의 경우 기존의 Counterfactual Distance Attack보다 우수한 성능을 보임을 보여줍니다.
• 취약성 분석: 연구 결과, 반사실적 설명의 MIA에 대한 취약성은 훈련 데이터 분포와의 유사성과 상관관계가 있음을 확인했습니다. 실제 훈련 인스턴스를 선택하는 인스턴스 기반 방식이 특징 값을 변경하는 섭동 기반 방식보다 더 취약한 것으로 나타났습니다.

결과
실험 결과, 앙상블 MIA는 Compas 데이터셋의 dice_gradient 방식을 제외한 대부분의 데이터셋과 반사실적 생성 방법에서 기존의 Counterfactual Distance Attack (Dist-LRT)보다 일관되게 강력한 성능을 보였습니다.

• 인스턴스 기반 vs. 섭동 기반: 앙상블 공격은 인스턴스 기반 반사실적 설명(NICE, Dice-kdtree)에 대해 기존 베이스라인을 크게 상회하며, 최대 0.694(Compas의 SCFE) 및 0.624(Compas의 Dice-kdtree)의 ROC AUC 점수를 달성했습니다. 반면, 두 공격 모두 대규모 데이터셋의 섭동 기반 방식(Dice-gradient, SCFE)에서는 무작위 추측에 가까운 성능을 보였으나, 앙상블이 여전히 약간의 우위를 점했습니다.
• 데이터셋 크기: 공격 성능은 일반적으로 큰 데이터셋(Adult, Acs_income)보다 작은 데이터셋(Compas, Heloc)에서 더 높게 나타났으며, 이는 작은 데이터셋이 높은 암기(memorization)를 유발한다는 가설과 일치합니다.
• 근접성 및 다양성: 원래 인스턴스와의 근접성이 높을수록 일반적으로 취약성이 증가하지만, 이 관계는 비선형적입니다. "실행 가능한(actionable)" 특징에 대해서만 변경을 제한하는 것은 Acs_income 데이터셋에서는 취약성을 높였으나, Compas에서는 낮추었습니다.
• 노-박스의 우월성: Compas 데이터셋의 Dice-kdtree를 사용한 경우, 노-박스 앙상블 공격은 쿼리 기반 베이스라인보다 26% 향상된 성능을 보여, 모델 접근 권한이 없는 상황에서도 위험의 심각성을 부각했습니다.

의의 및 주장
본 논문은 모델 제공자가 쿼리 접근을 제한하더라도 견고한 프라이버시 조치 없이 반사실적 설명을 공개하는 것은 심각한 프라이버시 위험을 초칭한다고 주장합니다. 저자들은 반사실적 설명이 훈련 데이터의 현실적인 대체물 역할을 하기 때문에 합성 데이터의 프라이버시 취약성을 그대로 물려받는다고 주장합니다.

• 실무자를 위한 시사점: 모델 개발자는 반사실적 설명이 모델 쿼리 없이도 훈련 세트 포함 여부를 추론하는 데 악용될 수 있으므로, 이를 공개할 때 주의를 기울여야 합니다.
• 감사인을 위한 시사점: 제안된 노-박스 공격 설정은 외부 감사인이 모델 자체에 대한 접근 권한 없이도 배포된 모델의 프라이버시 유출 정도를 평가할 수 있게 합니다.
• 한계 및 향 향후 과제: 저자들은 일부 데이터셋과 방법론에서 공격 성능이 무작위 추측보다 약간 높은 수준임을 겸허히 언급했습니다. 이들은 특정 MIA가 실패하더라도 유출이 존재할 수 있으므로 이것이 프라이버시를 보장하지 않는다는 점을 명확히 했습니다. 또한, 반사실적 생성 시 차분 프라이버시(Differential Privacy)를 적용하거나, 쿼리별 반사적 설명 대신 원형 인스턴스(prototypic instances)를 반환하는 등의 방어책이 이러한 위험을 완화할 수 있다고 제안합니다.