Beyond Membership: Limitations of Add/Remove Adjacency in Differential Privacy

1. 문제 정의 (Problem Statement)

• 배경: 차분 프라이버시 (Differential Privacy, DP) 는 학습 데이터의 민감한 정보를 추론하는 공격으로부터 보호하기 위해 널리 사용됩니다. 대부분의 실제 DP 구현 (예: Opacus 등) 은 '추가/제거 (Add/Remove)' 인접성 (Adjacency) 관계를 기반으로 합니다. 이는 두 데이터셋이 하나의 레코드를 추가하거나 제거하여 서로 다른 경우를 의미하며, 주로 멤버십 추론 (Membership Inference) 공격 (특정 개인이 학습 데이터에 포함되었는지 여부) 을 방어하기 위해 설계되었습니다.
• 문제점: 많은 머신러닝 응용 분야 (예: 지도 학습 미세 조정) 에서는 개별 레코드의 속성 (Attribute) 또는 레이블 (Label) 을 보호하는 것이 목표입니다. 그러나 '추가/제거' 인접성 기반의 프라이버시 보장은, 이미 학습 데이터에 포함된 것으로 알려진 개인의 속성 (예: 레이블) 추론 공격에 대해 실제보다 과도하게 강력한 보호를 제공하는 것으로 보고됩니다.
• 핵심 질문: 속성 보호를 목표로 할 때, '추가/제거' 대신 '대체 (Substitute)' 인접성 (한 레코드를 다른 레코드로 교체) 을 고려해야 하며, 기존 '추가/제거' 기반의 프라이버시 예산 (Privacy Budget) 계산이 실제 취약성을 과소평가하고 있는가?

2. 방법론 (Methodology)

저자들은 '대체 (Substitute)' 인접성 하에서 DP 모델의 실제 취약성을 평가하기 위해 새로운 감시 (Auditing) 프레임워크를 개발했습니다.

• 대체 인접성 기반 감시:
  • 공격자가 학습 데이터셋 $D$의 타겟 레코드 $z$를 '카나리 (Canary)' 레코드 $z'$로 교체한 데이터셋 $D'$을 가정합니다.
  • 모델이 $D$로 훈련되었는지 $D'$으로 훈련되었는지 구별하는 능력을 측정하여 실제 프라이버시 손실 ($\epsilon$) 을 추정합니다.
• 카나리 생성 전략 (Crafting Canaries):
  • S1 (최악의 경우 데이터셋): 그래디언트 공간에서 $z$와 $z'$의 그래디언트가 크기는 같지만 방향이 정반대 ($C$와 $-C$) 가 되도록 설계하여 구별 가능성을 극대화합니다.
  • S2 (그래디언트 공간 카나리): 자연어 데이터셋에서 훈련된 모델을 감시하기 위해, 훈련 중 크기가 가장 덜 변하는 파라미터를 선택하고 해당 파라미터의 그래디언트만 $C$와 $-C$로 설정한 가상의 그래디언트 카나리를 생성합니다.
  • S3~S5 (입력 공간 카나리): 실제 공격 시나리오를 모사하기 위해 입력 공간에서 조작된 샘플을 생성합니다.
    • S3: 타겟 샘플과 그래디언트 방향이 반대인 입력 샘플 생성.
    • S4: 레이블을 잘못 표시한 (Mislabeled) 샘플 생성.
    • S5: 보조 데이터셋에서 타겟과 가장 구별하기 쉬운 자연스러운 샘플 선택.
• 평가 지표:
  • 생성된 카나리를 사용하여 모델을 훈련시키고, 최종 모델의 출력 (로그이트 또는 파라미터 변화) 을 기반으로 $D$와 $D'$을 구별하는 공격자의 성공률을 측정합니다.
  • 이를 통해 얻은 경험적 하한선 (Empirical Lower Bound) 을 '추가/제거' 기반 이론적 상한선 및 '대체' 기반 이론적 상한선과 비교합니다.

3. 주요 기여 (Key Contributions)

1. 대체 인접성 감시 알고리즘 제안: 숨겨진 상태 (Hidden-State) 위협 모델 하에서 DP 를 감시하기 위한 다양한 카나리 생성 알고리즘 (그래디언트 공간 및 입력 공간) 을 개발했습니다.
2. 이론적 보장과 실제 취약성의 괴리 입증: '추가/제거' 인접성으로 계산된 프라이버시 보장 ($\epsilon_{AR}$) 은 실제 속성 추론 공격에 대한 보호 수준을 과장하여 보고하고 있음을 실증적으로 증명했습니다.
3. 정확한 프라이버시 예산 추정: 감시 결과는 '대체' 인접성 기반의 프라이버시 계정기 (Substitute Accountant) 가 예측한 값과 일치하지만, '추가/제거' 기반 계정기보다 훨씬 높은 프라이버시 손실 ($\epsilon$) 을 보여줍니다.
4. 그룹 프라이버시 (Group Privacy) 접근법의 한계 지적: '대체' 인접성을 '추가 1 회 + 제거 1 회'로 간주하여 유도된 그룹 프라이버시 상한선은 실제 '대체' 인접성보다 훨씬 느슨한 (Suboptimal) 상한선을 제공함을 보였습니다.

4. 실험 결과 (Results)

• 최악의 경우 데이터셋 (Worst-case Canaries):
  • 그림 1 에서 보듯, '대체' 인접성 기반의 감시 결과 ($\epsilon_{Auditing}$) 는 '추가/제거' 기반 이론적 상한선 ($\epsilon_{AR}$) 을 초과하지만, '대체' 인접성 기반 이론적 상한선 ($\epsilon_{S}$) 과 매우 밀접하게 일치합니다.
  • 이는 공격자가 $D$와 $D'$을 훨씬 높은 확신으로 구별할 수 있음을 의미합니다.
• 자연어 데이터셋 기반 미세 조정 (Fine-tuning on Natural Datasets):
  • CIFAR10 및 SST-2 데이터셋 실험 (그림 2) 에서, 제안된 카나리 (특히 그래디언트 공간 카나리) 를 사용한 감시 결과는 '추가/제거' DP 보장을 위반했습니다.
  • 샘플링 비율 (Subsampling Rate, $q$) 의 영향: $q$가 낮을수록 (프라이버시 강화 목적) 입력 공간 카나리의 감시 효율은 떨어지지만, 그래디언트 공간 카나리는 여전히 강력한 감시 능력을 유지했습니다.
• 처음부터 훈련 (Training from Scratch):
  • Purchase100 데이터셋으로 처음부터 훈련한 모델 (그림 3) 의 경우, 입력 공간 카나리는 초기화 및 옵티마이저 선택에 민감하여 약한 감시 결과를 보였으나, 그래디언트 공간 카나리는 여전히 '대체' 인접성 이론과 일치하는 강한 감시 결과를 보여주었습니다.
• 텍스트 분류: Sentence-BERT 기반 미세 조정 실험에서도 그래디언트 카나리 기반 감시가 '추가/제거' 보장을 위반하는 경향을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실무적 경고: 현재 널리 사용되는 DP 라이브러리 (Opacus 등) 는 기본적으로 '추가/제거' 인접성을 가정합니다. 따라서 연구자나 실무자가 속성 (레이블) 보호를 목표로 DP 모델을 훈련할 때, 이 라이브러리가 제공하는 프라이버시 보장은 실제보다 과도하게 낙관적일 수 있음을 경고합니다.
• 보안 정책의 재고: 개별 레코드의 속성 (예: 의료 기록의 진단명, 금융 데이터의 거래 유형) 을 보호해야 하는 경우, '추가/제거' 대신 '대체 (Substitute)' 인접성을 기반으로 프라이버시 예산을 계산하고 감시해야 합니다.
• 미래 작업: 입력 공간 카나리의 안정성을 높이고, 비볼록 (Non-convex) 최적화 문제 및 다양한 하이퍼파라미터에 강건한 카나리 설계가 필요하며, 계산 비용이 높은 현재 감시 방법을 단일 실행 (Single-run) 기반 방법으로 최적화하는 연구가 요구됩니다.

요약하자면, 이 논문은 DP 의 '추가/제거' 인접성이 속성 추론 공격에 대해 실제보다 훨씬 약한 보호를 제공한다는 점을 실증적으로 증명하며, 속성 보호를 위해서는 '대체' 인접성 기반의 엄격한 프라이버시 계정이 필수적임을 강조합니다.