Metric-Normalized Posterior Leakage (mPL): Attacker-Aligned Privacy for Joint Consumption

기술 요약: 결합 소비를 위한 거리 정규화 사후 유출 (mPL)

문제 제기
국소적 차분 프라이버시 (LDP) 와 이를 인식하는 변형인 거리 기반 차분 프라이버시 (mDP) 는 전통적으로 임의의 입력 쌍에 대한 출력 분포의 구별 불가능성을 경계함으로써 레코드별 보장을 제공합니다. 그러나 이러한 프레임워크들은 종종 독립적인 방출을 가정하거나 레코드 단위로 프라이버시를 분석합니다. 현대의 머신러닝 시스템에서는 데이터가 결합 관찰 하에 자주 소비되는데, 여기서 적대자는 문장 내의 perturbed 토큰 시퀀스나 궤적 내의 여러 perturbed 위치와 같은 여러 상관관계 있는 방출들을 집계합니다.

이 논문은 이러한 설정에서 표준 mDP 보장이 불충분할 수 있다고 주장합니다. 개별 레코드에 대해 mDP 를 만족하는 메커니즘이라 하더라도, 학습된 추론 모델 (예: RNN, LSTM, Transformer) 을 갖춘 공격자는 상관관계 있는 항목들 간의 증거를 집계하여 원본 비밀에 대한 사후 신념을 현저히 정교화할 수 있습니다. 이러한 "결합 소비" 유출은 방출별 비율 경계로 포착되지 않아, 이론적 프라이버시 보장과 실제 추론 위험 사이에 간극이 발생합니다.

방법론
이를 해결하기 위해 저자들은 거리 정규화 사후 유출 (mPL) 을 중심으로 한 새로운 프라이버시 프레임워크와 적응형 mPL (AmPL) 이라는 적응형 감사 메커니즘을 도입합니다.

1. 거리 정규화 사후 유출 (mPL):

   • 정의: mPL 은 결합 방출 $y$를 관찰한 후 두 후보 비밀 ($x_i$와 $x_j$) 간의 공격자의 사후 오즈 변화량을 측정하며, 이를 두 비밀 간의 의미적 거리 $d(x_i, x_j)$로 정규화합니다.
   • 이론적 동등성: 저자들은 단일 방출 또는 독립적 조합의 경우, mPL 을 균일하게 경계하는 것이 mDP 를 만족하는 것과 수학적으로 동등함을 증명합니다. 이는 mPL 을 표준 영역에서 mDP 를 회복하는 일반화로 확립합니다.
   • 결합 소비 실패: 종속적 결합 소비 하에서, 논문은 mDP 를 만족한다고 해서 낮은 mPL 을 보장하지 않음을 보여줍니다. 상관관계 있는 비밀들은 학습된 집계기가 증거를 증폭하게 하여, 레코드별 mDP 경계가 충족되더라도 높은 사후 유출 (큰 mPL) 을 초래합니다.

2. 확률적으로 경계된 mPL (PBmPL):

   • 고차원 상관관계 데이터에 대한 정확한 최악의 경우 제어가 계산적으로 불가능함을 인식하여, 저자들은 PBmPL 을 정의합니다. 이는 모든 가능한 인스턴스에 대해 성립하도록 요구하는 대신, mPL 이 목표 예산 $\epsilon$을 초과할 확률을 경계하도록 제약을 완화합니다.

3. 적응형 mPL (AmPL) 프레임워크:

   • 신뢰 및 검증 루프: AmPL 은 "학습된 적대자"를 포함하는 피드백 루프를 통해 PBmPL 을 실행합니다.
   • 단계 1 (교란): 데이터를 계층적 메커니즘 (예: 개인 식별 정보 (PII) 와 잠재적 식별 정보 (PoII) 간 구분) 을 사용하여 교란합니다.
   • 단계 2 (감사): 교란된 데이터에서 비밀을 재구성하도록 훈련된 고용량 신경망 (RNN, LSTM 또는 Transformer) 이 학습됩니다. 이 모델은 공격자의 사후 분포를 근사합니다.
   • 단계 3 (피드백 및 조정): 시스템은 mPL 의 경험적 위반률을 추정합니다. 위반이 임계값을 초과하면, 유용성을 균형 있게 유지하면서 유출을 줄이기 위해 교란 매개변수가 적응적으로 업데이트됩니다.
   • 단계 4 (베이지안 재매핑): 교란 과정에서 손실된 유용성을 회복하기 위해, 프레임워크는 교란된 출력에 베이지안 재매핑 (후처리) 을 적용합니다. 저자들은 이 단계가 결합 mPL 제약을 유지함을 증명합니다.

주요 기여

• mPL 의 형식화: 이 논문은 고립된 출력 비율에서 결합 관찰 하의 신념 정교화 정도로 평가 목표를 전환하는, 적대자 정렬 및 기하학적 인식 메트릭인 mPL 을 도입합니다.
• mDP-mPL 간극의 입증: 명시적 결합 비밀 모델과 모델 프리 학습 집계기 (RNN, LSTM, Transformer) 를 통해, 저자들은 상관관계 있는 레코드일 때 표준 mDP 메커니즘 (예: 지수 메커니즘) 이 상당한 사후 유출을 방지하지 못할 수 있음을 보여줍니다.
• 실행 프레임워크 (AmPL): 학습된 적대자를 활용하여 프라이버시 매개변수를 감사하고 조정하는 실용적이고 반복적인 프레임워크를 제안하여, 정적 최악의 경우 경계를 넘어 확률적 데이터 기반 제어로 이동합니다.
• 이론적 보장: 이 논문은 mPL 의 후처리 불변성, 독립적 설정에서의 mPL 과 mDP 의 동등성, 그리고 샘플링 기반 감사 절차에 대한 집중 보장에 대한 증명을 제공합니다.

실험 결과
이 프레임워크는 사전 훈련된 GloVe 임베딩을 사용하여 텍스트 임베딩 데이터셋 (AG-News, IMDB, Amazon Reviews) 에서 평가되었습니다.

• 위반 감소: 표준 mDP 메커니즘 (지수 메커니즘) 은 의미 있는 mPL 위반 비율을 보였습니다 (예: $\epsilon=2.40$에서 Transformer 적대자에 대한 AG-News 의 경우 약 19.29%). 반면, AmPL 은 이러한 위반을 현저히 감소시켰습니다 (예: 동일한 설정에서 약 15.07% 로 감소, 다른 구성에서는 더 큰 감소, 예를 들어 RNN 을 사용한 AG-News 에서 57.1% 의 상대적 감소).
• 유용성 보존: 저자들은 AmPL 이 유출을 감소시켰지만, 의미적 왜곡으로 측정된 유용성 손실은 베이지안 재매핑이 적용된 경우 특히 표준 방법과 비교 가능했다고 발견했습니다. 재매핑은 프라이버시 보장을 훼손하지 않으면서 특정 구성에서 손실을 약 0.22 에서 약 0.13 으로 현저히 개선하여 유용성을 향상시켰습니다.
• 강건성: 결과는 다양한 적대자 아키텍처 (RNN, LSTM, Transformer) 와 데이터셋에 걸쳐 유지되어, 이 프레임워크가 강력한 학습된 추론 공격에 대해 유출을 효과적으로 제어함을 나타냅니다.

의의 및 주장
이 논문은 mPL 과 AmPL 프레임워크가 기존 레코드별 보장이 부족한 결합 소비 설정에 대한 실용적이고 검증 가능한 보호를 제공한다고 주장합니다. 현대 적대자의 실제 추론 능력 (상관관계 있는 증거를 집계하는 능력) 과 프라이버시 메트릭을 정렬함으로써, 저자들은 PBmPL 이 위험에 대한 더 현실적인 평가를 제공한다고 주장합니다. 그 의의는 임베딩 기반 시스템에서의 추론 공격의 경험적 현실과 이론적 차분 프라이버시 경계 사이의 간극을 메우고, 학습된 적대자의 존재 하에 프라이버시와 유용성을 동적으로 균형 잡는 방법을 제공한다는 점에 있습니다. 저자들은 그들의 감사가 선택된 적대자 클래스에 의존하지만, 방출별 분석이 놓치는 유출 위험을 평가하고 완화하는 모듈식 방법을 제공한다고 지적합니다.