기술 요약: FERMI – 표본 확산 모델에 대한 멤버십 추론을 위한 관계 활용

1. 문제 제기

확산 모델은 특히 GDPR, HIPAA 와 같은 개인정보 보호 규정이 직접적인 데이터 공개를 제한하는 의료 및 금융과 같은 고위험 분야에서 표본 데이터 합성을 위한 선도적인 패러다임이 되었습니다. 멤버십 추론 공격 (MIA) 은 이러한 생성 모델의 개인정보 보호 위험을 평가하는 표준 도구이지만, 기존 공격들은 주로 단일 테이블 환경을 가정합니다.

이 가정은 민감한 표본 데이터가 일반적으로 다중 관계형 데이터베이스에 존재하며, 개인의 정보가 처방전, 검사 결과, 인구 통계 등 상호 연결된 테이블에 걸쳐 있다는 현실을 간과합니다. 이러한 관계 구조를 무시한 현재의 평가는 개인정보 노출 위험을 현저히 과소평가할 위험이 있습니다.

현실적인 위협 모델에서 중요한 도전 과제가 발생합니다: 공격자는 공격 훈련 단계에서 완전한 관계 구조를 포함하는 풍부한 보조 데이터(예: 이전 유출 또는 공개된 데이터를 통해) 를 보유할 수 있습니다. 그러나 멤버십 추론 시점에는 공격자가 종종 대상 테이블의 후보 행만 관찰하며, 관련 부모 또는 자식 테이블에서 해당 개인의 기록에 접근할 수 없습니다. 본 논문은 추론이 단일 테이블 속성으로 제한될지라도 훈련 중에 이용 가능한 관계형 보조 정보를 활용하여 더 강력한 공격을 수행하는 방법에 대한 격차를 다룹니다.

2. 방법론: FERMI 프레임워크

저자들은 관계형 멤버십 신호를 단일 테이블 특징 공간으로 추출하도록 설계된 FERMI(FEature-mapping for Relational Membership Inference) 프레임워크를 제안합니다. 이 접근법은 표준 섀도우 모델 패러다임을 따르며 세 단계로 운영됩니다:

A. 쌍을 이룬 특징 추출

공격자는 보조 데이터셋 ($D_{aux}$) 의 불교합 부분집합에 대해 $S$개의 섀도우 확산 모델을 훈련합니다. 각 섀도우 레코드에 대해 두 가지 특징 스트림이 추출됩니다:

1. 단일 테이블 스트림: 대상 테이블 $T_j$만으로 훈련된 섀도우 모델에서 특징 $\Phi_{single}(x)$을 추출합니다.
2. 관계형 스트림: 대상 레코드 $x$를 부모 테이블 $T_p$와 결합하는 등 관계적 맥락으로 보강된 병합 표현에 대해 훈련된 섀도우 모델에서 특징 $\Phi_{multi}(\tilde{x})$을 추출합니다.

특징 추출은 손실 지문 (loss-fingerprint) 접근법을 활용하여, 여러 시간 단계와 잡음 실현에 걸쳐 제거 잡음 손실 $\ell_{\theta}(x_0, t, \epsilon)$을 계산합니다. 경험적으로 훈련 멤버는 비멤버보다 체계적으로 낮은 제거 잡음 손실을 보입니다.

B. 특징 매핑

핵심 혁신은 단일 테이블 특징을 그들의 관계형 대응물 쪽으로 투영하는 매핑 함수 $f_{map}$을 학습하는 것입니다. 이는 두 가지 목적을 가진 도메인 적응 문제로 공식화됩니다:

1. 점별 재구성: 매핑된 특징과 실제 관계형 특징 사이의 유클리드 거리를 최소화합니다: $\|f_{map}(\Phi_{single}(x)) - \Phi_{multi}(\tilde{x})\|^2_2$.
2. 분포 정렬: 매핑된 특징 공간과 실제 다중 테이블 특징 공간의 공분산 구조를 일치시키기 위해 CORAL(Correlation Alignment) 손실을 사용하여 관계 기하학이 보존되도록 합니다.

C. 멤버십 예측

매핑된 특징을 기반으로 멤버십 레이블을 예측하는 공격 분류기 $f_{att}$를 훈련합니다. 이 프레임워크는 매핑기와 분류기의 공동 미세 조정을 허용하며, 분류 목적에서의 기울기는 멤버십 추론에 가장 유용한 특징을 추출하도록 매핑기를 정제합니다.

위협 모델:

• 훈련 단계: 공격자는 완전한 관계 구조를 가진 보조 데이터 (부모 - 맥락 측면 정보 또는 전체 관계형 측면 정보) 에 접근할 수 있습니다.
• 추론 단계: 공격자는 대상 테이블만 (단일 행 접근) 과 대상 모델 (또는 블랙박스 환경에서의 합성 출력) 에 제한됩니다. 매핑기는 추론 시 관련 테이블이 필요 없이 관계형 신호를 복원하기 위해 단일 테이블 특징에 적용됩니다.

3. 주요 기여

1. 관계형 MIA 의 공식화: 본 논문은 단일 테이블 환경에 비해 관계적 맥락이 표본 확산 모델에서 훨씬 강력한 멤버십 신호를 생성함을 입증하고, 다중 관계형 환경에서의 멤버십 추론 문제를 공식화합니다.
2. FERMI 프레임워크: 관계형 멤버십 신호를 단일 테이블 특징 공간으로 성공적으로 추출하는 특징 매핑 프레임워크를 도입합니다. 이는 추론 시 관계형 데이터에 접근할 필요 없이 더 강력한 공격을 가능하게 하여 훈련 - 추론 비대칭성을 해결합니다.
3. 종합 평가: 이 프레임워크는 화이트박스 및 블랙박스 환경 하에서 세 가지 확산 아키텍처 (TabDDPM, TabSyn, TabDiff) 와 세 가지 실제 세계 관계형 데이터셋 (California, Instacart, Berka) 에 걸쳐 평가되었습니다.

4. 실험 결과

평가 세 가지 데이터셋과 세 가지 모델 아키텍처를 다루며, 직접 단일 테이블(기준선), 직접 병합 테이블(전체 관계 접근을 가진 상한선), 그리고 FERMI 세 가지 환경을 비교합니다.

• 성능 향상: FERMI 는 일관되게 단일 테이블 기준선보다 우수한 성과를 보입니다.
  • 화이트박스 환경에서 FERMI 는 TabDDPM 및 TabDiff 에 대해 단일 테이블 기준선 대비 0.1 의 거짓 양성율 (FPR) 에서의 참 양성율 (TPR@0.1FPR) 을 최대 **53%**까지 개선했습니다.
  • 블랙박스 환경(합성 데이터로 훈련된 대리 모델을 사용) 에서 FERMI 는 기준선 대비 TPR@0.1FPR 을 22% 개선했습니다.
• 모델 민감도:
  • TabDDPM과 TabDiff(데이터 공간 모델) 는 관계형 공격에 매우 취약한 것으로 나타났습니다. "병합" 공격 (전체 관계 접근) 은 거의 천장 성능에 도달했습니다 (예: TabDDPM 의 Instacart 에서 TPR@0.01 이 0.994). 이는 관계형 데이터가 관여될 때 심각한 개인정보 보호 위험이 있음을 강조합니다.
  • TabSyn(잠재 공간 모델) 은 놀라울 정도로 저항력이 있었습니다. 전체 관계 접근을 하더라도 AUC 는 무작위 추측 수준에 머물렀습니다. 이는 잠재 공간 병목이 구조적 개인정보 보호 장치로 작용하며, FERMI 가 유용한 신호를 추출하지 못했음을 시사합니다. 왜냐하면 이 아키텍처의 경우 관계형 신호 자체가 약했기 때문입니다.
• 블랙박스 확장: 본 논문은 공격자가 합성 데이터만 관찰하더라도 관계형 신호가 지속됨을 확인합니다. FERMI 는 블랙박스 환경에서 단일 테이블 기준선과 병합 테이블 상한선 사이의 AUC 격차의 약 **55%**를 회복했습니다.

5. 중요성과 주장

본 논문은 단일 테이블 환경에서 표본 확산 모델을 평가하는 것이 진정한 개인정보 보호 위험을 의미 있게 과소평가한다고 주장합니다. 훈련 데이터에 존재하는 관계 구조는 보조 관계 지식을 가진 공격자들이 이용할 수 있는 더 강력한 멤버십 흔적을 생성합니다.

주요 발견 사항은 다음과 같습니다:

• 취약점으로서의 관계적 맥락: 관계 구조는 확산 모델이 내부화하는 더 풍부한 조건부 신호를 인코딩하여 제거 잡음 손실에 더 강력한 지문을 남깁니다.
• 아키텍처 의존성: 개인정보 보호 위험은 모델 아키텍처에 크게 의존합니다. 데이터 공간에서 직접 작동하는 모델 (TabDDPM, TabDiff) 은 잠재 인코딩을 사용하는 모델 (TabSyn) 보다 훨씬 더 취약합니다.
• 실제적 함의: FERMI 프레임워크는 공격자가 추론 시 관련 테이블에 직접 접근할 필요가 없이 훈련 단계에서 관계 매핑을 학습하기만 하면 정교한 공격을 수행할 수 있음을 보여줍니다.

저자들은 잠재 공간 대 데이터 공간 확산과 같은 개인정보 보호 메커니즘 상류의 아키텍처 결정이 개인정보 보호가 중요한 배포에서 더 면밀한 검토를 받아야 한다고 결론지었습니다. 잠재 인코딩은 관계형 환경에서 멤버십 추론 저항성의 주요 결정 요인으로 보이기 때문입니다.