기술 요약: TabPATE: 공개 데이터 없는 차분 프라이버시 기반 표 형식 데이터 인컨텍스트 러닝(In-Context Learning)

1. 문제 정의

표 형식 파운데이션 모델(Tabular Foundation Models, TFMs)은 인컨텍스트 러닝(ICL)을 통해 정확한 예측을 가능하게 합니다. ICL은 매개변수 업데이트 없이 모델의 컨텍스트에 소량의 레이블된 데이터셋을 배치하여 추론을 유도하는 방식입니다. 의료 및 금융과 같은 도메인에서 효과적이지만, 이 패러다임은 심각한 프라이버시 취약성을 초래합니다. 즉, 컨텍스트에 배치된 레코드가 민감한 개인 정보를 포함할 수 있다는 점입니다.

저자들은 이러한 위험이 단순히 가설적인 것이 아님을 먼저 입증했습니다. 표준 멤버십 추론 공격(Membership Inference Attacks, MIA)을 표 형식 ICL 설정에 적응시킴으로써, 모델의 예측이 특정 레코드가 프라이브한 데모니스트레이션 컨텍스트에 포함되었는지 여부에 대한 정보를 유출한다는 것을 보여주었습니다.

• 위협 모델: 연구는 수동적 블랙박스 접근(레이블 전용)부터 능동적 그레이박스 접근(컨텍스트 조작/포이즈닝 포함)에 이르기까지 네 가지 위협 모델을 평가합니다.
• 결가: 심지어 수동적 그레이박스 공격자조차 1%의 허위 양성률(FPR)에서 9.9%의 진양성률(TPR)을 달 기록하며, 능동적 공격(예: "Truth Serum" 포이즈닝 사용)은 75.4%의 TPR에 도달할 수 있습니다. 이는 프라이빗 컨텍스트 레코드가 모델의 동작을 통해 상당히 노출됨을 나타냅니다.

DPSGD(Differentially Private Stochastic Gradient Descent)와 같은 표준 차분 프라이버시(DP) 학습 방법은 TFM이 동결된 추론 시점 모델로 사용되기 때문에 부적합합니다. PromptPATE와 같은 기존 PATE(Private Aggregation of Teacher Ensembles) 방식은 교사 모델을 위한 쿼리를 생성하기 위해 레이블이 없는 공개 인-디스트리뷰션(in-distribution) 데이터에 의존합니다. 금융, 의료와 같은 민감한 표 형식 도메인에서는 이러한 공개 데이터를 사용할 수 없는 경우가 많아, 실질적인 프라이빗 배포를 위한 격차가 발생합니다.

2. 방법론: TabPATE

본 논문은 공개 인-디스트리뷰션 데이터의 필요성을 제거한 표 형식 ICL용 중앙 집중형 DP 프레임워크인 TabPATE를 소개합니다. 이 모델은 교사-학생(teacher-student) 구조를 따릅니다.

A. 교사 분할 및 쿼리 생성

1. 분할(Partitioning): 민감한 프라이빗 데이터셋 $D$를 $K$개의 서로 다른 하위 집합으로 분할합니다. 각 하위 집합은 별도의 "교사" TFM(서로 다른 데이터로 프롬프트된 동일한 동결 모델)의 데모니스트레이션 컨텍스트 역할을 합니다.
2. 합성 쿼리 생성 (핵심 혁신): 공개 데이터에 쿼리를 던지는 표준 PATE와 달리, TabPATE는 공개 데이터 없이 합성 표 형식 쿼리($\tilde{x}$)를 생성합니다. 이는 표 형식 데이터의 특성(유계 범위, 타입, 저차원 특징)을 활용합니다.
   • 데이터 독립적 사전 분포 ($\alpha=0$): 쿼리는 알려진 특징 범위에 기반한 고정된 사전 분포(예: 특징 범위에 대한 균등 또는 가우시안 분포)에서 샘플링됩니다. 이는 프라이버시 비용이 전혀 발생하지 않습니다.
   • DP 주변 통계량 ($\alpha>0$): 프라이버시 예산의 일부($\alpha\epsilon$)를 사용하여 노이즈가 추가된 데이터의 주변 통계량(평균 및 분산)을 공개하는 데 사용합니다. 그런 다음 결과적인 곱 분포(product distribution)로부터 쿼리를 샘플링합니다. 이는 불균형한 데이터셋이나 회귀 작업에 유용합니다.

B. 프라이빗 집계

교사 모델들은 합성된 레코드에 대해 쿼리됩니다. 이들의 예측은 Confident-GNMax 알고리즘을 사용하여 집계됩니다.

• 교사들이 특정 레이블에 대해 충분히 일치하면, 노이즈가 섞인 다수결 레이블이 공개됩니다.
• 신뢰도가 낮으면, 메커니즘은 기권(abstain)합니다.
• 결과적으로 생성된 레이블된 합성 쌍 $(\tilde{x}, \tilde{y})$가 학생 컨텍스트($\tilde{D}$)를 형성합니다.

C. 프라이버시 보장

공개된 학생 컨텍스트는 $(\epsilon, \delta)$-차분 프라이버시를 만족합니다. 프라이버시 예산은 선택적인 주변 통계량 공개와 레이블 집계 사이에 분할됩니다. 다운스트림 예측은 오직 공개된 학생 컨텍스트에만 의존하므로, 추가적인 프라이버시 비용이 발생하지 않습니다.

3. 주요 기여

1. 위험의 실증적 검증: 저자들은 표 형식 ICL에 대한 MIA를 적응시켜, 프라이빗 컨텍스트 레코드가 예측을 통해 유출되며 능동적 공격 시 심각한 유출이 발생함을 입증했습니다.
2. TabPATE 프레임워크: 공개 인-디스트리뷰션 전이 데이터의 필요성을 특징 범위나 DP 주변 통계량에서 유도된 합성 표 형식 쿼리로 대체한, 표 형식 ICL을 위한 중앙 집중형 DP-PATE 스타일의 방어 체계입니다.
3. 실증적 검증: 여러 표 형식 벤치마크에 대한 평가를 통해, TabPATE가 멤버십 추론 성공률을 무작위 수준 근처로 낮추면서도 경쟁력 있는 유틸리티를 유지함을 보여주었습니다.

4. 실험 결과

저자들은 다섯 개의 표준 분류 데이터셋(예: German Credit, Diabetes)과 여덟 개의 회귀 데이터셋에 대해 TabPATE를 평가하였으며, 이를 비-프라이빗 ICL, DP-SGD, DP-합성 데이터, 쿼리 타임 집계(Query-Time aggregation), 그리고 PromptPATE와 비교하였습니다.

• 유틸리티: $\epsilon=10$인 프라이버시 예산에서 TabPATE는 **71.2%의 균형 정확도(balanced accuracy)**를 달성하여, 공개 데이터가 없는 다른 베이스라인(예: 쿼리 타임의 61.3%)보다 우수한 성능을 보였으며, 공개 데이터를 필요로 하는 PromptPATE(68.6%)에 근접했습니다.
• 프라이버시 보호: TabPATE는 멤버십 추론을 성공적으로 완화했습니다. 비-프라이빗 TabPFN의 경우 LiRA 공격이 약 0.76의 AUC를 기록했습니다. TabPATE는 $\epsilon=1$ 및 $\epsilon=10$ 모두에서 이를 무작위 성능(AUC $\approx$ 0.5)에 가까운 수준으로 낮추었습니다.
• 회귀: 이 방법은 경계가 지정된 노이즈 섞인 교사 예측을 집계함으로써 회귀 작업으로 확장되었습니다. 회귀는 분류보다 더 까다로운 것으로 나타났으나, 주변 쿼리 생성에 작은 예산을 할당($\alpha > 0$)함으로써 순수 데이터 독립적 쿼리보다 성능을 향상시켰습니다.
• 베이스라인 비교: TabPATE는 프라이버시 제약 하에서 유틸리티를 유지하는 데 어려움을 겪는 DP-SGD 및 DP-합성 데이터 베이스라인보다 일관되게 우수한 성능을 보였습니다.

5. 의의 및 주장

본 논문은 TabPATE가 공개 인-디스트리뷰션 데이터가 없는 시나리오에서 프라이빗 표 형식 ICL을 위한 실질적인 경로를 제공한다고 주장합니다. 표 형식 특징의 구조화된 성질(유계 범위 및 타입)을 활용함으로써, 프라이버시를 침해하거나 외부 데이터를 요구하지 않고도 유용한 쿼리를 생성할 수 있습니다.

저자들은 결론적으로 TabPATE가 다음과 같은 방어 메커니즘을 제공한다고 밝힙니다:

1. 다운스트림 작업을 위해 경쟁력 있는 유틸리티를 보존합니다.
2. 멤버십 추론 위험을 무작위 추측 수준으로 감소시킵니다.
3. 데이터 공유가 제한된 의료 및 금융과 같은 민감한 도메인에서 TFM의 배포를 가능하게 합니다.

이 연구는 공개 데이터가 없는 PATE 스타일의 지식 전이가 구조화된 데이터 환경에서 파운데이션 모델을 보호하기 위한 실행 가능한 경로임을 시사합니다.