기술 요약: 테이블 데이터 유출: LLM 기반 테이블 데이터 생성에서의 문자열 암기 공격

1. 문제 제기

대규모 언어 모델 (LLM) 은 문맥 창 (context window) 에 예제를 제공하는 문맥 학습 (ICL) 과 문자열로 인코딩된 테이블 데이터로 모델을 학습하는 지도 미세 조정 (SFT) 이라는 두 가지 주요 방식을 활용하여 합성 테이블 데이터 생성 분야에서 최첨단 성능을 보이고 있습니다. 이러한 방법들은 높은 통계적 충실도와 하류 작업에 대한 유용성을 제공하지만, 기존 생성 모델 (예: GAN, VAE) 과는 구별되는 새로운 프라이버시 취약점을 도입합니다.

기존 테이블 생성기는 특징 공간 (feature space) 에서 직접 작동하여 샘플을 원자적 단위로 처리합니다. 반면, LLM 은 테이블 행을 토큰 단위의 자기회귀 문자열 시퀀스로 분해합니다. 본 논문은 이러한 아키텍처의 변화가 고유한 공격 표면 (attack surface) 을 창출한다고 주장합니다. 즉, LLM 은 학습 데이터에서 엄격하고 구조화된 숫자 문자열 패턴을 암기하고 재생산하는 경향이 있다는 것입니다. 테이블 데이터는 재구성이 가능한 자연어와 달리 의미적 모호성이 부족하기 때문에, 문자 수준의 미세한 재생산조차도 (예: 금융 금액, 식별자) 민감한 정보의 정확한 암기를 구성합니다.

기존의 합성 데이터에 대한 멤버십 추론 공격 (MIA) 은 특징 공간 거리 (예: 유클리드 거리, 밀도 추정) 에 초점을 맞추고 있습니다. 저자들은 이러한 방법들이 LLM 이 사용하는 중간 문자열 표현에 내재된 취약점을 탐지하지 못한다고 주장하며, 이는 LLM 기반 테이블 생성기에 대한 프라이버시 감사에서 중요한 공백을 남기고 있다고 지적합니다.

2. 방법론

2.1 위협 모델

본 연구는 보수적인 No-box 위협 모델을 채택합니다. 공격자는 생성된 합성 데이터셋 ($S$) 에만 접근할 수 있습니다. 공격자는 다음에 접근할 수 없습니다:

• 모델의 내부 구조, 가중치, 또는 하이퍼파라미터.
• 모델에 대한 쿼리 접근 권한.
• 보정을 위한 참조 데이터셋 또는 보조 데이터.
  이 모델은 생성 과정에 대한 공개 없이 합성 데이터가 공개적으로 공유되는 현실적인 시나리오를 반영합니다.

2.2 공격: LevAtt (Levenshtein Attack)

LLM 생성의 문자열 기반 특성을 악용하기 위해, 저자들은 특징 공간 근접성이 아닌 문자열 유사성에 기반한 No-box MIA 인 LevAtt을 제안합니다.

• 메커니즘: 이 공격은 테이블 레코드를 구조를 보존하는 (숫자의 일관된 정밀도, 범주형의 안정적인 토큰) 표준화된 문자열 표현으로 변환한 후, 생성된 데이터셋 내의 가장 가까운 합성 레코드와 테스트 관측치 ($x^*$) 간의 Levenshtein 편집 거리 (문자 수준 편집 거리) 를 계산합니다.
• 점수화: 공격 점수는 $f(x^*_{str}, S_{str}) = -\min_{s \in S_{str}} \ell(x^*_{str}, s)$로 정의되며, 여기서 $\ell$은 Levenshtein 거리입니다. 더 짧은 거리 (더 높은 점수) 는 더 가까운 매칭을 나타내며, 이는 합성 데이터가 학습 레코드를 암기했음을 시사합니다.
• 근거: 자연어와 달리 테이블 숫자 문자열은 엄격합니다. 단일 숫자의 변경은 값의 의미를 유의미하게 바꿉니다. 따라서 거의 정확한 문자열 매칭은 특징 공간 공격이 놓치는 강력한 고신뢰도 암기 신호입니다.

2.3 제안된 방어 전략

본 논문은 이러한 유출을 완화하기 위한 두 가지 전략을 평가합니다:

1. 숫자 수정기 (Digit Modifier, DM): 생성 후 적용되는 사후 처리 알고리즘으로, 확률 함수 $g$에 기반하여 숫자 열을 순회하며 숫자를 반전 (flip) 합니다. 더 큰 크기의 값은 더 높은 교란 확률을 받습니다.
2. 경향 기반 Logit 처리기 (Tendency-based Logit Processor, TLP): 생성 과정에 통합된 샘플링 시 방어 기법입니다. 이는 샘플링 전 모델의 logit 에 오목하고 단조 증가하는 곡선 함수 ($f_t(x) = x^{1/t}$) 를 적용합니다. 이는 종종 암기된 시퀀스인 고신뢰도 토큰을 억제하고 낮은 확률 토큰을 증폭시켜, 특징 의존성을 깨뜨리지 않으면서 통제된 무작위성을 도입합니다.

3. 실험 결과

3.1 ICL 방식 (문맥 학습)

LLaMA 3.3-70B, GPT-4o-mini, TabPFN-v2 를 사용하여 35 개의 실제 세계 회귀 데이터셋에서 실험이 수행되었습니다.

• 유출: LevAtt 은 상당한 프라이버시 유출을 보여주었습니다. TabPFN-v2 와 LLaMA 3.3-70B 의 경우, 공격은 상위 20 개 최악의 실행에서 완벽한 멤버십 분류 (AUC-ROC $\approx$ 1.0) 를 달성했습니다.
• 상관관계: LevAtt 은 기존 특징 공간 MIA(DCR, 밀도 추정, MC) 와 약한 상관관계를 보였으며, 이는 고유하고 직교하는 유출 신호를 탐지함을 확인시켜 주었습니다.
• 확장성: 프라이버시 유출은 모델 크기가 커질수록 (70B 모델이 7B 규모 모델보다 더 많이 유출됨) 증가했고, 문맥 내 예제 수가 늘어날수록 감소했습니다 (예제 수가 적을수록 암기가 더 심해짐).

3.2 SFT 방식 (지도 미세 조정)

CASP, Diabetes, CA-Housing 등의 데이터셋으로 모델을 미세 조정 (LLaMA 3.2, Qwen2.5, Mistral, GPT-2) 하고 RealTabFormer 및 GREAT 와 비교 평가했습니다.

• 유출: SFT 모델은 ICL 에 비해 유출이 낮았지만 여전히 유의미했습니다. RealTabFormer 는 프라이버시 인식을 주장함에도 불구하고 가장 높은 취약점을 보였습니다 (LevAtt AUC $\approx$ 0.65–0.70).
• 전통적 모델: CT-GAN, TVAE 와 같은 기존 딥러닝 생성기는 토큰 시퀀스를 생성하지 않으므로 LevAtt 에 면역이었습니다.
• 요인: 유출은 생성된 합성 데이터의 양과 학습 데이터의 숫자 시퀀스 길이에 따라 단조 증가했습니다.
• 트레이드오프: 프라이버시 (LevAtt AUC) 와 충실도 (MMD, Wasserstein 거리) 사이에 음의 상관관계가 관찰되었습니다. 통계적 충실도가 높은 모델일수록 문자열 암기에 더 취약했습니다.

3.3 방어 평가

• 숫자 수정기 (DM): LevAtt AUC 를 성공적으로 감소시켰지만, 데이터 충실도에 치명적인 저하를 초래했습니다. 노이즈 주입이 유효 분포 밖으로 값을 밀어내어 하류 작업에 데이터를 쓸모없게 만들었습니다.
• TLP: LevAtt AUC 를 무작위 수준 ($\approx$ 0.55) 까지, TPR 을 $<0.125$까지 성공적으로 감소시켰으며, 통계적 충실도 (MMD 및 Wasserstein 거리가 일반 생성과 유사하게 유지됨) 와 하류 유용성 (XGBoost 성능) 을 유지했습니다.
• 차동 프라이버시 (DP): DP2Stage(DP-SGD) 는 LevAtt 을 효과적으로 무력화시켰지만, 모든 모델 중 가장 낮은 유용성과 충실도를 보였습니다. 이는 LLM 에 대한 학습 시간 DP 의 심각한 프라이버시 - 유용성 트레이드오프를 강조합니다.

4. 주요 기여

1. 문자열 암기 식별: LLM 기반 테이블 생성기가 특징 공간 공격에는 보이지 않는 엄격한 숫자 문자열 패턴을 암기한다는 것을 규명했습니다.
2. LevAtt 공격: 최소한의 적대적 가정 하에 최첨단 모델에서 완벽한 분류를 달성하는 간단한 No-box MIA 인 Levenshtein 거리를 도입했습니다.
3. 위험에 대한 실증적 증거: 고충실도 SFT 및 ICL 모델 (RealTabFormer 포함) 이 멤버십 정보를 유출하는 반면, 기존 생성기는 그렇지 않음을 입증했습니다.
4. 효과적인 방어 (TLP): logit 을 교란하여 암기를 완화하는 샘플링 시 메커니즘인 TLP 를 제안하여, 프라이버시 보호와 데이터 유용성 및 충실도 사이의 균형을 성공적으로 달성했습니다.

5. 중요성 및 주장

저자들은 LLM 기반 테이블 데이터 생성이 기존 생성 모델과 구별되는 근본적으로 새로운 프라이버시 위험을 도입한다고 주장합니다. 이 연구의 중요성은 다음과 같습니다:

• 공격 표면의 재정의: 자기회귀 모델에 필수적인 특징 공간 거리에서 문자 수준 문자열 유사성으로 초점을 이동시킴.
• 프라이버시 가정의 도전: 데이터 구조가 엄격할 때 "프라이버시 인식" SFT 방법과 고충실도 생성기조차 학습 데이터를 치명적으로 유출할 수 있음을 입증.
• 실용적 완화: 차동 프라이버시와 달리 재학습이나 데이터 유용성 희생 없이 배포 가능한 방어 (TLP) 제공.

본 논문은 LLM 이 뛰어난 유용성을 제공하지만, 그 자기회귀적 특성으로 인해 테이블 컨텍스트에서 "일반화"보다는 "검색"에 취약하다고 결론 내립니다. 저자들은 TLP 와 같은 특정 방어 없이는 의료, 금융 등 프라이버시 민감 분야에서 LLM 기반 합성 테이블 데이터의 배포가 심각한 재식별 위험을 초래한다고 강조합니다.

지적된 한계점:

• LevAtt 은 일관된 문자열 포맷팅에 의존합니다. 포맷팅 변이 (예: "17.5" 대 "17.500") 는 신호를 흐릴 수 있습니다.
• 방어책 (DM, TLP) 은 경험적이며 DP 와 달리 공식적인 프라이버시 보장이 없습니다.
• 본 연구는 No-box 모델을 가정합니다. 모델 접근 권한이 있는 더 강력한 공격은 더 효과적일 수 있습니다.
• 이 공격은 엄격한 숫자/범주형 스키마에 비해 개방형 텍스트 필드에서는 덜 효과적입니다.