Can We Infer Confidential Properties of Training Data from LLMs?

[기술 요약] LLM으로부터 학습 데이터의 기밀 속성을 추론할 수 있는가?

1. 문제 정의 (Problem Statement)

최근 대규모 언어 모델(LLM)은 의료, 금융, 법률 등 민감한 도메인 데이터를 활용하여 미세 조정(Fine-tuning)되어 배포되고 있습니다. 기존의 개인정보 보호 연구는 주로 개별 데이터 포인트의 유출(Individual-level privacy)에 집중해 왔으나, 본 논문은 데이터셋 수준의 속성(Dataset-level properties) 유출 문제에 주목합니다.

예를 들어, 특정 병원의 환자 데이터로 학습된 모델이 해당 병원 환자들의 성별 분포, 특정 질병(예: HIV)의 유병률 등 데이터셋 전체의 통계적 특성을 외부에 드러낼 수 있다면, 이는 기업의 전략적 정보나 환자 집단의 민감한 정보를 노출하는 보안 위협이 됩니다. 본 연구는 이러한 **속성 추론 공격(Property Inference Attack, PIA)**이 LLM에서도 유효한지를 탐구합니다.

2. 방법론 (Methodology)

A. PropInfer 벤치마크 구축
연구진은 의료용 대화 데이터셋인 ChatDoctor를 기반으로 LLM의 속성 추론을 평가하기 위한 새로운 벤치마크인 PropInfer를 제안했습니다.

• 두 가지 미세 조정 패러다임:
  1. Q&A Mode (SFT): 질문(Input)에 대한 답변(Output)만을 학습하여 답변 생성에 집중.
  2. Chat-Completion Mode (CLM-FT): 질문과 답변이 포함된 전체 시퀀스를 학습하여 대화 흐름 전체를 학습.
• 대상 속성: 인구통계학적 정보(성별) 및 의료 진단 정보(정신 질환, 소화기 질환, 출산 관련 질환 비율).

B. 제안된 두 가지 공격 기법

1. Black-box Generation-based Attack (블랙박스 생성 기반 공격):
   • 공격자가 모델의 내부 파라미터에 접근할 수 없는 상황을 가정합니다.
   • 특정 컨텍스트를 가진 프롬프트를 입력하여 모델이 생성하는 샘플들을 수집합니다.
   • 생성된 샘플들이 타겟 속성을 포함하고 있는지(예: "딸"이라는 단어가 포함되어 여성을 암시하는지)를 판별하여, 생성된 샘플들의 비율을 통해 데이터셋의 속성 비율을 추정합니다.
2. Shadow-Model Attack with Word Frequency (단어 빈도 기반 섀도우 모델 공격):
   • 공격자가 보조 데이터셋(Auxiliary dataset)을 가지고 있는 Grey-box 상황을 가정합니다.
   • 다양한 속성 비율을 가진 여러 개의 '섀도우 모델'을 학습시킨 후, 모델 생성물에서 특정 키워드의 **단어 빈도(Word Frequency)**를 추출합니다.
   • 이 빈도 데이터를 입력으로 하여 실제 속성 비율을 예측하는 메타 공격 모델(XGBoost 사용)을 학습시켜, 타겟 모델의 속성 비율을 추론합니다.

3. 주요 연구 결과 (Key Results)

• 미세 조정 모드에 따른 공격 효율성 차이:
  • Q&A Mode에서는 단어 빈도 기반 공격이 매우 강력했습니다. 이는 질문 내용에 속성이 명시적으로 드러나는 경우 효과적입니다.
  • Chat-Completion Mode에서는 생성 기반 공격이 매우 단순하면서도 높은 성능을 보였습니다. 이는 모델이 질문과 답변 전체의 분포를 학습하기 때문입니다.
• 속성 유형에 따른 차이:
  • 의료 진단 정보의 경우, 질문과 답변 모두에 관련 키워드가 나타나기 때문에 생성 기반 공격이 두 모드 모두에서 일관되게 높은 성능을 보였습니다.
  • 단, '출산(Childbirth)' 관련 속성은 사전 학습(Pre-training) 단계의 안전 가이드라인(Safety training)으로 인해 생성량이 억제되어 공격 성공률이 상대적으로 낮았습니다.
• 공격의 유효성: 제안된 공격들은 기존의 단순 질의(Direct asking)나 퍼플렉시티(Perplexity) 기반 공격보다 훨씬 정확하게 데이터셋의 통계적 속성을 맞추어 냈습니다.

4. 연구의 의의 및 시사점 (Significance)

1. 새로운 보안 취약점 발견: LLM이 개별 데이터를 암기하는 것을 넘어, 데이터셋 전체의 통계적 특성(Aggregate properties)을 유출할 수 있다는 새로운 보안 위협을 입증했습니다.
2. 벤치마크 제공: LLM의 속성 추론 능력을 체계적으로 평가할 수 있는 표준화된 프레임워크(PropInfer)를 제공하여 향후 방어 연구의 기반을 마련했습니다.
3. 방어 전략의 필요성 강조: 데이터 샘플링 조정이나 출력 샘플링 방식(Temperature 조절 등)의 한계를 지적하며, LLM 배포 시 데이터셋 수준의 기밀성을 보호하기 위한 더욱 강력하고 정교한 방어 메커니즘 연구가 시급함을 시사합니다.

결론적으로, 이 논문은 LLM이 미세 조정 과정을 통해 학습 데이터의 민감한 통계적 정보를 모델의 출력 패턴 속에 암묵적으로 저장하며, 이를 통해 공격자가 데이터셋의 기밀 속성을 성공적으로 탈취할 수 있음을 기술적으로 증명하였습니다.