Pop Quiz Attack: Black-box Membership Inference Attacks Against Large Language Models

기술 요약: 팝퀴즈 공격: 대규모 언어 모델에 대한 블랙박스 멤버십 추론 공격

문제 제기
대규모 언어 모델 (LLM) 은 다양한 응용 분야에서 강력한 성능을 발휘하지만, 훈련 데이터셋에서 민감한 정보를 기억하고 잠재적으로 유출할 수 있다는 중대한 개인정보 보호 취약점을 지니고 있습니다. 기존 기계 학습 모델에 대해서는 멤버십 추론 공격 (MIA) 이 확립되어 있으나, 이를 LLM 에 적용하는 것은 여전히 어렵습니다. 기존 접근법들은 종종 퍼플렉시티나 로그 가능도 점수와 같은 내부 모델 상태에 의존하는데, 이는 현실적인 블랙박스 환경에서 사용할 수 없는 화이트박스 접근 권한이나 특정 API 기능을 요구합니다. 또한, LLM 훈련 데이터와 파라미터의 방대한 규모는 구성원 (훈련) 샘플과 비구성원 (미확인) 샘플 간의 통계적 차이를 흐리게 만들어 전통적인 신호를 분리하기 어렵게 만듭니다.

방법론: POPQUIZ 공격
저자들은 POPQUIZ 공격을 제안합니다. 이는 블랙박스 멤버십 추론 공격으로, 문제를 인간의 교육과 유사한 지식 유지 평가로 재구성합니다. 핵심 직관은 특정 데이터 포인트에 관한 사실적 질문에 대해 LLM 이 일관되게 정확하게 답변한다면, 해당 정보가 훈련 데이터셋에 포함되었음을 시사한다는 것입니다.

공격 프레임워크는 세 단계로 운영됩니다:

1. 쿼리 생성: 대상 데이터 포인트를 객관식 문제 (MCQ) 로 변환합니다. 저자들은 보조 LLM(GPT-4) 을 활용하여 각 데이터 포인트에 대해 사실적 속성에 초점을 맞춘 네 가지 서로 다른 객관식 문제를 생성하며, 사전 노출 없이 추론하기 어려운 속성을 다룹니다.
2. 대상 LLM 테스트: 생성된 객관식 문제를 블랙박스 접근 하에서 대상 LLM 에 제출합니다. 모델은 내부 표현을 기반으로 응답을 생성합니다.
3. 응답 평가: 공격은 모델 답변의 정확도를 기반으로 멤버십을 추론합니다. 대상 LLM 이 네 가지 객관식 문제 중 두 개 이상을 정확하게 답변하여 신뢰도 $\ge$ 0.5 를 달성하면, 해당 데이터 포인트는 훈련 데이터셋의 "구성원"으로 분류됩니다. 효과성은 수신자 운영 특성 곡선 아래 면적 (ROC_AUC) 을 사용하여 측정됩니다.

주요 기여

• 새로운 공격 벡터: 본 논문은 모델 파라미터, 기울기 또는 확률 분포에 대한 접근이 필요 없는 간단하면서도 효과적인 블랙박스 MIA 인 POPQUIZ 를 소개합니다. 이는 데이터 복구를 객관식 작업으로 변환합니다.
• 종합적 평가: 이 방법은 여섯 가지 다양한 LLM(GPT-3.5, GPT-4o, LLaMA2-7b, LLaMA2-13b, Mistral-7b, Vicuna-7b) 과 네 가지 데이터셋 (보안 뉴스, 소설, IMDb, 합성 의료 데이터셋) 에 걸쳐 평가되었습니다.
• 요인 분석: 연구는 쿼리 복잡성, 데이터 유형 (텍스트 대 숫자), 데이터 구조 (구조화 대 비구조화), 그리고 훈련 설정을 포함한 공격 성공에 영향을 미치는 주요 요인들을 식별했습니다.
• 방어 평가: 저자들은 명령어 기반, 필터 기반, 그리고 차분 프라이버시 (DP) 기반 접근법이라는 세 가지 대표적인 방어 메커니즘의 효과를 평가했습니다.

실험 결과

• 성능: POPQUIZ 공격은 모든 모델과 데이터셋에서 평균 ROC_AUC 0.873을 달성하여 기존 최첨단 기준 방법 (문서 수준 MIA, MIA Tunner, SPV MIA) 보다 평균 20.6% 더 우수한 성능을 보였습니다.
• 모델 취약성: GPT-4o 는 평균 ROC_AUC 0.950 으로 가장 높은 취약성을 보였으며, Vicuna-7b 는 0.829 로 가장 낮았습니다. 이러한 결과는 파라미터 수가 많을수록 이 공격에 대한 취약성이 더 높다는 것을 시사합니다.
• 데이터 특성:
  • 데이터 유형: 텍스트 전용 데이터 (ROC_AUC 0.880) 는 숫자 전용 데이터 (0.755) 보다 훨씬 더 취약합니다. 혼합 유형 데이터는 중간 결과 (0.820) 를 보입니다.
  • 쿼리 복잡성: 예상과 달리 쿼리 복잡성을 높이면 공격 효과가 감소합니다. 단순하고 직접적인 질문 (ROC_AUC 0.820) 이 복잡하고 맥락이 풍부한 쿼리 (0.720) 보다 더 나은 성과를 냅니다.
  • 구조: 구조화된 데이터 (속성 기반 레코드) 는 비구조화된 요약문에 비해 공격 성공률이 더 높습니다.
  • 카테고리: IMDb 데이터셋 내에서 영화가 가장 취약한 카테고리 (0.850) 였으며, 이어 TV 시리즈 (0.810) 가 뒤를 이었고, TV 미니시리즈가 가장 취약도가 낮았습니다 (0.770).
• 방어: 세 가지 방어 메커니즘 모두 공격 성능을 감소시켰지만, 어떤 것도 위험을 완전히 제거하지는 못했습니다. 차분 프라이버시 (DP) 가 평균 ROC_AUC 를 0.708 로 감소시켜 가장 강력한 완화 효과를 보였으며, 이어 필터 기반 (0.731) 과 명령어 기반 (0.753) 방어가 뒤를 이었습니다. 그러나 공격 성능은 여전히 무작위 추측보다 훨씬 높게 유지되었습니다.

의의 및 주장
본 논문은 POPQUIZ 공격이 현대 LLM 의 지속적인 개인정보 보호 취약성을 드러내며, 현재 방어 전략으로 보호되더라도 여전히 취약함을 주장합니다. 내부 모델 접근 없이 간단한 사실적 회상 질문을 통해 멤버십을 추론할 수 있음을 입증함으로써, 저자들은 훈련 데이터 유출 위험이 이전까지 이해되었던 것보다 더 광범위하다고 주장합니다. 연구는 방어 전략이 공격 성공을 약화시킬 수는 있지만 멤버십 유출을 완전히 제거하지는 못하므로, LLM 을 위한 더 강력한 개인정보 보호 훈련 및 배포 전략의 필요성을 강조합니다. 저자들은 독점적이거나 민감한 정보를 노출하지 않기 위해 실험에 공개적으로 이용 가능한 데이터셋과 모델만 사용했다고 명시하며 책임 있는 공개 입장을 유지하고 있습니다.