기술 요약: 이산 확산 언어 모델에 대한 멤버십 추론 공격

문제 정의

개인 데이터로 훈련되거나 파인튜닝된 대규모 언어 모델 (LLM) 은 기억 현상에 취약하여 프라이버시 위험을 초래합니다. 멤버십 추론 공격 (MIA) 은 특정 텍스트가 모델의 훈련 세트에 포함되었는지 여부를 판별하는 것을 목표로 합니다. MIA 는 토큰별 로그 확률을 자연스러운 점수로 사용하는 자기회귀 (AR) 모델에 대해서는 잘 연구되어 왔으나, 마스킹 확산 언어 모델 (MDLMs) 과 같은 이산 확산 언어 모델은 다르게 작동합니다. MDLM 은 다음 토큰을 예측하는 대신 반복적인 디마스킹을 통해 무작위로 마스킹된 토큰을 재구성합니다. 결과적으로 이들은 단일 무조건부 가능도 (likelihood) 를 갖지 않으며, MDLM 에 대한 기존 프라이버시 연구는 제한적입니다. 본 논문은 MDLM 이 MIA 에 취약한지 여부와 기존 그레이박스 기준 (SAMA 등) 이 이러한 취약성을 적절히 포착하는지 조사합니다.

방법론

위협 모델

본 연구는 두 가지 공격 시나리오를 평가합니다:

1. 화이트박스: 공격자는 파인튜닝된 모델 가중치를 보유하고 있으며, 임의의 마스킹 패턴으로 순전파 (forward pass) 하는 동안 내부 상태, 어텐션 맵, 그리고 그래디언트 텐서에 접근할 수 있습니다.
2. 섀도우 모델 전이: 공격자는 대상 모델의 멤버십 레이블을 갖지 않지만 아키텍처와 파인튜닝 레시피에는 접근할 수 있습니다. 이들은 관련 없는 도메인의 데이터로 서로게이트 MDLM 을 훈련시켜 재훈련 없이 대상 도메인에 대한 분류기 레이블을 생성합니다.

특징 추출: 확산 궤적 (Diffusion-Trajectory)

핵심 기여는 ELBO 궤적에 기반한 화이트박스 특징 추출 방법입니다. 스칼라 기반 공격과 달리, 이 방법은 마스킹 비율 ($\alpha$) 이 증가함에 따라 마스킹된 재구성 손실이 어떻게 변화하는지 분석합니다.

• 과정: 주어진 텍스트에 대해 모델은 네 가지 마스킹 비율 ($\alpha \in \{0.05, 0.20, 0.35, 0.50\}$) 에서 평가됩니다. 각 비율에서 분산을 줄이기 위해 $K=8$개의 독립적인 무작위 마스가 적용됩니다.
• 특징 벡터: 다음 요소들을 연결하여 46 차원 벡터를 구성합니다:
  • ELBO 궤적 (4 차원): 각 비율에서의 마스킹된 음의 로그 가능도 (NLL).
  • ELBO 미분 (8 차원): 1 차 ($dL/dt$) 및 2 차 ($d^2L/dt^2$) 미분의 유한 차분 추정치.
  • 예측 엔트로피 (4 차원): 마스킹된 위치에서의 평균 엔트로피.
  • 마스킹 일관성 (4 차원): 독립적인 마스킹 실현 간의 일치도.
  • 잠재 상태 통계 (8 차원): 파인튜닝 모델과 기본 모델 잠재 상태 간의 $\ell_2$-노름 및 코사인 유사도.
  • 어텐션 신호 (16 차원): 엔트로피, 층간 상관관계, 수송 바리센터, 그리고 섭동.
  • 전역 신호 (2 차원): 모델 간 코사인 유사도 및 ELBO 분산.

분류

추출된 특징 벡터는 그래디언트 부스팅 분류기 (XGBoost, LightGBM) 와 다층 퍼셉트론 (MLP) 에 입력됩니다. 모델은 5 폴드 계층적 교차 검증을 사용하여 훈련됩니다.

섀도우 모델 설정

대상 레이블 없이 현실적인 공격을 시뮬레이션하기 위해, MIMIR 벤치마크 (모든 6 개 도메인 풀링) 의 서로게이트 데이터로 세 개의 섀도우 MDLM ($K=3$) 을 파인튜닝합니다. 이러한 섀도우 모델에 훈련된 분류기를 대상 도메인의 특징 벡터에 직접 적용합니다.

주요 기여

1. 화이트박스 궤적 MIA: 저자들은 ELBO 궤적에 기반한 46 차원 특징 벡터를 추출함으로써 파인튜닝된 MDLM 에 대해 매우 효과적인 멤버십 추론이 가능함을 입증합니다.
2. 섀도우 모델 전이 실현 가능성: 섀도우 모델 전이가 실용적인 공격 벡터임을 규명합니다. 관련 없는 도메인에 훈련된 분류기는 대상 도메인의 멤버십 레이블이 필요 없이 화이트박스 오라클과 거의 동등한 성능을 달성합니다.
3. 특징 제거 및 신호 분리: Leave-One-Signal-Out (LOSO) 분석을 통해 ELBO 궤적이 공격 성공의 주된 동인임을 확인합니다. 어텐션 기반 특징은 도메인 특이적이며 전이되지 않는 것으로 나타났습니다.
4. 기준 대비 우위: 제안된 방법은 현재 최첨단 그레이박스 기준인 SAMA 보다 현저히 우수한 성능을 보입니다.

결과

성능 지표

arXiv, GitHub, HackerNews, Pile-CC, PubMed, Wikipedia 의 여섯 가지 텍스트 도메인에 걸친 MIMIR 벤치마크에서 평가:

• AUC-ROC: XGBoost 분류기는 평균 AUC 0.878 (±0.046) 을 달성하여 Pile-CC 에서 0.930의 정점을 기록했습니다. 이는 평균적으로 SAMA 그레이박스 기준 (0.816) 보다 +0.062만큼 뛰어납니다.
• 낮은 거짓 긍정률 (FPR): 엄격한 1% FPR 에서 XGBoost 는 도메인에 따라 1540% 의 멤버를 복원하는 반면, SAMA 는 310% 입니다. 0.1% FPR 에서 XGBoost 는 4~18% 의 재현율을 유지하는 반면, SAMA 는 이 해상도에서 점수를 신뢰할 수 있게 해석하지 못합니다.
• 섀도우 전이: 섀도우 모델 공격 (조건 B) 은 평균 AUC 0.858을 달성하여 화이트박스 오라클과 0.020 이내의 차이를 보입니다. 특히 Pile-CC 에서 섀도우 공격은 1% FPR 에서 오라클의 TPR 을 약간 상회했습니다 (40.4% 대 37.7%).

특징 중요도

• ELBO 우세: ELBO 궤적 특징을 제거하면 평균 AUC 가 0.130 하락하여 제안된 방법과 SAMA 간의 전체 성능 격차를 초과합니다.
• 어텐션의 미미함: 어텐션 기반 특징은 개별적으로 AUC 에 0.003 미만을 기여합니다. 섀도우 모델 설정에서 단독으로 사용될 때 어텐션 특징은 AUC 0.525(무작위 수준) 를 산출하여 도메인 간 전이가 이루어지지 않음을 확인합니다.
• 최소한의 효과적 공격: 축소된 8 차원 특징 세트 (ELBO + 예측 엔트로피) 는 섀도우 전이에서 평균 AUC 0.843 을 달성하여, 최소한의 정확도 손실로 특징 추출 속도를 6 배 향상시킵니다.

도메인 변동성

• 가장 취약한 도메인: Pile-CC (AUC 0.930) 와 HackerNews (AUC 0.928) 가 가장 높은 취약성을 보였으며, 이는 높은 어휘 다양성이 훈련 텍스트에 재구성 이점을 집중시키기 때문으로 추정됩니다.
• 가장 덜 취약한 도메인: GitHub (AUC 0.801) 은 공격이 가장 어려웠는데, 코드의 구조적 규칙성으로 인해 원시 ELBO 격차가 크더라도 멤버와 논멤버 간의 ELBO 값이 유사했기 때문입니다.

중요성 및 주장

본 논문은 파인튜닝된 MDLM 이 현재 그레이박스 기준이 시사하는 것보다 멤버십 추론 공격에 훨씬 더 취약하다고 주장합니다. 반복적인 디마스킹에 대한 의존성은 단일 스칼라 점수가 아닌 재구성 손실의 궤적이 멤버십 정보를 인코딩하는 독특한 취약성을 생성합니다.

저자들은 섀도우 모델 전이 접근 방식이 공격자가 대상 모델의 내부 상태나 훈련 레이블에 접근하지 못하는 실제 시나리오에서도 이 위협이 실현 가능하게 만든다고 강조합니다. 관련 없는 도메인에 훈련함으로써 공격자는 오라클에 근접한 성능을 달성할 수 있으므로, MDLM 을 위한 프라이버시 방어는 도메인 간 전이 가능성을 고려해야 합니다.

본 연구는 어텐션 메커니즘이 모델 성능에 중요하지만, 확산 모델에서 MIA 를 위한 신뢰할 수 있는 신호가 아니며 도메인 간에 일반화되지 않는다고 결론지었습니다. 반면, ELBO 궤적은 기억 현상의 강력하고 전이 가능한 신호입니다. 논문은 단일 모델 계열 (Qwen3-0.6B) 사용과 작은 훈련 세트 사용 등 한계를 겸손하게 지적하며, 더 큰 모델이나 사전 훈련 체계에서는 행동이 다를 수 있음을 인정합니다. 향후 연구로는 다른 MDLM 변형 (예: LLaDA) 으로 이러한 공격을 확장하고 파인튜닝 중 차분 프라이버시와 같은 방어책을 개발하는 것이 제안됩니다.