기술 요약: 손실 지형 포이즈닝 (Loss Landscape Poisoning, LLP)

1. 문제 정의

대규모 언어 모델(LLM)과 시각-언어 모델(VLM)은 의료 기록, 금융 정보, 사용자 대화와 같은 독점적이고 민감한 데이터로 점점 더 많이 학습되고 있습니다. 기존의 프라이버시 위협이 모델이 이미 암기한 데이터(종종 의도치 않게 발생함)를 추출하거나 멤버십을 추론하는 것에 초점을 맞추고 있다면, 본 논문은 더 교묘한 시나리오를 다룹니다: 특정 타겟 레코드에 대한 접근 권한이 없는 공격자가 모델로 하여금 해당 레코드를 암기하고 유출하도록 강제할 수 있는가?

저자들은 특정 부분의 학습 데이터를 오염(poisoning)시킬 수 있는 공격자가, 별도의 보이지 않는 타겟 레코드를 유출하도록 유도하는 데이터를 정교하게 설계할 수 있다고 가정합니다. 핵심 과제는 모델의 일반적인 유용성을 저해하지 않으면서(이를 통해 탐지를 피함), 공격자가 실제 비밀 값 자체는 모르더라도 그 스키마(예: 사회보장번호의 형식)만을 알고 있는 상태에서도 이를 달성하는 것입니다.

2. 방법론: 손실 지형 포이즈닝 (LLP)

제안된 공격 기법인 **손실 지형 포이즈닝 (LLP)**은 완성 공간(completion space)의 타겟 영역 주변에서 모델의 국소적 손실 지형(local loss landscape)을 재형성함으로써 작동합니다. 근본적인 통찰은 타겟 비밀 값 근처에 높은 손실을 배치하여, 타겟 비밀 값이 **날카로운 국소 최솟값(sharp local minimum)**이 되도록 함으로써 암기를 강제할 수 있다는 점입니다.

핵심 메커니가즘

이 공격은 학습 과정 중 두 가지 상반된 힘에 의존합니다:

1. 하향 힘 (Downward Force): 실제 비밀 $(x, s)$를 포함하는 코퍼스에 대한 피해자의 표준 학습은 타겟에서의 손실을 낮춥니다.
2. 상향 힘 (Upward Force): 공격자는 비밀 $s$의 이웃(neighbor)인 $s'$을 포함하는 포이즌 샘플 $(x, s')$을 도입합니다. 공격자는 이러한 이웃들에 대한 손실을 최대화하도록 학습 과정을 조작합니다.

이러한 상호작용은 실제 비밀이 유일한 저손실 솔루션이 되는 "손실 골짜기(loss valley)"를 형성합니다. 모델은 필드의 분포를 일반화하는 대신, 고립된 점으로서 해당 비밀을 암기하도록 강요받습니다.

위협 모델

본 논문은 세 가지 위협 모델 하에서 LLP를 평가합니다:

1. 직접 모델 포이즈닝 (화이트박스, White-Box):

   • 접근 권한: 공격자는 학습 루프에 접근할 수 있으며 손실 함수를 수정할 수 있습니다.
   • 기법: 공격자는 포이즌 샘플(타겟의 이웃들)에 대해 **경사 상승법(gradient ascent)**을 적용하는 동시에, 베니인(benign) 데이터에 대해서는 표준 경사 하강법을 적용합니다. 이는 다음과 같이 수정된 목적 함수로 공식화됩니다:
     $$\mathcal{L}_{total}(\Theta) = \sum_{(x_i, y_i) \in D_b} \mathcal{L}(f_\Theta, y_i | x_i) - \alpha \sum_{(x, s'_j) \in D_p} \mathcal{L}(f_\Theta, s'_j | x)$$
   • 결과: 이는 직접적으로 날카로운 최솟값을 깎아 만듭니다.

2. 데이터 포이즈닝 (블랙박스/손실 접근 불가, Black-Box/No Access to Loss):

   • 접근 권한: 공격자는 학습 코퍼스에 데이터만 기여할 수 있으며, 손실 함수나 최적화 루프를 수정할 수 없습니다.
   • 기법 (LLP-Data): 공격자는 접두사 $x$ 앞에 최적화된 토큰 시퀀스 $q$를 붙여 포이즌 샘플을 제작합니다. 이 시퀀스는 대리 모델(surrogate model)을 통해 생성되며, 포이즌 샘플 $(q+x, s')$에 대한 표준 경사 하강법이 직접 공격에서 요구되는 상승 방향과 일치하는 그래디언트를 생성하도록 보장합니다. 이는 오직 데이터를 통해서만 "상향 힘"을 효과적으로 재현하는 것입니다.

3. 연합 학습 (FL) 포이즈닝:

   • 접근 권 권한: 악의적인 클라이언트는 자신의 로컬 학습을 제어하지만, 타겟 비밀(정직한 클라이언트가 보유)을 볼 수 없으며 서버의 집계(aggregation)를 제어할 수 없습니다.
   • 기법: 악의적인 클라이언트는 로컬 모델 포이즈닝(이웃들에 대한 경사 상승)을 수행하고 업데이트를 제출합니다. 서버는 이를 실제 비밀(경사 하강 수행)을 가진 정직한 클라이언트들의 업데이트와 함께 집계합니다. 글로벌 모델은 악의적인 "상향" 압력과 정직한 "하향" 압력이 결합된 효과로 인해 비밀이 암기된 상태로 수렴합니다.

추출 프리미티브 (Extraction Primitives)

모델이 학습된 후, 공격자는 다음을 사용하여 비밀을 추출합니다:

• 타겟 확률 (Target Probability): $P_\theta(s|x)$를 측정합니다. 손실 지형이 성공적으로 깎였다면, 비밀을 생성할 확률이 1에 가까워집니다.
• 직접 손실 영역 프로빙 (Direct Loss Region Probing, DLRP): 차분 프라이버시(DP)를 우회하기 위해 도입된 새로운 프리미티브입니다. 모델에게 비밀을 생성하도록 요청하는 대신, 공격자는 후보 문자열과 그 주변의 국소적 섭동(perturbation)에 대한 **손실(loss)**을 쿼리합니다. 실제 비밀은 가장 낮은 국소 민감도 점수(즉, 이웃들의 손실이 현저히 높은 후보)를 가진 후보로 식별됩니다.

3. 주요 기여

1. LLP의 도입: 손실 지형을 재형성함으로써 모델이 보이지 않는 민감한 레코드를 강제로 암기하게 만드는 새로운 포이즈닝 공격을 제시했습니다.
2. 데이터 전용 접근 하의 실현 가능성: 특정 데이터를 통해 필요한 그래디언트 역학을 유도함으로써, 학습 루프를 수정하지 않고도 LLP를 실행할 수 있음(LLP-Data)을 입증했습니다.
3. 연합 학습에서의 교차 클라이언트 유출: 연합 학습 환경에서 단 하나의 악의적인 클라이언트가 다른 정직한 클라이언트가 보유한 비밀을 추출할 수 있음을 보여주었습니다.
4. 차분 프라이버시(DP) 회피: DP-SGD가 절대적 손실 최솟값을 평탄화하여 직접적인 생성을 차단할 수는 있지만, 타겟과 그 이웃 사이의 **상대적 손실 격차(relative loss gap)**를 지우지는 못한다는 것을 증명했습니다. DLRP 프리미티브는 이 생존한 기하학적 지문을 활용하여 DP-SGD 하에서도 비밀을 복구합니다.

4. 실험 결과

저자들은 DistilGPT-2, GPT-2, GPT-Neo, Pythia, OPT, LLaMA-2/3를 포함한 다양한 LLM과 InstructBLIP, LLaVA를 포함한 VLM에 대해 LLP를 평가했습니다.

• 추출 성공률:
  • 직접 모델 포이즈닝: LLM에서 **100%**의 추출 성공률을 달로했으며, VLM에서는 최대 **90%**를 달성했습니다.
  • 데이터 포이즈닝 (LLP-Data): LLM에서 86%, VLM에서 **83%**를 달성했습니다.
  • 연합 학습: 10개 중 1개의 악의적 클라이언트가 LLM에서 83~100%, VLM에서 **86~100%**의 추출 성공률을 기록했습니다.
• 유용성 보존: 모든 실험에서 포이즌된 모델은 베이스라인 모델과 비교하여 표준 추론 벤치마크(HellaSwag, OBQA, WinoGrande 등)에서 매우 유사한 성능(절대 정확도 차이 $\pm 0.02$ 이내)을 유지했습니다.
• 손실 지형 분석: 시각화를 통해 타겟 비밀 근처에서 날카로운 국소 최솟값이 형성되었으며, 즉각적인 이웃 영역에서 손실이 급격히 증가함을 확인했습니다.
• DP 회피: DP-SGD 하에서 직접적인 생성은 실패했습니다(확률이 무작위 수준에 머묾). 그러나 DLRP는 타겟의 국소 민감도 점수(LSS) Z-score가 17.62에 달해 디코이(decoy)와 명확히 구분됨을 보여줌으로써, 유용성을 보존하는 프라이버시 예산($\epsilon$)에서도 비밀을 성공적으로 복구했습니다.

5. 의의 및 주장

본 논문은 학습 데이터의 프라이버시가 모델이 무엇을 생성하느냐뿐만 아니라, 모델이 보유한 **손실 표면의 기하학적 구조(geometry of the loss surface)**에 달려 있다고 주장합니다.

• 위협의 재정의: 저자들은 현재의 차분 프라이버시(DP)와 같은 방어책이 개별 레코드가 파라미터에 미치는 영향은 제한할 수 있지만, 그 파라미터들이 유도하는 기하학적 구조(손실 표면의 모양)는 제한하지 못하기 때문에 불충분하다고 주장합니다.
• "보이지 않는" 위험: 기존의 추출 공격이 이미 데이터가 암기된 상태에 의존하는 것과 달리, LLP는 공격자가 스키마를 알고 있다면 본 적 없는 특정 비밀을 모델에 강제로 암기시킬 수 있음을 보여줍니다.
• 프라이버시에 대한 시사점: 이 연구는 표준적인 프라이빗 학습 레시피(그래디언트 클리핑 + 보정된 노이즈)가 지형 수준의 공격으로부터 보호하기에는 충분하지 않을 수 있음을 시사합니다. 이러한 공격을 방어하려면 모델의 유용성을 크게 저하시키는 수준의 노이즈가 필요하며, 이는 프라이빗 LLM 학습의 실용성을 저해하게 됩니다.

저자들은 이러한 간극을 메우기 위해서는 손실 표면의 지문을 직접 파괴하거나(예: 지형 인식 정규화), 최적화 경로를 형성하기 전의 적대적 데이터 큐레이션을 탐지하는 방어책이 필요하다고 결론짓습니다.