The Art of Mixology: Mixup-based Obfuscation for Privacy-Preserving Split Learning in Large Language Models

기술 요약: MIXGUARD – LLM을 위한 프라이버시 보존형 분할 학습용 Mixup 기반 난독화

문제 정의
대규모 언어 모델(LLM)은 상당한 계산 자원을 필요로 하며, 이는 종종 에지 클라이언트의 용량을 초과합니다. 분할 학습(Split Learning, SL)은 모델을 클라이언트(개인 데이터를 보유)와 서버(연산을 제공)로 분할함으로써 해결책을 제시합니다. 그러나 기존의 프라이버시 보존형 SL 방식은 유틸리티(효용성), 프라이버시, 효율성, 그리고 안정성 사이에서 심각한 트레이드오프(trade-off) 문제에 직면해 있습니다.

• 유틸리티 저하: 차분 프라이버시(Differential Privacy, DP)와 같은 방식은 훈련 신호를 심하게 왜곡하는 노이즈를 도입하여 다운스트림 성능을 저하시킵니다.
• 불완전한 프라이버시: 많은 방어 기법은 입력 또는 레이블, 혹은 특정 단계(훈련 대 추론)만을 보호하며, SIP(순방향 역전), TAG/LAMP(역방향 그래디언트 매칭), BiSR(양방향)과 같은 고도화된 데이터 재구성 공격(Data Reconstruction Attacks, DRA)에는 취약합니다.
• 효율성 및 안정성: 암호화 방식(예: 동형 암호)은 과도한 오버헤드를 발생시키며, 다른 경량 방어 기법들은 특히 복잡한 텍-생성 작업에서 안정적인 성능을 유지하는 데 실패하는 경우가 많습니다.

방법론: MIXGUARD
본 논문은 U자형 분할 학습(U-shaped Split Learning)에서 프라이버시 보존을 위해 mixup 데이터 증강 기법을 응용한 새로운 프레임워크인 MIXGUARD를 제안합니다. MIXGUARD는 노이즈를 추가하여 분포 변화를 일으키는 대신, 여러 표현(representation)을 선형적으로 결합함으로써 대상 샘플을 숨기면서도 기저의 의미 구조를 보존하는 방식으로 데이터를 난독화합니다. 이 프레임워크는 두 단계로 작동합니다:

1. 토큰 수준 난독화 (Token-Level Obfuscation):
   클라이언트는 프로세싱 전 입력 시퀀스에 비밀스럽게 샘플링된 토큰들을 삽입합니다. 이는 토큰 어휘를 크게 변경하지 않으면서도 원래 입력과 중간 표현 사이의 직접적인 매핑을 방해합니다.

2. 표현 수준 난독화 (Representation-Level Obfuscation - Mixup):
   클라이언트는 타겟 샘플($x^*$)을 비밀 지원 세트(secret support set)에서 추출한 $k-1$개의 지원 샘플과 함께 인코딩합니다. 이러한 숨겨진 표현들은 다음의 비밀 벡터와 행렬을 사용하여 선형적으로 결합됩니다:

   • 부호 벡터 ($v$): $\{-1, +1\}$ 값을 가진 비밀 벡터.
   • 믹싱 행렬 ($A$): 타겟 표현이 단위 가중치(unit weight)로 보존되는 동시에, 집계 시 비타겟 표현들이 상쇄되도록 보장하는 양수 행렬.
   • 블라인딩 행렬 ($B$): 전송 전 메시지를 더욱 난독화하기 위해 적용되는 가역 행렬.
     결과로 생성된 "스매시드 데이터(smashed data)"는 서버로 전송됩니다. 서버는 이 혼합된 활성화(activations)를 트렁크 모델(trunk model)을 통해 처리하고 반환합니다. 클라이언트는 블라인딩 행렬의 역행렬과 부호 벡터를 사용하여 응답을 디코딩함으로써 타겟의 근사적 표현을 복구합니다.

3. 교정 모델 (Calibration Model):
   LLM의 비선형 변환으로 인해 근사된 표현은 실제 그라운드 트루스(ground truth)에서 벗어날 수 있습니다. MIXGUARD는 이 근사치를 정교화하기 위해 공개 데이터로 학습된 경량 교정 모델(잔차 네트워크)을 사용합니다. 이 모델은 근사된 표현과 실제 표현 사이의 평균 제곱 오차(MSE)를 최소화하도록 학습되어, 테일 모델(tail model)의 손실 계산을 위한 높은 유틸리티를 보장합니다.

4. 적응형 그래디언트 섭동 (Adaptive Gradient Perturbation):
   역전파(backpropagation) 과정 중, 클라이언트는 서버로 보내기 전 그래디언트에 적응형 노이즈를 적용합니다. 섭동 규모는 교정 잔차(교정된 표현과 실제 표현 사이의 오차)에 의해 결정됩니다. 잔차가 높은 샘플(더 많은 프라이버시 정보가 남아 있음을 나타냄)은 더 강한 섭동을 받아 역방향 누출(backward leakage)을 완화합니다.

주요 기여

• LLM을 위한 최초의 Mixup 기반 SL: 본 논문은 mixup을 데이터 증강에서 프라이버시 난독화로 확장하여, LLM을 위해 특별히 설계된 최초의 mixup 기반 프라이버시 보존형 분할 학습 프레임워크를 소개합니다.
• 결합된 난독화 메커니즘: U자형 SL 설정에서 입력과 레이블을 동시에 보호하기 위해 토큰 수준 난독화, 표현 수준 mixup, 그리고 적응형 그래디언트 섭동을 통합합니다.
• 교정 전략: mixup 과정에서 발생하는 근사 오차를 수정하기 위해 경량 교정 모델을 제안하며, 이를 통해 난독화된 신호와 사용 가능한 훈련 그래디언트 사이의 간극을 메웁니다.
• 포괄적인 평가: 제안된 프레임워크는 Qwen, Llama 등 다양한 LLM 제품군, 모델 크기(1B~30B), 아키텍처(Dense, MoE), 그리고 파라미터 효율적 미세 조정(LoRA)을 아우르는 4개의 분류 및 4개의 텍스트 생성 작업에 대해 평가되었습니다.

실험 결과

• 유틸리티 보존: MIXGUARD는 비분할 훈련(non-split training) 베이스라인과 대등한 다운스트림 미세 조정 유틸리티를 달s합니다. 예를 들어, Llama 3.2-1B를 이용한 CoLA 태스크에서 비분할 훈련의 정확도가 0.845일 때 MIXGUARD는 0.839를 기록하여 격차를 1% 미만으로 유지했습니다. 반면, SnD 및 Naive Mix와 같은 베이스라인은 심각한 유틸리티 저하(각각 0.309 및 0.498)를 보였습니다.
• 프라이버시 보호: 이 방법은 최신 DRA에 대해 기존 방어 기법(DP-Forward, DP-SGD, SnD)보다 일관되게 우수한 성능을 보입니다. CoLA 데이터셋에서 MIXGUARD는 SIP 재구성 점수를 약 0.54(비분할)에서 약 0.02로, BiSR 점수를 약 0.08로 낮추었으나, 다른 방법들은 재구성 점수를 유의미하게 낮추지 못하거나 모델 성능이 붕괴되었습니다.
• 강건성: 프레임워크는 다양한 모델 규모, 아키텍처(MoE 포함), 미세 조정 전략(Full vs. LoRA) 전반에서 효과적으로 작동합니다. 또한 공격자가 방어 메커니즘을 알고 있는 적응형 공격(adaptive attacks)에 대해서도 탄력성을 입증했습니다.

의의 및 주장
본 논문은 MIXGUARD가 LLM을 위한 분할 학습의 "유틸리티-프라이버시-효율성" 삼중 난제(trilemma)를 성공적으로 해결했다고 주장합니다. 노이즈 주입이나 무거운 암호화 대신 mixup 기반 난독화를 활용함으로써, 데이터 재구성을 효과적으로 방지하면서도 훈련 신호의 안정성을 유지합니다. 저자들은 MIXGUARD를 민감한 입력이나 레이블을 서버에 노출하지 않고도 자원이 제한된 사용자가 개인 데이터를 사용하여 LLM을 훈련할 수 있게 하는 실질적인 솔루션으로 제시하며, 기존 기술에서 보이는 심각한 유틸리티 저하 없이 강력한 프라이버시 보장을 달성한다고 강조합니다. 이 연구는 제어된 믹싱을 통해 표현의 구조적 무결성을 보존하는 것이 안전하고 대규모인 협업 학습을 위한 유효한 경로임을 보여줍니다.