Differentially Private and Communication Efficient Large Language Model Split Inference via Stochastic Quantization and Soft Prompt

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 은 뛰어난 성능을 보이지만, 제한된 리소스를 가진 기기에서의 로컬 배포는 어렵고, 클라우드 기반의 서비스형 LLM(SaaS) 을 사용할 경우 사용자의 민감한 정보 (개인 신원, 주소, 의료 기록 등) 가 서버로 전송되면서 프라이버시 유출의 위험이 발생합니다.

기존의 프라이버시 보호 기법들은 다음과 같은 한계가 있었습니다:

• 동형 암호화 (HE): 강력한 보안을 제공하지만, 현대적인 Transformer 기반 LLM 에 적용하기에는 계산 및 통신 오버헤드가 너무 큽니다.
• 분할 추론 및 노이즈 추가 (Split-and-Denoise, SnD 등): 토큰 임베딩에 노이즈를 추가하여 전송하지만, 고차원의 임베딩을 전송해야 하므로 통신 비용이 과도하게 발생합니다. 또한, 노이즈로 인한 성능 저하를 복구하기 위해 사용자가 로컬에 경량 LLM(디노이징 모델) 을 배포해야 하는데, 이는 제한된 리소스를 가진 사용자 기기에는 부담이 됩니다.

2. 제안 방법론: DEL 프레임워크

저자들은 DEL (Differentially private and communication Efficient LLM split inference) 프레임워크를 제안합니다. 이는 사용자 측과 서버 측을 나누어 프라이버시를 보호하면서도 통신 효율성과 추론 성능을 극대화하는 구조입니다.

2.1. 프라이버시 보호 및 통신 효율화 메커니즘

사용자 측 (Client) 에서 다음 두 단계를 거쳐 데이터를 처리합니다:

1. 차원 축소 (Embedding Projection):
   • 고차원의 토큰 임베딩을 사전 학습된 인코더 (Encoder) 를 통해 저차원의 잠재 공간 (Latent Space) 으로 투영합니다.
   • 이를 통해 전송해야 할 데이터의 차원을 크게 줄여 통신 오버헤드를 감소시키고, 차원의 저주로 인한 프라이버시 보호 효율성을 높입니다.
2. 확률적 양자화 (Stochastic n-bit Quantization):
   • 축소된 잠재 벡터에 대해 확률적 n 비트 양자화 기법을 적용합니다.
   • 이 과정은 임의의 양자화 노이즈를 포함하므로, 국소적 미분 프라이버시 (Local Differential Privacy, LDP) 를 자연스럽게 보장합니다.
   • 기존 가우시안 메커니즘에 비해 통신 대역폭을 획기적으로 줄이면서도 (예: 32 비트 부동 소수점 $\to$ 1~4 비트 정수) 동일한 수준의 프라이버시 보장을 제공합니다.

2.2. 유틸리티 보존 메커니즘 (Soft Prompt)

프라이버시 보호를 위해 데이터를 변형하면 LLM 의 추론 성능 (유틸리티) 이 저하됩니다. 기존 방식은 이를 복구하기 위해 사용자 측에 디노이징 모델을 두었으나, DEL 은 다음과 같은 혁신적인 접근을 취합니다:

• 서버 측 소프트 프롬프트 (Server-side Soft Prompt):
  • 사용자 측에서 전송된 변형된 임베딩을 서버 측 디코더 (Decoder) 로 복원한 후, 이를 LLM 에 입력하기 전에 학습된 소프트 프롬프트 (Soft Prompt) 를 앞에 붙입니다.
  • 이 소프트 프롬프트는 프라이버시 메커니즘으로 인한 데이터 분포의 변화를 보상하도록 서버에서 학습됩니다.
  • 핵심: 사용자는 추가적인 계산 부하 (로컬 LLM 실행) 없이, 서버 측의 강력한 LLM 과 학습된 프롬프트만으로 성능 저하를 보상받습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 DP 메커니즘: 토큰 임베딩을 저차원 잠재 공간으로 투영하고, 미분 프라이버시를 보장하는 확률적 양자화를 결합하여, 통신 효율성과 프라이버시 보장을 동시에 달성했습니다.
2. 가벼운 프라이버시 보존 프레임워크: 사용자 측에 무거운 디노이징 모델을 배포할 필요 없이, 서버 측의 소프트 프롬프트를 활용하여 프라이버시로 인한 성능 손실을 보상하는 새로운 아키텍처를 제안했습니다.
3. 최적의 트레이드오프 달성: 텍스트 생성 및 자연어 이해 (NLU) 태스크에서 기존 최첨단 방법 (RANTEXT, InferDPT, SnD 등) 보다 프라이버시와 유틸리티 간의 더 나은 균형을 입증했습니다.

4. 실험 결과 (Results)

저자들은 Llama3, Qwen2.5, DeepSeek-MoE 등 다양한 최신 LLM 을 사용하여 텍스트 생성 (WikiText-2, PTB, CNN/Daily Mail) 과 NLU (QQP, MRPC) 태스크를 평가했습니다.

• 텍스트 생성 성능:
  • Perplexity (PPL) 및 Coherence (COH): DEL 은 동일한 프라이버시 수준 (ASR, Attack Success Rate) 에서 기존 방법들보다 더 낮은 PPL 과 높은 Coherence 점수를 기록했습니다.
  • 로컬 모델 의존성 제거: InferDPT 와 달리, DEL 은 로컬 디노이징 모델 없이도 원격 LLM 의 능력을 충분히 활용하여 높은 성능을 유지했습니다. 특히, 로컬 모델을 추가한 변형 실험에서도 DEL 단독이 더 좋은 성능을 보이는 경우가 많았습니다.
• 통신 효율성:
  • 고차원 임베딩 전송 대신 저차원 잠재 벡터와 양자화된 데이터를 전송하여 통신 부하를 획기적으로 줄였습니다.
• NLU 태스크 성능:
  • SnD(Split-and-Denoise) 기반의 NLU 태스크에서도 확률적 양자화와 소프트 프롬프트를 결합한 DEL 이 정확도 (Accuracy) 와 AUC 에서 SnD 보다 우수한 성능을 보였습니다.
• 전송 가능성 (Transferability):
  • 공개 데이터셋 (C4) 에서 학습된 소프트 프롬프트가 다른 데이터셋과 다른 프라이버시 수준에서도 효과적으로 작동하여, 높은 이식성을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 분할 추론의 실용성을 크게 향상시켰습니다.

• 프라이버시와 성능의 딜레마 해소: 기존에는 프라이버시를 지키면 성능이 떨어지거나, 성능을 유지하려면 무거운 로컬 모델이 필요했으나, DEL 은 서버 측의 소프트 프롬프트라는 경량화된 기법으로 이 문제를 해결했습니다.
• 자원 제약 환경 대응: 사용자 기기에 고사양 LLM 이나 복잡한 디노이징 모델을 설치할 필요가 없어, 모바일 기기나 엣지 디바이스에서도 안전한 LLM 추론이 가능해졌습니다.
• 미래 지향성: 이는 클라우드 기반 LLM 서비스의 신뢰성을 높이고, 민감한 데이터를 다루는 실제 응용 분야 (의료, 금융 등) 에서의 LLM 도입 장벽을 낮출 수 있는 중요한 기술적 진보로 평가됩니다.

요약하자면, DEL 은 차원 축소 + 확률적 양자화로 통신과 프라이버시를 최적화하고, 서버 측 소프트 프롬프트로 성능을 복구함으로써, 기존 방법론들의 한계를 극복한 차세대 프라이버시 보호 LLM 추론 프레임워크입니다.