1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 이 고위험 분야에 빠르게 배포됨에 따라, 기존 연구들은 LLM 의 안전성 문제를 개별적으로만 다루는 한계가 있었습니다. SafeLM 은 다음과 같은 네 가지 상호 연결된 위협 표면 (Threat Surfaces) 을 통합적으로 해결해야 할 필요성을 제기합니다.

1. 개인정보 보호 (Privacy): LLM 은 학습 데이터를 암기하여 추출하거나, 표준 연동 학습 (Federated Learning, FL) 환경에서도 경량화된 그래디언트를 통해 학습 데이터를 역추적 (Gradient Inversion) 당할 수 있습니다.
2. 보안 (Security): 백도어 (Backdoor) 주입, 적대적 프롬프트 (Adversarial Prompts), 모델 도난 등의 공격에 취약합니다.
3. 허위 정보 (Misinformation): 지시 따르기 (Instruction-tuning) 모델은 사실과 다른 내용을 자신감 있게 생성하는 '환각 (Hallucination)' 현상이 빈번합니다.
4. 적대적 견고성 (Adversarial Robustness): 입력의 의미론적 변화를 유지하는 작은 교란 (Perturbation) 에도 모델의 신뢰도가 급격히 떨어집니다.

기존 솔루션들은 이러한 문제들을 분리하여 해결하려 했기 때문에, 방어 메커니즘 간의 호환성 부족과 상호작용의 불명확성이 존재했습니다.

---

2. 방법론 (Methodology: SafeLM Framework)

SafeLM 은 연동 학습 (Federated Fine-tuning) 파이프라인 내에서 네 가지 핵심 모듈을 통합하여 설계된 프레임워크입니다.

A. 프라이버시 엔진 (Privacy Engine)

• 그라디언트 스마트피케이션 (Gradient Smartification): 32 비트 부동소수점 그래디언트를 중앙값 기반의 이진화 (Median-based Binarization) 기법으로 변환합니다.
  • 각 클라이언트의 그래디언트 절대값 중앙값 ($\theta_i$) 을 임계값으로 사용하여, 그 이상은 +1, 미만은 -1 로 변환합니다.
  • 효과: 통신 부하를 32 배 줄이고, 저강도 성분을 제거하여 확률적 노이즈를 감소시킵니다.
• 동형 암호화 (Paillier Encryption): 이진화된 업데이트를 Paillier 동형 암호화로 암호화하여 서버가 복호화 없이도 합산 (Aggregation) 할 수 있게 합니다. 이는 IND-CPA 보안을 제공합니다.

B. 보안 모듈 (Security Module)

• 비잔틴 필터링 (Byzantine Filtering): 서버는 복호화된 업데이트에 대해 좌표별 중앙값 (Coordinate-wise Median) 필터를 적용합니다.
  • 최대 $\lfloor K/5 \rfloor$개의 악성 클라이언트가 주입한 독성 업데이트나 백도어를 효과적으로 제거하여 글로벌 모델의 방향성을 보호합니다.

C. 허위 정보 가드 (Misinformation Guard)

• 대조적 그라운딩 (Contrastive Grounding): 생성된 주장 ($\hat{y}$) 을 읽기 전용 지식 저장소에서 검색된 증거 ($E$) 와 비교합니다.
• 보정된 디코딩 (Calibrated Decoding): NLI(자연어 추론) 분류기와 온도 스케일링 (Temperature Scaling) 을 결합하여 'FaithScore'를 계산합니다.
  • 점수가 임계값 ($\tau_{MG}$) 이하인 경우, 답변을 거부하거나 검색 증강 생성 (RAG) 을 통해 재생성하여 환각을 억제합니다.

D. 견고성 헤드 (Robustness Head)

• 적대적 미세 조정 (Adversarial Fine-tuning): 연동 학습 루프 내에서 클라이언트가 로컬 배치에 임베딩 공간의 PGD (Projected Gradient Descent) 를 통해 생성된 적대적 예제를 포함시켜 학습합니다.
• 이는 모델이 의미론적 교란 하에서도 안정적으로 작동하도록 만듭니다.

---

3. 주요 기여 (Key Contributions)

1. 통합 프레임워크 제안: LLM 의 프라이버시, 보안, 허위 정보, 견고성이라는 네 가지 안전 기둥을 단일 연동 학습 파이프라인에서 동시에 최적화하는 SafeLM을 처음 제안했습니다.
2. 그라디언트 스마트피케이션: 기존 0 임계값 기법 (signSGD) 과 달리, 클라이언트별 적응형 중앙값 임계값을 사용하여 LLM 의 heavy-tailed 그래디언트 분포에 적합하도록 설계되었으며, 32 배 통신 압축과 PSNR 15.1dB 이하의 역추적 저항성을 달성했습니다.
3. 이론적 분석: 중앙값 임계값 스마트피케이션 하에서의 수렴성 (Convergence) 을 증명하고, Paillier 암호화와 결합된 프라이버시 보장을 이론적으로 입증했습니다.
4. 상호 보완적 효과 입증: 네 가지 모듈이 독립적으로 작동할 뿐만 아니라, 통합되었을 때 프라이버시 - 유틸리티 - 효율성 간의 강력한 트레이드오프를 제공함을 실험을 통해 입증했습니다.

---

4. 실험 결과 (Results)

다양한 벤치마크 (CIC-IDS2017, TruthfulQA, AdvGLUE 등) 에서 SafeLM 은 기존 방법론 (FedAvg, DP-SGD, signSGD 등) 을 압도하는 성능을 보였습니다.

• 프라이버시 (Privacy):
  • 그래디언트 역추적 (Gradient Inversion) 공격 시 재구성 품질 (PSNR) 을 31.7dB (무방어) 에서 15.1dB 로 감소시켜 재구성을 불가능하게 만들었습니다.
  • 레이블 복구율은 98.7% 에서 14.3% (무작위 수준) 로 떨어졌습니다.
• 통신 효율성 (Efficiency):
  • 통신량을 96.9% 감소 (450MB $\to$ 14MB) 시켰으며, 이는 32 배 압축에 해당합니다.
  • 정확도 손실은 거의 없었으며 (98.0%), 수렴 속도는 풀 정밀도 FedAvg 와 유사했습니다.
• 보안 및 견고성 (Security & Robustness):
  • 20% 악성 클라이언트가 존재하는 환경에서도 백도어 공격 성공률 (ASR) 을 91.3% 에서 6.8% 로 낮췄습니다.
  • 적대적 예제 (AdvGLUE) 에 대한 정확도 저하를 기존 방법 대비 최소로 줄였습니다.
• 허위 정보 (Misinformation):
  • TruthfulQA 벤치마크에서 환각 발생률을 41% 감소시켰으며 (34.7% $\to$ 20.5%), ROUGE-L 점수는 유지되었습니다.

---

5. 의의 및 결론 (Significance & Conclusion)

SafeLM 은 LLM 의 안전성을 다루는 패러다임을 '개별적 방어'에서 '통합적 최적화' 로 전환시켰다는 점에서 의의가 큽니다.

• 상호 강화 효과: 그라디언트 스마트피케이션은 통신 효율성을 높일 뿐만 아니라 암호화만으로는 달성하기 어려운 역추적 저항성을 강화하고, 연동 학습 내의 적대적 훈련은 모델의 분포 변화에 대한 견고성을 높여 환각을 줄이는 등, 각 모듈이 서로의 성능을 보완합니다.
• 실용성: 높은 보안 수준과 낮은 통신 비용, 그리고 높은 모델 성능을 동시에 달성하여, 실제 고위험 환경 (의료, 금융 등) 에서 신뢰할 수 있는 LLM 을 배포하기 위한 실용적인 솔루션을 제시합니다.
• 규제 대응: EU AI Act 와 같은 규제 프레임워크에서 요구하는 프라이버시 준수와 견고성 인증을 동시에 충족할 수 있는 기술적 기반을 마련했습니다.

이 연구는 프라이버시 보호 연동 학습이 보안, 사실성, 견고성 목표와 양립 가능하며 상호 강화될 수 있음을 입증했습니다.