MPU: Towards Secure and Privacy-Preserving Knowledge Unlearning for Large Language Models

이 논문은 서버의 모델 파라미터와 클라이언트의 잊힘 데이터셋을 모두 공개하지 않고도 대용량 언어 모델의 프라이버시를 보호하며 지식 제거를 수행할 수 있는 'MPU'라는 새로운 프라이버시 보존 프레임워크를 제안합니다.

핵심

MPU: AI 의 '기억 지우기'를 안전하게 하는 마법 같은 방법

이 논문은 거대한 인공지능 (LLM) 이 특정 정보를 잊게 만드는 기술, 즉 '머신 언러닝 (Machine Unlearning)'을 다루고 있습니다. 하지만 여기서 중요한 점은 보안과 프라이버시입니다.

기존 방식은 AI 를 만든 회사 (서버) 가 사용자의 데이터 (클라이언트) 를 직접 보거나, 반대로 사용자가 AI 의 전체 두뇌 (모델 파라미터) 를 볼 수 있어야 했습니다. 하지만 이는 기밀 유출의 위험이 큽니다.

이 논문은 "서버는 AI 의 정체를 숨기고, 사용자는 데이터를 넘겨주지 않아도" AI 가 특정 정보를 잊게 만드는 새로운 방법 MPU를 제안합니다.

---

🎭 비유: "가면 쓴 요리사와 비밀 레시피"

이 복잡한 기술을 이해하기 위해 **요리사 (서버)**와 **손님 (클라이언트)**의 이야기를 해보겠습니다.

1. 문제 상황: "비밀 레시피를 보여줄 수 없어!"

• 상황: 어떤 유명 요리사 (AI) 가 손님이 싫어하는 특정 재료 (비밀 데이터) 를 기억하고 있어서, 그 재료를 잊게 해달라고 요청합니다.
• 서버의 고민: "내 비법 레시피 (AI 모델) 를 그대로 보여주면 도둑맞을 수 있어. 하지만 손님이 그 재료를 직접 가져오지 않으면 내가 어떻게 그 재료를 지우지?"
• 손님의 고민: "내 개인 비밀 레시피 (데이터) 를 요리사에게 주면 안 돼. 하지만 요리사가 내 재료를 모르면 어떻게 지우지?"

2. 기존 방식의 실패

• 서버가 레시피를 보여줌: 도둑이 레시피를 훔쳐갈 수 있음.
• 손님이 재료를 줌: 손님의 비밀이 유출될 수 있음.

3. MPU 의 해결책: "가면 쓴 요리사와 여러 개의 거울"

이 논문은 MPU라는 새로운 방법을 제안합니다. 이 방법은 세 가지 단계로 이루어집니다.

1 단계: 서버가 '가면'을 쓴 요리사들을 보냅니다 (Pre-Process)

• 서버는 정직한 요리사 (원본 AI) 를 보내는 대신, **가면 (노이즈)**을 쓴 요리사들을 여러 명 보냅니다.
• 이 가면은 요리사의 얼굴을 흐리게 만들지만, 요리 실력 (기능) 은 그대로입니다.
• 또한, 이 가면들은 서로 조금씩 다르게 만들어져서, 어떤 가면 하나만 봐도 원래 얼굴을 추측할 수 없습니다.

2 단계: 손님이 자신의 비밀 재료로 '기억 지우기'를 합니다 (Client-Side)

• 손님은 이 가면 쓴 요리사들 앞에서, **자신의 비밀 재료 (Forget Set)**를 이용해 "이 재료는 잊어!"라고 가르칩니다.
• 이때 손님은 자신의 재료를 서버에게 주지 않고, **자신의 주방 (로컬)**에서 혼자서 가르칩니다.
• 가르친 결과 (어떻게 기억을 지웠는지) 만 서버에게 돌려보냅니다.

3 단계: 서버가 '마법'으로 가면을 벗기고 정리합니다 (Post-Process)

• 서버는 돌아온 결과들을 받습니다. 각 결과에는 가면 (노이즈) 때문에 생긴 작은 오차가 섞여 있습니다.
• 하지만 서버는 **마법 같은 계산 (Harmonic Aggregation)**을 합니다.
• 핵심 비유: 가면들은 서로 반대 방향으로 작용하도록 설계되었습니다. 여러 개의 가면 쓴 요리사의 결과를 합치면, 가면의 효과 (오차) 는 서로 상쇄되어 사라지고, 진짜로 필요한 '기억 지우기' 효과만 남습니다.
• 마치 여러 개의 거울에 비친 왜곡된 이미지를 합치면, 원래의 정확한 이미지가 다시 선명하게 드러나는 것과 같습니다.

---

🌟 왜 이 방법이 놀라운가요?

1. 완벽한 비밀 유지:

   • 서버는 AI 의 정체를 절대 드러내지 않습니다.
   • 손님은 자신의 데이터를 절대 넘겨주지 않습니다.
   • 서로를 믿지 않아도 (Dual Non-Disclosure) 협력이 가능합니다.

2. 오차 제거의 마법:

   • 보통 노이즈 (가면) 를 쓰면 AI 성능이 떨어집니다. 하지만 MPU 는 여러 개의 노이즈를 합쳐서 오차를 0 으로 만듭니다.
   • 실험 결과, 이 방법을 쓰지 않고 노이즈만 넣은 경우보다 성능이 훨씬 좋았으며, 아예 노이즈가 없는 경우와 거의 같은 수준을 유지했습니다.

3. 어떤 AI 도 가능:

   • 이 방법은 특정 AI 모델에만 국한되지 않습니다. 다양한 AI 모델 (Llama, Qwen 등) 과 다양한 '잊기' 알고리즘에 적용할 수 있습니다.

💡 결론

이 논문은 "서로 비밀을 지키면서도, AI 가 필요한 정보를 잊게 만드는" 완벽한 해결책을 제시합니다.

마치 서로 얼굴을 가린 채로 춤을 추다가, 마지막에 가면을 벗으면 완벽한 안무 (기억 지우기) 가 완성되는 마법과 같습니다. 앞으로 AI 가 우리의 프라이버시를 존중하면서도 안전하게 운영될 수 있는 길을 열어준 획기적인 연구입니다.

기술 요약

MPU: 대규모 언어 모델을 위한 안전하고 프라이버시를 보호하는 지식 망각 (Unlearning) 기술에 대한 기술 요약

이 논문은 MPU (Multiple Perturbed Copies Unlearning) 라는 새로운 프레임워크를 제안하며, 이는 서버 - 클라이언트 환경에서 대규모 언어 모델 (LLM) 의 '지식 망각 (Unlearning)' 문제를 해결하기 위해 설계되었습니다. 기존 방법론이 간과했던 이중 비공개 제약 (Dual Non-Disclosure Constraint) 을 충족하면서도, 노이즈가 없는 환경과 유사한 성능을 달성하는 것이 핵심 목표입니다.

---

1. 문제 정의 (Problem Statement)

대규모 언어 모델의 개인정보 보호 및 지적 재산권 보호를 위해 특정 데이터 (망각 세트, Forget Set) 를 모델에서 제거하는 '머신 언러닝 (Machine Unlearning)'이 필수적입니다. 그러나 실제 배포 환경에서는 다음과 같은 이중 비공개 제약이 존재하여 기존 접근 방식이 적용하기 어렵습니다.

1. 클라이언트 측 비공개: 망각해야 할 데이터는 클라이언트의 민감한 정보이므로, 서버에 원본 데이터나 세분화된 통계량을 공유할 수 없습니다.
2. 서버 측 비공개: 모델은 서버의 독점 자산이므로, 서버는 클라이언트에 정확한 현재 모델 파라미터를 공개하고 싶지 않습니다.

기존의 언러닝 방법들은 대부분 서버가 전체 모델을 알고 있거나 클라이언트가 데이터를 공유하는 전제를 깔고 있어, 이러한 엄격한 서버 - 클라이언트 분리 환경에서는 적용이 불가능하거나 성능이 크게 저하됩니다.

2. 제안 방법: MPU (Methodology)

MPU 는 알고리즘에 구애받지 않는 (algorithm-agnostic) 프라이버시 보존 프레임워크로, Pre-Process(전처리) 와 Post-Process(후처리) 두 단계로 구성된 서버 측 모듈을 통해 문제를 해결합니다.

핵심 아이디어

서버는 정확한 모델 파라미터 대신, 교란된 (Perturbed) 다수의 모델 복사본을 클라이언트에 배포합니다. 클라이언트는 이 복사본들을 이용해 로컬에서 망각 작업을 수행하고 업데이트를 반환하면, 서버는 이를 집계하여 원래의 노이즈 없는 업데이트와 동일한 효과를 얻습니다.

상세 프로세스

1. Pre-Process: 교란된 복사본 생성 (Perturbed Copies Generation)

   • 구조화된 노이즈 주입 (Structured Noise Injection): 서버는 현재 모델에 블록 단위 (layer-wise) 로 가우시안 노이즈를 추가합니다. 이때 생성된 $m$개의 노이즈 벡터는 블록별 합이 0 이 되는 (Zero-sum) 제약을 가집니다. 이는 추후 노이즈가 상쇄되도록 설계된 수학적 구조입니다.
   • 가역적 함수 보존 재파라미터화 (Invertible Function-Preserving Reparameterization): 서버는 각 복사본에 대해 역변환 가능한 재파라미터화 (예: FFN 은닉 채널의 순열, 어텐션 헤드의 기저 변환 등) 를 적용합니다. 이는 모델의 출력 함수 (Function) 는 변하지 않지만, 파라미터 공간은 완전히 왜곡되도록 하여 클라이언트가 원본 파라미터를 역추적하는 것을 방지합니다.
   • 서버는 이렇게 생성된 $m$개의 교란된 모델 복사본을 클라이언트에 배포합니다.

2. Client-Side Local Unlearning

   • 클라이언트는 서버로부터 받은 각 복사본을 기반으로, 자신의 로컬 망각 세트 (Forget Set) 를 사용하여 표준 언러닝 알고리즘 (GradAscent, NPO, DPO 등) 을 실행합니다.
   • 클라이언트는 원본 데이터를 서버에 보내지 않으며, 오직 모델 업데이트 (Gradient 또는 파라미터 변화) 만을 반환합니다.

3. Post-Process: 업데이트 집계 (Update Aggregation)

   • 재파라미터화 역변환: 서버는 클라이언트로부터 받은 업데이트를 원래의 파라미터 공간으로 되돌립니다 (Inverse Reparameterization).
   • 조화적 노이즈 제거 (Harmonic Denoising Aggregation): 서버는 $m$개의 업데이트를 특정 가중치 (조화 평균 가중치) 를 사용하여 집계합니다.
     • 이론적 보장: 설계된 Zero-sum 노이즈 구조와 조화 가중치 덕분에, 1 차 노이즈 오차가 수학적으로 정확히 상쇄됩니다.
     • 결과적으로 서버는 노이즈가 없는 환경에서 수행한 것과 동일한 업데이트를 얻게 되며, 클라이언트는 원본 모델을 알지 못하게 됩니다.

3. 주요 기여 (Key Contributions)

1. 이중 비공개 언러닝 프레임워크: 클라이언트는 데이터를, 서버는 정확한 파라미터를 공유하지 않으면서도 효과적인 망각을 가능하게 하는 최초의 솔루션입니다. (대리 데이터나 보조 통계량 없이 작동)
2. Transformer 아키텍처용 가역적 재파라미터화: RoPE (Rotary Positional Embedding) 와 같은 현대적 LLM 구조를 지원하며, 함수를 보존하는 역변환 가능한 재파라미터화 기법을 확장했습니다.
3. 1 차 노이즈 상쇄에 대한 이론적 보장: 구조화된 노이즈 주입과 조화적 집계를 통해 1 차 노이즈 오차가 제거됨을 수학적으로 증명했습니다.
4. 실증적 평가: 7 가지 다양한 언러닝 알고리즘과 Llama, Qwen 등 다양한 모델 크기를 대상으로 실험하여, 노이즈가 없는 베이스라인과 유사하거나 더 나은 성능을 입증했습니다.

4. 실험 결과 (Experimental Results)

• 성능: 7 가지 언러닝 알고리즘 (GradAscent, GradDiff, DPO, NPO 등) 을 Llama-3.2-1B/3B 및 Qwen2.5-1.5B/3B 모델에서 평가했습니다.
  • 망각 품질 (Forget Quality): 대부분의 알고리즘에서 노이즈가 없는 베이스라인 (Clean) 과 유사한 성능을 보였습니다. 특히 10% 노이즈 수준에서도 평균 성능 저하가 1% 미만이었으며, 일부 알고리즘 (예: NPO) 은 오히려 노이즈 없는 베이스라인보다 더 좋은 결과를 기록하기도 했습니다.
  • 모델 유틸리티 (Model Utility): 망각 후에도 모델의 일반적 성능이 잘 유지되었습니다.
  • 프라이버시: PrivLeak(프라이버시 유출) 지표가 0 에 가까워 민감한 데이터가 모델에서 효과적으로 제거되었음을 확인했습니다.
• 복사본 수 ($m$) 와 노이즈 수준 ($\kappa$):
  • $m=2$ (최소 2 개) 만으로도 노이즈 제거가 효과적이며, 계산 오버헤드를 줄일 수 있습니다.
  • 적절한 노이즈 수준 ($\kappa$) 은 불안정한 언러닝 알고리즘의 안정성을 높이는 역할 (Implicit Stabilizer) 을 하기도 했습니다.
• 확장성: 모델 크기가 커질수록 (1B -> 3B) MPU 의 성능이 더욱 향상되는 경향을 보였습니다.

5. 의의 및 결론 (Significance)

MPU 는 서버 - 클라이언트 간의 신뢰가 부족한 환경에서도 대규모 언어 모델의 지식 망각을 실현할 수 있는 획기적인 방법론입니다.

• 실용성: 기업이나 기관이 민감한 데이터를 가진 클라이언트에게 모델을 서비스할 때, 데이터 유출 없이도 '잊힐 권리 (Right to be Forgotten)'를 충족시킬 수 있습니다.
• 기술적 혁신: 노이즈를 단순히 프라이버시 보호 도구로만 사용하는 것이 아니라, 다중 복사본과 수학적 집계를 통해 노이즈를 제거하고 오히려 학습 안정성을 높이는 새로운 패러다임을 제시했습니다.
• 미래 전망: 이 프레임워크는 LLM 의 윤리적 배포, 규제 준수, 그리고 프라이버시 보존을 위한 핵심 기술로 자리 잡을 것으로 기대됩니다.

결론적으로, MPU 는 이중 비공개 제약이라는 난제를 해결하면서도 노이즈 없는 최적의 성능에 근접하거나 이를 능가하는 성과를 거둔 최초의 프라이버시 보존 언러닝 프레임워크입니다.