🤖 machine learning

Gradient-Free Privacy Leakage in Federated Language Models through Selective Weight Tampering

이 논문은 연합 언어 모델이 그래디언트가 없는 방식의 프라이버시 유출에 취약하다는 점을 밝히며, 중간 모델 스냅샷과 악의적인 참여자의 선택적 가중치 조작이 서버의 협력 없이도 멤버십 추론 및 개인 데이터 재구성을 크게 향상시킬 수 있음을 입증한다.

원저자: Md Rafi Ur Rashid, Vishnu Asutosh Dasu, Kang Gu, Najrin Sultana, Shagufta Mehnaz

게시일 2026-07-21

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Md Rafi Ur Rashid, Vishnu Asutosh Dasu, Kang Gu, Najrin Sultana, Shagufta Mehnaz

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신의 스마트폰이 다음 단어를 예측하고, 이메일이 문장을 자동 완성하며, 의료 앱이 질병을 진단하는 데 도움을 주되, 이 모든 과정이 당신의 개인적인 메시지를 거대한 중앙 서버로 전혀 보내지 않고 이루어지는 세상을 상상해 보십시오. 이것이 바로 **연합 학습(Federated Learning)**의 약속입니다. 한 기업이 당신의 데이터를 금고에 쌓아두는 대신, 당신의 기기가 공유된 "두뇌"(언어 모델)를 로컬에서 직접 학습시킵니다. 기기는 오직 자신이 배운 것의 요약본과 같은 아주 작은 업데이트만을 중앙 허브로 보낼 뿐이며, 중앙 허브는 이들을 하나로 섞어 전 세계적인 두로를 개선합니다. 이는 마치 학생들이 시험 공부를 하는 것과 같습니다. 학생들은 각자 자신의 책을 읽고 자신만의 노트를 작성한 뒤, 서로의 사적인 도서관을 엿보지 않고도 모두가 똑똑해질 수 있도록 책 자체가 아닌 '노트'만을 공유하는 것과 같습니다.

하지만 여기에는 함정이 있습니다. 비록 원시 데이터는 당신의 휴대폰에 머물러 있지만, 그 "노트"(모델 업데이트)는 때때로 그 안에 담긴 책의 내용을 의도치 않게 드러낼 수 있습니다. 만약 노트가 너무 상세하다면, 교활한 학생은 그 노트를 읽고 당신의 비밀스러운 학습 주제를 추측할 수 있습니다. 오랫동안 연구자들은 만약 학습의 배후에 있는 원시 수학적 데이터(그레이디언트)를 공유하지 않고, 학습의 한 라운드가 끝난 최종 결과(가중치)만을 공유한다면 안전할 것이라고 생각했습니다. 하지만 만약 학습 과정 중간의 "노트"가 최종 시험 답안보다 더 많은 것을 드러낸다면 어떻게 될까요? 그리고 만약 교활한 학생이 자신의 노트를 미세하게 조정하여 학급 전체가 당신의 비밀을 더 잘 기억하도록 만들 수 있다면 어떨까요? 이것이 바로 이 논문이 조사하는 미스터리입니다.

교활한 학생과 마법의 노트

이 연구에서 펜실베이니아 주립대학교와 다트머스 대학교의 연구진은 연합 학습이라는 교실 속에서 "교활한 학생"의 역할을 맡기로 했습니다. 그들의 목표는 무엇이었을까요? 교사(서버)의 도움을 받거나 원시 수학적 데이터를 보지 않고도, 다른 학생들의 기기에서 전화번호, 신용카드 정보, 또는 비밀번호와 같은 개인 정보를 훔칠 수 있는지 확인하는 것이었습니다.

놀라운 발견: 수업 중간이 가장 중요하다

연구진이 처음 발견한 사실은 다소 직관에 어긋나는 것이었습니다. 보통 우리는 모델의 최종 버전이 가장 강력하다고 생각합니다. 하지만 이 연합 학습 게임에서는 중간 스냅샷(intermediate snapshots), 즉 학습 과정 중간에 작성된 "노트"가 실제로 훨씬 더 위험했습니다.

교사가 학급에 1,000개의 단어를 암기하라고 시킨다고 상상해 보십시오. 학기가 끝날 때쯤 학급은 언어의 일반적인 패턴을 배우게 되며, 특정하고 이상한 단어들(예: 가짜 신용카드 번호)은 기억 속에서 다소 흐릿해질 수 있습니다. 하지만 만약 그 이상한 단어들을 집중적으로 공부하던 주간에 학급의 기억을 확인한다면, 그 기억은 매우 선명할 것입니다. 연구진은 악의적인 학생이 이러한 "중간 성적표" 형태의 스냅샷을 살펴봄으로써, 최종 모델을 보는 것보다 개인 데이터를 훨씬 더 쉽게 찾아낼 수 있다는 것을 발견했습니다. 이는 1년 뒤에 작성된 요약본을 통해 전체 이야기를 추측하려 하기보다, 어제 작성된 일기장의 특정 페이지를 찾아내는 것과 같습니다.

"선택적 조작" 기술

하지만 연구진은 단순히 관찰하는 것에 그치지 않았습니다. 그들은 질문했습니다. "우리가 이 비밀들을 더 잘 기억하게 만들 수 있을까?"

그들은 거대 언어 모델(학습 중인 "두뇌")이 모두 동일하지 않다는 점을 깨달았습니다. 뇌의 어떤 부분은 일반적인 지식 센터와 같지만, 다른 부분은 특화된 파일 캐비닛과 같습니다. 연구진은 모델의 "파일 캐비닛"(구체적으로 MLP 서브 레이어)의 마지막 몇 개 층이 전화번호나 신용카드 숫자와 같이 평범하지 않은 특이한 데이터를 붙잡아 두는 곳이라는 사실을 발견했습니다.

그래서 그들은 이 특정 파일 캐비닛들을 조작하여 모델이 개인 데이터에 집착하게 만드는 두 가지 영리한 방법을 고안했습니다.

선택적 가중치 최적화 (Selective Weights Optimization, SWO): 이것은 마치 비밀 데이터가 저장된 특정 페이지에 돋보기를 대고 볼륨을 높이는 것과 같습니다. 공격자는 모델의 현재 상태를 "정상적인" 모델과 비교하여 해당 특정 레이어에서의 차이를 증폭시킵니다. 이는 교활한 학생이 학급에 "이 이상한 숫자 기억나? 절대 잊지 못하게 만들자!"라고 속삭이는 것과 같습니다.
가중치 변환 학습 (Weights Transformation Learning, WTL): 이것은 더 발전된 버전입니다. 단순히 볼륨을 높이는 대신, 공격자는 모델의 뇌가 개인 데이터를 접했을 때 정확히 어떻게 변하는지를 학습하는 아주 작은 AI를 훈련시킵니다. 그런 다음, 학습된 패턴을 모델에 적용하여 비밀에 대한 기억을 초강력하게 만듭니다. 이는 학생이 선생님이 무언가를 암기할 때 사용하는 정확한 공식을 알아내어 학급 전체에 그 공식을 적용하는 것과 같습니다.

결과: 충격적인 유출

결과는 놀라웠습니다. 이러한 "조작" 기술을 사용함으로써 악의적인 학생은 다음과 같은 성과를 거두었습니다:

학습 중에 모델을 적극적으로 건드리고 있을 때, 개인 데이터(예: "내 신용카드 번호는..."이라는 프롬프트를 전체 번호로 복원)를 71% 재구성할 수 있었습니다.
특정 데이터가 누군가의 학습 세트에 포함되어 있는지 맞출 수 있는 능력을 29% 증가시켰습니다.

교사의 도움 없이도, 그리고 시스템이 각 라운드의 최종 가중치만을 공유하기 때문에 원시 수학적 데이터(그레이디언트)에 접근할 필요가 없음에도 불구하고, 이 공격은 매우 효과적이었습니다. 사실, 이 공격은 교사가 악의적이며 해커를 적극적으로 돕는다고 가정했던 기존의 많은 공격보다 더 뛰어난 성능을 보였습니다. 연구진은 이를 GPT-2, BERT, Llama-2와 같은 인기 있는 모델에서 테스트했으며, 모든 모델에서 작동했습니다.

"누가, 무엇을, 어떻게"

공격은 다음과 같이 진행됩니다:

희생자 포착: 공격자는 매 학습 라운드의 모델 업데이트를 살펴봅니다. 그들은 특별한 테스트를 사용하여 개인 데이터를 가진 희생자가 참여한 라운드를 찾아냅니다. 이는 학급의 대화를 엿듣다가 "아, 신용카드 번호를 가진 학생이 방금 말했구나"라고 알아차리는 것과 같습니다.
기억 조작: 일단 해당 스냅샷을 확보하면, 공격자는 SWO나 WTL을 사용하여 모델의 "파일 캐비닛"을 조작함으로써 개인 데이터가 눈에 확 띄도록 만듭니다.
질문 던지기: 마지막으로, 표준 템플릿(예: "당신의 인증 코드는...")을 사용하여 모델에게 질문을 던지면, 이제 비밀에 과도하게 집중하게 된 모델이 개인 데이터를 내뱉게 됩니다.

이를 막을 수 있을까?

연구진은 방어 측면에서도 연구를 진행했습니다. 그들은 이 교활한 학생을 막기 위한 몇 가지 방법을 테스트했습니다:

차분 프라이버시 (Differential Privacy): 이는 노트에 "노이즈"나 정적을 추가하는 것입니다. 이는 비밀을 숨기는 데 도움이 되지만, 전체 학급의 목소리를 다소 웅얼거리게 만들어 모델의 문장 생성 능력을 저하시킵니다.
스크러빙 (Scrubbing): 이는 공유하기 전에 일기를 편집하는 것과 같습니다. 학습을 시작하기 전에 텍스트에서 신용카드 번호나 전화번호를 제거하면 모델이 이를 학습할 수 없습니다. 이는 모델의 품질을 해치지 않으면서도 효과적으로 작동합니다.
Add-DEPN: 이는 "파일 캐비닛"에게 비밀에 대해 조금 더 조용히 하라고 명령하는 세련된 방법입니다. 이는 모델의 성능을 떨어뜨리지 않으면서 유출을 크게 줄여줍니다.

연구진은 최선의 방어책은 조합하는 것이라고 제안합니다: 먼저 텍스트에서 개인 데이터를 **스크러빙(Scrub)**하여 제거한 다음, 혹시라도 빠져나갔을지 모를 비밀에 모델이 너무 집착하지 않도록 규제화(Regularization) 기술(Add-DEPN과 같은)을 부드럽게 적용하는 것입니다.

핵심 요약

이 논문은 연합 학습의 세계에서 프라이버시란 단순히 원시 데이터를 숨기는 문제가 아니라, 모델이 학습 과정 중에 무엇을 기억하느냐의 문제임을 보여줍니다. 악의적인 참여자는 교사의 도움을 받는 천재 해커일 필요가 없습니다. 그저 언제 살펴봐야 할지, 그리고 모델의 기억을 어떻게 조작해야 비밀이 튀어나오게 할지만 알면 됩니다. 비록 이것은 무서운 발견이지만, 연구진은 또한 이러한 구멍을 어떻게 메울 수 있는지에 대한 로드맵을 제공함으로써, 개인 정보가 보호되는 AI의 미래가 안전하게 유지될 수 있도록 했습니다.

기술 요약: 선택적 가중치 변조를 통한 연합 언어 모델의 그래디언트 프리(Gradient-Free) 프라이버시 유출

문제 정의

연합 학습(Federated Learning, FL)은 개인정보가 민감한 데이터(예: 의료 기록, 금융 정보)를 중앙 집중화하지 않고도 대규모 언어 모델(LLM)을 훈련하기 위한 표준이 되었습니다. 그러나 기존 문헌은 특히 그래디언트 역전 공격(gradient inversion attacks)을 통해 프라이버시 유출 위험이 여전히 존재함을 시사합니다. 대부분의 선행 연구는 그래디언트에 접근할 수 있는 경우(예: FedSGD)를 가정하거나, 서버가 능동적 적대자인 중앙 집중형 설정을 다룹니다.

본 논문은 FedAvg 프로토콜 기반의 언어 모델에서의 프라이버시 유출이라는 중요한 격차를 다룹니다. 이 설정에서는 그래디언트가 공유되지 않으며, 서버는 능동적인 적대자가 아닌 정직하지만 호기심 많은(honest-but-curious 또는 passive) 존재로 가정됩니다. 저자들은 악의적인 FL 클라이언트가 그래디언트 접근이나 서버 공모 없이도 다른 클라이언트의 로컬 데이터셋에서 민감한 데이터(예: 주민등록번호, 신용카드 번호, 전화번호)를 추출할 수 있는지 조사합니다.

식별된 주요 과제는 다음과 같습니다:

중간 모델 vs 최종 모델: LLM은 반복적인 훈련 과정 동안 전체 코퍼스에 대해 일반화되면서 특정 학습 샘플을 "망각"하는 경향이 있습니다. 중간 단계의 모델 스냅샷이 최종 수렴된 모델보다 민감한 정보를 더 많이 보유하고 있는지 여부는 불분명합니다.
그래디언트 프리 제약 조건: 클라이언트의 그래디언트에 접근할 수 없으므로, 전통적인 역전 공격은 적용할 수 없습니다.
증폭: 악의적인 클라이언트가 데이터 추출을 용이하게 하기 위해 모델의 민감한 데이터 암기(memorization)를 능동적 또는 수동적으로 강화할 수 있는가?

방법론

제안된 공격 프레임워크는 **피해 라운드 식별(Victim Round Identification, VRI)**과 **데이터 암기 극대화(Maximizing Data Memorization, MDM)**라는 두 가지 주요 단계로 작동합니다.

1. 위협 모델

적대자: FL 프로세스에 참여하는 악의적인 클라이언트.
능력: 적대자는 각 라운드에서 글로벌 모델 스냅샷(집계된 업데이트)에 접근할 수 있습니다. 그들은 추출하고자 하는 민감한 데이터의 구조(접두사, 예: "귀하의 인증 코드는...")에 대한 사전 지식을 가지고 있지만, 구체적인 민감한 값(접미사)은 알지 못합니다.
서버: 기본 시나리오에서는 수동적(정직하지만 호기심 많은)이거나 비공모를 가정합니다. "공모" 시나리오에서는 서버가 메타 정보나 로컬 업데이트를 공유합니다.
목표: 다른 클라이언트의 로컬 데이터셋으로부터 데이터 재구성 또는 멤버십 추론을 통해 민감한 접미사를 추출하는 것입니다.

2. 주요 관찰 및 가설

가설 1 (선택적 가중치 민감도): OOD(Out-of-Distribution) 데이터(예: PII)로 LLM을 미세 조정할 때, 가중치 변화는 균일하지 않습니다. 구체적으로, 마지막 몇 개의 트랜스포머 블록( $L^*$ )에 있는 MLP 서브 레이어는 다른 레이어에 비해 현저하게 큰 변형을 겪습니다. 이 레이어들은 민감한 OOD 데이터를 암기하는 데 불균형적으로 큰 책임을 집니다.
가설 2 (중간 라운드 유출): 특정 데이터 포인트가 존재하는 훈련 라운드에서는 해당 데이터 포인트가 존재하지 않는 라운드에 비해 모델이 이를 암기할 가능성이 높습니다. 결과적으로, "피해 라운드"의 중간 스냅샷은 최종 모델보다 더 많은 정보를 유출할 수 있습니다.

3. 공격 파이프라인

A. 피해 라운드 식별 (VRI)

적대자는 어떤 글로벌 모델 스냅샷( $G_i$ )이 민감한 데이터를 가진 피해자가 참여한 라운드에 해당하는지 식별합니다.

메커니즘: 적대자는 민감한 레이어( $L^*$ )에서의 가중치 차이의 노름(norm)을 계산합니다. 이때 두 가지 참조 모델을 사용합니다: 하나는 일반 텍스트로 미세 조정된 모델( $G_r$ ), 다른 하나는 일반 텍스트와 민감한 텍스트가 혼합된 모델( $G_s$ )입니다.
논리: 만약 $G_i$ 가 피해 라운드라면, $L^*$ 에서의 가중치 변화는 $G_s$ 와 통계적으로 유사할 것이며(OOD 데이터의 존재로 인해), $G_r$ 과는 크게 다를 것입니다. 스냅샷을 "피해" 또는 "비피해"로 분류하기 위해 쌍체 t-검정(pairwise t-test)이 사용됩니다.

B. 데이터 암기 극대화 (MDM)

피해 스냅샷이 식별되면, 적대자는 민감한 데이터의 암기를 증폭시키기 위해 모델 가중치를 조작합니다. 두 가지 그래디언트 프리 방법이 제안됩니다:

선택적 가중치 최적화 (SWO): 제로 차수(zeroth-order) 최적화 방법입니다. 이는 피해 스냅샷의 가중치와 참조 모델의 가중치 사이의 초기 차이를 계산합니다. 그 후, 피해자의 데이터를 통한 역전파 없이, 초기 방향(극성)을 유지하면서 이 차이의 크기를 최대화하도록 피해 스의 가중치를 반복적으로 업데이트합니다.
가중치 변환 학습 (WTL): 지도 학습 접근 방식입니다. 적대자는 일반 데이터로 훈련된 가중치에서 민감한 데이터로 훈련된 가중치로의 변환 패턴을 학습하기 위해 별도의 모델(예: Dense Autoencoder)을 훈련합니다. 학습된 이 변환은 암기를 강화하기 위해 피해 스냅샷의 가중치에 적용됩니다.

C. 공격 모드

정적 공격 (Static Attack): 적대자는 FL 훈련이 완료된 후 VRI 및 MDM을 수행하여 식별된 피해 스냅샷을 조작합니다.
동적 공격 (Dynamic Attack): 적대자는 훈련 중에 능동적으로 개입합니다. 그들은 식별된 피해 스냅샷들을 하나의 모델( $G_A$ )로 집계하고, 참여하는 라운드에서 자신의 로컬 업데이트와 $G_A$ 의 가중 합을 서버에 전송하여, 실질적으로 암폭된 암기를 가진 모델로 글로벌 모델을 "독성 주입(poisoning)"합니다.

주요 결과

저자들은 Gemma, Llama-2, GPT-2, BERT를 Wikitext-103, Penn Treebank, Enron 이메일 데이터셋을 사용하여 평가했습니다.

중간 모델 vs 최종 모델: 중간 스냅샷(IR)은 데이터 재구성 측면에서 최종 모델(LR)보다 일관되게 우수한 성능을 보였으며, 이는 가설 2를 입증합니다.
MDM의 효과:
- SWO와 WTL 모두 베이스라인에 비해 프라이버시 유출을 크게 증가시켰습니다.
- WTL이 일반적으로 SWO보다 뛰어난 성능을 보였습니다.
- 정적 공격: 서버 협력 없이 최대 **63%**의 민감한 데이터 재구성을 달ek했습니다.
- 동적 공격: 서버 협력 없이 최대 **71%**의 재구성을 달성했습니다.
- 서버 협력 시: 서버 지원이 있는 동적 공격( $dynamic^+$ )은 Wikitext에서 71%, 실제 환경인 Enron 데이터셋에서 **64%**의 재구성에 도달했습니다.
멤버십 추론: 제안된 방법들은 기존 베이스라인에 비해 멤버십 추론 공격의 재현율(recall)을 29% 증가시켰습니다.
모델 유용성: MDM 기술(SWO/WTL)은 일반 텍스트에 대한 퍼플렉시티(perplexity)에 거의 영향을 주지 않으면서도(유용성 유지) 민감한 데이터의 암기를 성공적으로 증가시켰습니다.
더 강력한 적대자와의 비교: 제안된 공격은 서버가 능적인 적대자라고 가정하는 공격(예: Decepticons)과 비교했을 때, BERT 및 GPT-2의 재구성률 측면에서 경쟁력이 있거나 더 나은 성능을 보였습니다.

의의 및 주장

본 논문은 표준 FedAvg FL 환경에서 악의적인 클라이언트가 다음을 수행할 수 있음을 보여주는 최초의 연구라고 주장합니다:

그래디언트 접근 없이도 다른 클라이언트가 민감한 데이터를 기여한 특정 훈련 라운드를 식별할 수 있습니다.
선택적 가중치(특히 마지막 트랜스포머 블록의 MLP 레이어)를 전략적으로 변조하여 해당 민감한 데이터의 암기를 증폭할 수 있습니다.
기존 공격보다 훨씬 높은 비율로, 심지어 서버가 능동적인 적대자인 시나리오보다 더 높은 수준으로 개인 정보(문구 그대로의 재구성)를 추출할 수 있습니다.

저자들은 자신들의 공격이 그래디언트 프리(gradient-free) 방식이며, 기존의 FL 프라이버시 연구가 주로 분류 작업에 집중했던 것과 달리 생성형 AI 작업에도 적용 가능하다는 점을 강조합니다. 또한, FL에서의 "망각" 현상이 프라이버시를 보호하지 않으며, 오히려 중간 스냅샷과 가중치 변조가 결합될 때 심각한 취약점을 생성한다고 주장합니다.

방어책

본 논문은 다음 방어책을 평가합니다:

차분 프라이버시 (Differential Privacy, DP): 유출을 줄이지만 모델 유용성을 크게 저하시킵니다.
스크러빙 (Scrubbing): 훈련 전 PII 토큰을 제거하는 것으로, 유용성을 해치지 않으면서 유출을 줄이지만 비정형 데이터에서 완벽하게 수행하기 어렵습니다.
Add-DEPN (정규화): "프라이버시 뉴런"을 제로화하는 대신 작은 가산 보정을 적용하는 새로운 접근 방식입니다. 이는 높은 모델 유용성을 유지하면서 유출을 크게 줄이는 균형 잡힌 트레이드오프를 제공합니다.
권장 사항: 저자들은 전처리 단계로서 데이터 스크러빙/중복 제거를 수행한 후, 로컬 모델에 Add-DEPN 정규화를 적용하는 조합을 권장합니다.

한계점

본 연구는 중간 규모의 영어 트랜스포머 모델에 국한되어 있습니다. 저자들은 더 큰 규모의 프로덕션 모델, 다국어 설정, 그리고 비전 트랜스포머와 같은 다른 양식(modality)은 탐구되지 않았음을 명시했습니다. 또한, 완전 암호화된 FL(예: 동형 암호 사용)의 계산 비용은 LLM에 적용하기에는 여전히 매우 높습니다.