💬 NLP

Exploring Cross-Client Memorization of Training Data in Large Language Models for Federated Learning

본 논문은 중앙집중식 학습에서 정교한 교차-샘플 측정 기법을 적응시켜 연방 학습에서 클라이언트 내부 및 클라이언트 간 훈련 데이터 암기 현상을 정량화하는 새로운 프레임워크를 제안하며, 이는 특정 훈련 및 추론 요인의 영향을 받아 연방 학습 모델이 상당한 암기 위험을 보임을 밝혀냅니다.

원저자: Tinnakit Udsa, Can Udomcharoenchaikit, Patomporn Payoungkhamdee, Sarana Nutanong, Norrathep Rattanavipanon

게시일 2026-05-08

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tinnakit Udsa, Can Udomcharoenchaikit, Patomporn Payoungkhamdee, Sarana Nutanong, Norrathep Rattanavipanon

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

친구들이 복잡한 요리를 함께 배우고 싶지만, 비밀 가족 레시피를 공유하기엔 너무 수줍어하는 상황을 상상해 보세요. 대신 실제 레시피를 중앙 주방으로 보내는 대신, 각자 자기 주방에서 요리의 버전을 훈련한 뒤 배운 교훈(가중치 또는 조정 사항) 만 중앙 셰프에게 보냅니다. 이것이 연방 학습 (Federated Learning, FL) 입니다. 이는 원재료 (개인 데이터) 를 결코 공유하지 않고도 협력적으로 학습하는 방법입니다.

하지만 숨겨진 위험이 있습니다. 레시피를 공유하지 않더라도, 셰프가 실수로 특정 재료들을 기억했다가 나중에 다른 요리를 해달라고 요청받았을 때 그 내용들을 뱉어낼 수 있습니다. 이를 기억 (memorization) 이라고 합니다.

이 논문은 마치 새로운 '개인정보 탐정'과 같아서, 연방 학습에서 이런 실수적인 기억이 일어나고 있는지, 그리고 모든 사람이 하나의 큰 냄비에 레시피를 공유하던 구식 학습 방식과 어떻게 다른지 조사합니다.

다음은 그들의 조사를 간단한 비유로 풀어낸 내용입니다:

1. 구식 탐정 대 신식 탐정

구식 방식 (중앙 집중식 학습): 과거 연구자들은 모델이 데이터를 기억하는지 확인하기 위해 "이 특정 문장 (프롬프트) 을 주면, 이 정확한 문장 (답변) 을 뱉어낼까요?"라고 물었습니다. 그들은 프롬프트와 답변이 원래 같은 레시피에서 나왔다고 가정했습니다.
새로운 문제 (연방 학습): '수줍은 친구들' 상황에서는, 한 친구가 자신의 레시피를 바탕으로 셰프에게 질문을 할 때, 셰프가 실수로 다른 친구의 비밀 레시피에서 나온 세부 사항을 답변으로 내놓을 수 있습니다. 구식 탐정은 한 번에 하나의 레시피만 살펴보았기 때문에 이를 놓쳤습니다.
새로운 프레임워크: 저자들은 클라이언트 간 (cross-client) 기억을 확인하는 새로운 도구를 구축했습니다. 그들은 이렇게 묻습니다: "친구 A 가 프롬프트를 주면, 모델이 실수로 친구 B 의 비밀을 누설할까요?"

2. 조사 결과: 그들은 무엇을 발견했는가?

연구자들은 네 가지 다른 '요리 작업'(요약, 채팅, 질문 답변, 분류) 과 서로 다른 데이터셋을 가진 세 명의 '친구'(클라이언트) 로 시뮬레이션을 설정했습니다. 그리고 모델이 비밀을 누설하는지 확인하기 위해 '표절 탐지기'(텍스트가 복사되었는지, 재구성되었는지, 아니면 단순히 같은 아이디어인지 확인하는 도구) 를 사용했습니다.

주요 발견 A: '집' 편향
모델은 친구의 비밀을 그 친구 자신에게 다시 누설할 가능성 (클라이언트 내부, Intra-client) 이 친구 A 의 비밀을 친구 B 에게 누설할 가능성 (클라이언트 간, Inter-client) 보다 훨씬 높았습니다.

비유: 만약 당신이 셰프에게 당신의 가족 레시피에 대해 묻는다면, 그들은 실수로 당신의 메모에서 나온 세부 사항을 읊어낼 수 있습니다. 하지만 당신이 당신의 레시피에 대해 물을 때, 그들은 이웃의 레시피에서 나온 비밀을 실수로 흘릴 가능성은 덜 높습니다. 그렇지만 이웃의 비밀은 여전히 누설되었는데, 단지 덜 자주 그랬을 뿐입니다.

주요 발견 B: '짧은 프롬프트' 함정
그들은 질문의 길이 (접두사) 가 매우 중요하다는 것을 발견했습니다.

비유: 셰프에게 매우 짧고 모호한 프롬프트 (예: "수프에 대해 말해줘") 를 주면, 모델은 빈칸을 채우기 위해 훈련 데이터에서 무작위로 기억된 세부 사항을 더 많이 끌어올 가능성이 높습니다. 길고 상세한 프롬프트를 주면 모델은 더 많은 맥락을 가지고 작업할 수 있어 기억된 조각에 덜 의존합니다.
결과: 짧은 프롬프트 = 더 많은 기억.

주요 발견 C: '요리 스타일'의 중요성
모델이 다음 단어를 결정하는 방식 (디코딩 전략) 이 결과에 영향을 미쳤습니다.

비유: 어떤 요리 스타일은 더 '창의적'이고 위험합니다. 특정 방법 (예: 'top-p' 또는 'top-k' 디코딩) 을 사용하면 모델이 기억된 비밀을 뱉어낼 가능성이 높아지는데, 이는 너무 창의적이려고 애쓰는 셰프가 실수로 이웃의 찬장에서 재료를 사용하는 것과 유사합니다.

주요 발견 D: '레시피' 유형의 중요성
그들은 일부 작업 유형은 안전하지만 다른 것들은 위험하다는 것을 알아차렸습니다.

안전 지대: '분류' 작업 (답변이 "예" 또는 "아니오"와 같은 단일 단어인 경우) 에서는 모델이 아무것도 기억하지 않았습니다.
이유: '표절 탐지기'는 작동하기 위해 일정량의 텍스트가 필요합니다. 모델이 단 하나의 단어만 생성하면 탐지기는 매칭을 찾을 수 없습니다. 마치 단 한 알의 쌀만 훔치는 도둑을 잡으려 할 때, 보안 카메라 (탐지기) 가 그것을 볼 만큼 민감하지 않은 것과 같습니다.

주요 발견 E: '알고리즘' 선택
그들은 친구들이 교훈을 공유할 수 있는 두 가지 다른 방법 (FedAvg 대 FedProx) 을 테스트했습니다.

결과: 한 방법 (FedProx) 은 다른 방법보다 모델이 더 많은 비밀을 기억하게 만들었습니다. 이는 친구 그룹 중 하나가 더 적극적으로 노트를 공유하여 실수적인 누설이 더 많이 발생하는 것과 같습니다.

3. 그들이 발견하지 못한 것들

모델 크기: 셰프를 더 똑똑하게 만드는 것 (더 큰 모델 사용) 은 기억을 더 많이 하거나 더 적게 하는지 명확하게 영향을 미치지 않았습니다.
연습 횟수: 친구들이 더 많은 횟수 (더 많은 통신 라운드) 를 연습하는 것은 기억이 증가하거나 감소하는 명확한 패턴을 보여주지 않았습니다.

결론

이 논문은 연방 학습이 기억에 대한 마법의 방패가 아님을 결론지었습니다. 원시 데이터가 공유되지 않더라도 모델은 여전히 훈련 데이터의 특정 세부 사항을 '기억'하도록 학습합니다.

모델은 다른 사람의 데이터보다 자신의 데이터를 더 많이 기억하지만, 다른 사람의 데이터도 기억합니다.
짧은 질문과 특정 '창의적' 설정은 이러한 누설을 더 악화시킵니다.
친구들이 교훈을 공유하는 방식 (알고리즘) 은 누설되는 양을 변화시킵니다.

저자들은 우리가 주의해야 한다고 경고합니다. 원시 데이터를 공유하지 않는다고 해서 모델이 우리의 비밀을 간직하지 않는다는 뜻이 아닙니다. 그들은 이러한 누설을 자신의 시스템에서 확인할 수 있도록 '탐정 도구'(코드) 를 공개했습니다.

기술 요약: 연동 학습을 위한 대규모 언어 모델의 훈련 데이터 교차 클라이언트 암기 탐구

문제 제기

연동 학습 (FL) 은 원시 데이터를 공유하지 않고 대규모 언어 모델 (LLM) 을 협력적으로 훈련시켜 프라이버시를 보호하는 것을 목표로 합니다. 그러나 FL 은 모델이 실수로 민감한 훈련 데이터를 인코딩하고 재생산하는 암기 (memorization) 위험을 제거하지는 않습니다. FL 을 위한 기존 탐지 기술은 주로 카나리 주입 (canary injection, 분포 외 구문 삽입) 에 의존하거나 단일 샘플 내의 구두점 암기에 초점을 맞춥니다. 이러한 접근 방식은 모델이 다른 샘플의 접두사로 프롬프트를 받았을 때 한 훈련 샘플의 접미사를 재생산할 수 있는 교차 샘플 암기를 포착하지 못합니다. FL 컨텍스트에서 이 위험은 한 클라이언트의 접두사가 다른 클라이언트의 개인적인 접미사 생성을 유발할 수 있는 교차 클라이언트 암기로 확장됩니다. 중앙 집중식 학습 (CL) 에서 교차 샘플 암기를 측정하는 현재 방법들은 중앙 집중식 데이터 접근을 전제로 하므로, 분산된 FL 환경에 직접 적용할 수 없습니다.

방법론

저자들은 CL 의 세밀한 교차 샘플 측정 기술을 적응시켜 FL 에서 클라이언트 내부 (intra-client, 동일 클라이언트 내) 및 클라이언트 간 (inter-client, 서로 다른 클라이언트 간) 암기를 정량화하는 프레임워크를 제안합니다.

프레임워크 설계

암기의 정의: 이 논문은 FL 에 대해 분포 내 암기의 정의를 일반화합니다. 클라이언트 $C_j$ 의 접두사 $p_j$ 가 판별 함수 $F$ 에 의해 결정된 바와 같이 $C_k$ 의 접미사 $s_k$ 와 충분히 유사한 텍스트를 모델 $M(p_j)$ 이 생성할 때, 이는 클라이언트 $C_k$ 의 데이터에 대한 암기를 유발하는 것으로 간주됩니다.
쌍별 측정: 이 프레임워크는 $C_j$ $C_{j}$ 의 접두사 중 $C_k$ $C_{k}$ 의 접미사 암기를 유발하는 비율을 나타내는 쌍별 암기 비율 ( $MR_{j \to k}$ $M R_{j \to k}$ ) 을 계산합니다.
- 클라이언트 내부 ( $MR_{Intra}$ ): $j=k$ 인 경우의 평균 비율.
- 클라이언트 간 ( $MR_{Inter}$ ): $j \neq k$ 인 경우의 평균 비율.
추정 과정:
- 샘플링: 클라이언트로부터 접두사 ( $\tilde{P}_j$ ) 와 접미사 ( $\tilde{S}_k$ ) 의 작은 부분집합을 샘플링합니다.
- 생성: 모델은 각 샘플링된 접두사에 대해 텍스트 $M(\tilde{p})$ 를 생성합니다.
- 검색: 생성된 텍스트를 Elasticsearch 를 사용하여 접미사 집합 $\tilde{S}_k$ 에 쿼리하여 상위 $n'$ 개의 가장 유사한 접미사를 검색합니다.
- 유사성 탐지: PAN2014 표절 탐지기를 판별 함수 $F$ 로 사용합니다. 이는 구두점, 개조, 아이디어 수준의 세 가지 세분성에서 유사성을 평가합니다.
- 계산: 상위 $n'$ 개의 접미사 중 어느 것이든 어떤 세분성 하에서 생성된 텍스트와 일치하면, 해당 접두사는 암기를 유발한 것으로 간주됩니다.

실험 설정

데이터셋: 네 가지 작업이 평가되었습니다: 요약 (ArxivAbstract), 대화 (MedDialog), 질문 응답 (PubMedQA), 분류 (PubMed 200k RCT). 데이터는 작업당 세 명의 클라이언트 간에 비 IID(non-IID) 로 분할되었습니다.
모델: 주요 실험에는 Qwen2.5-3B가 사용되었으며, Llama3.2-3B 및 GPT-2 에 대한 보조 결과가 제공되었습니다.
변수: 이 연구는 디코딩 전략 (temperature, top-k, top-p), 접두사 길이 (10, 30, 50, 100 토큰), 연동 알고리즘 (FedAvg, FedProx), 모델 크기, 그리고 통신 라운드 수의 영향을 분석했습니다.

주요 기여

문제 공식화: 저자들은 CL 의 평가 방법을 적응시켜 FL 에서 미묘한 교차 샘플 암기를 탐지하는 과제를 공식화했습니다.
새로운 프레임워크: 그들은 FL 에서 클라이언트 내부 및 클라이언트 간 암기를 모두 측정할 수 있는 프레임워크를 설계하여 클라이언트 간 프라이버시 유출을 정량화할 수 있게 했습니다.
실증적 통찰: 광범위한 제거 연구 (ablation studies) 를 통해 이 논문은 FL 환경에서 암기율에 영향을 미치는 특정 요인들을 식별했습니다.

결과 및 발견

암기의 존재: FL 모델은 훈련 데이터를 암기합니다. 특히, 클라이언트 내부 암기 ( $MR_{Intra}$ ) 는 평가된 모든 작업 (요약, 대화, QA) 에서 일관되게 클라이언트 간 암기 ( $MR_{Inter}$ ) 보다 높습니다.
작업별 행동: 분류 작업은 클라이언트 내부 및 클라이언트 간 시나리오 모두에서 **0.000%**의 암기를 보여주었습니다. 분석 결과, 이는 분류 작업에서 생성된 출력의 길이가 짧아 PAN2014 탐지기에서 요구하는 최소 일치 임계값 (50 자) 이하로 떨어지기 때문인 것으로 밝혀졌습니다.
FL 대 CL: FL 이 암기를 줄인다는 이전 연구들과는 대조적으로, 이 연구는 분포 내 데이터를 측정할 때 FL 이 CL 에 비해 더 낮은 암기로 이어진다는 명확한 경향을 발견하지 못했습니다. 총 암기 비율 ($MRTotal$) 은 CL 과 FL 환경 간에 유사했습니다.
영향 요인:
- 디코딩 전략: temperature 디코딩에 비해 top-k 및 top-p 디코딩과 같은 정교한 전략은 암기를 증가시키는 경향이 있었습니다.
- 접두사 길이: 짧은 접두사는 일반적으로 더 높은 암기율을 유발했습니다.
- 연동 알고리즘: FedProx는 FedAvg 보다 더 높은 암기율을 보였으며, 분류 작업에서 암기를 유발한 유일한 알고리즘이었습니다.
- 접미사 특성: 특정 데이터셋 그룹 (예: 대화 작업의 그룹 3) 은 다른 그룹보다 암기에 더 취약했으며, 이는 데이터셋 속성이 역할을 함을 시사합니다.
- 모델 크기 및 라운드: 모델 크기나 통신 라운드 수와 암기율 사이에는 명확한 상관관계가 관찰되지 않았습니다.

중요성 및 주장

이 논문은 교차 클라이언트 유출을 측정하는 방법을 제공함으로써 중앙 집중식 암기 평가와 연동 학습 간의 격차를 해소했다고 주장합니다. 주요 중요성은 FL 이 본질적으로 암기 위험을 제거하지 않는다는 것을 입증하는 데 있으며, 모델은 특히 동일 클라이언트의 분포 내에서 개인 데이터를 여전히 인코딩합니다.

저자들은 클라이언트 간 유출이 직접적인 프라이버시 위반이지만, 접두사가 공개적인 경우 클라이언트 내부 유출 (harm-exposed) 도 위험을 초래할 수 있음을 강조합니다. 이 발견들은 FL 의 프라이버시 보호 메커니즘이 구두점 추출뿐만 아니라 분포 내 교차 샘플 암기도 고려해야 함을 시사합니다. 이 연구는 디코딩 전략, 접두사 길이, 연동 알고리즘 선택과 같은 요인들이 암기에 상당한 영향을 미치므로, 분산형 LLM 훈련에서 프라이버시 위험을 완화하기 위해 신중한 구성이 필요하다고 결론지었습니다.

저자들은 PAN2014 탐지기에 대한 의존성 (일관성 없는 출력을 오분류할 수 있음) 과 영어 텍스트로 제한된다는 점을 포함한 한계를 겸손하게 지적합니다. 또한, 클라이언트 내부 암기가 클라이언트 간 암기를 초과하는 이론적 설명을 향후 연구 과제로 식별했습니다.