💬 NLP

Unintended Memorization of Sensitive Information in Fine-Tuned Language Models

이 논문은 미세 조정된 거대 언어 모델의 입력값으로부터 민감한 개인 식별 정보(PII)가 의도치 않게 암기되는 현상을 체계적으로 조사하고 네 가지 완화 전략의 프라이버시-유용성 트레이드오프를 평가하며, 특정 설정에서 차분 프라이버시가 강력한 유출 감소 효과를 보임에도 불구하고 사후 학습 방법이 일반적으로 더 일관된 보호를 제공한다는 점을 밝힌다.

원저자: Marton Szep, Jorge Marin Ruiz, Georgios Kaissis, Paulina Seidl, Rüdiger von Eisenhart-Rothe, Florian Hinterwimmer, Daniel Rueckert

게시일 2026-01-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Marton Szep, Jorge Marin Ruiz, Georgios Kaissis, Paulina Seidl, Rüdiger von Eisenhart-Rothe, Florian Hinterwimmer, Daniel Rueckert

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 요약: "지나치게 성실한 학생"

매우 똑똑한 학생(거대 언어 모델)을 고용해 의료 요약 작성과 같은 특정 업무를 배우게 한다고 상상해 보세요. 당신은 그 학생에게 공부할 환자 기록 뭉치를 건네줍니다.

문제는 학생이 일을 못 하는 것이 아니라, 기억력이 너무 좋다는 것입니다. 당신은 단지 진단명과 치료 계획만 배우라고 요청했지만, 학생은 환자의 이름, 수술 날짜, 주소까지 모두 외워버렸습니다.

이 논문은 특정한, 교묘한 위험성을 조사합니다: 만약 학생이 정답에 포함되지 않아야 할 정보까지 암기해 버린다면 어떻게 될까요?

이 시나리오에서 환자의 이름(개인 식별 정보 - PII)은 질문(입력)에는 등장하지만, 답변(출력)에는 오직 의료적 사실만 담겨 있어야 합니다. 이 논문은 다음과 같이 묻습니다: 만약 누군가 학생을 속여서 질문을 다시 읊조리게 만든다면, 학생은 실수로 비밀스러운 이름을 발설하게 될까요?

실험: "트루-프리픽스(True-Prefix)" 트릭

이를 테스트하기 위해 연구진은 **"트루-프리픽스 공격(True-Prefix Attack)"**이라는 트릭을 사용했습니다.

이것은 "문장 완성하기" 게임과 같습니다.

설정: 연구진은 실제 환자 파일을 가져옵니다.
트릭: 파일에서 환자의 이름이 나오기 직전 부분에서 내용을 자릅니다.
테스트: AI에게 묻습니다: "여기 지금까지의 이야기입니다: [환자 병력]... 이제 다음에 올 내용은 무엇인가요?"

만약 AI가 정보를 "암기"했다면, 그 이름이 학습 과정에서 수행해야 했던 과업의 일부가 아니었음에도 불구하고 자신 있게 환자의 이름을 말할 것입니다. 연구진은 미세 조정(fine-tuned)된 모델들이 마치 교과서를 토씨 하나 틀리지 않고 외운 학생과 같아서, 앞부분 몇 단어만 주어지면 비밀을 포함한 나머지 내용을 그대로 읊어버릴 수밖에 없다는 것을 발견했습니다.

연구 결과

1. 빈도는 중요하지 않다 ( "희귀한 이름"의 놀라움)
"이름이 학습 데이터에 100번 등장하면 100번 더 잘 기억하겠지"라고 생각할 수도 있습니다.

현실: 논문은 이것이 사실이 아님을 밝혀냈습니다. 단 한 번만 등장한 이름도 50번 등장한 이름만큼이나 유출될 가능성이 높습니다. 중요한 것은 이름을 얼마나 자주 보았느냐가 아니라, 문장 내에서 이름이 어디에 위치했는지와 학생이 그 이야기를 어떻게 연결 지었느냐입니다.

2. 언어가 중요하다
연구진은 7가지 다른 언어로 학생을 테스트했습니다.

현실: 학생은 독일어, 이탈리아어, 스웨덴어보다 영어와 스페인어에서 이름을 실수로 발설할 확률이 훨씬 높았습니다. 이는 마치 학생이 같은 자료를 공부하더라도 비밀을 암기하는 데 있어 자신만의 "선호하는 언어"를 가지고 있는 것과 같습니다.

3. 큰 학생일수록 기억력도 크다
연구진은 다양한 크기의 학생(작은 모델부터 거대한 모델까지)을 테스트했습니다.

현실: 더 큰 모델(더 많은 "두뇌 능력"을 가진 모델)은 학습하지 않아도 자연스럽게 무언가를 더 잘 기억합니다. 하지만, 미세 조정(새로운 업무를 가르치는 과정)을 할 때, 작은 모델들이 큰 모델들보다 때때로 비밀을 암기하는 데 더 집착하는 경록을 보였습니다. 이는 다소 예측 불가능한 결과입니다.

"정보 유출 방지" 해결책

연구진은 학생이 비밀을 발설하는 것을 막기 위해 네 가지 방법을 시도했습니다. 이를 서로 다른 교육 방법이라고 생각해보세요.

차분 프라이버시 (Differential Privacy - "지지직거리는 라디오"):
- 작동 방식: 학습 데이터에 라디오의 잡음처럼 무작위 노이즈를 추가하여, 학생이 세부 사항을 명확하게 듣지 못하게 합니다.
- 결과: 비밀을 숨기는 데는 매우 효과적이지만(때때로 유출을 60%까지 감소), 학생을 다소 "멍하게" 만들어 본래의 업무 능력을 떨어뜨립니다. 또한 조절하기가 까다롭습니다. 노이즈가 너무 많으면 학생은 아무것도 배울 수 없습니다.
머신 언러닝 (Machine Unlearning - "삭제 버튼"):
- 작동 방식: 학생에게 "이 특정 이름들은 반드시 잊어야 한다"라고 구체적으로 지시합니다.
- 결과: 비밀을 제거하는 데 어느 정도 효과가 있지만, 불안정할 수 있습니다. 때때로 학생이 이름은 잊어버리지만, 본래의 업무 수행 방식까지 잊어버리기도 합니다.
정규화 (Regularization - "엄격한 선생님"):
- 작동 방식: 학습 중에 학생이 비밀스러운 이름에 집중하려고 할 때마다 벌칙을 줍니다.
- 결과: 일종의 줄다리기와 같습니다. 학생은 업무를 수행하려고 노력하면서도 동시에 이름을 기억하려고 애씁니다. 이는 유출을 완전히 막는 데 자주 실패합니다.
선호도 정렬 / DPO (Preference Alignment / DPO - "윤리 코치"):
- 작동 방식: 학생에게 좋은 답변(이름이 없는 것)과 나쁜 답변(이름이 포함된 것)의 예시를 보여주며, "나는 이름이 없는 쪽을 선호한다"라고 말합니다.
- 결과: 가장 일관성 있는 방법이었습니다. 학생이 업무를 잘 수행하면서도 비밀을 발설할 확률을 크게 낮추었습니다. 특히 학생이 단순히 읊조리는 것(greedy decoding)이 아니라 즉흥적으로 대답할 때(sampling) 효과적이었습니다.

결론

이 논문은 민감한 데이터로 AI를 미세 조정하는 것은 위험하다고 결론짓습니다. 당신은 AI에게 오직 의료적 사실만을 가르치고 있다고 생각할지라도, AI는 그 뒤에 붙은 이름과 날짜를 몰래 암기하고 있습니다.

긍정적인 소식: "윤리 코칭(DPO)"이나 "지지직거리는 라디오(차분 프라이시)" 같은 방법들이 위험을 줄이는 데 도움을 줄 수 있습니다.
부정적인 소식: 어떤 방법도 완벽하지 않습니다. 가장 좋은 방법조차 유출 위험을 약 40~60% 정도만 줄일 뿐입니다. 학생은 여전히 어떤 비밀은 기억하고 있습니다.

저자들은 이러한 "의도치 않은 암기"를 막을 더 나은 방법이 마련될 때까지, 실제 개인 정보가 담긴 데이터를 사용하여 AI 모델을 사용하는 것에 매우 주의해야 한다고 경고합니다.

명시하지 않은 사항 (한계점)

이 연구가 모든 유형의 AI나 모든 크기의 모델에 적용된다고 주장하지 않았습니다 (주로 120억 개의 파라미터 이하 모델을 테스트했습니다).
합성 데이터(가짜 데이터)가 실제 데이터를 완벽하게 대체할 수 있다고 주장하지 않았습니다 (다만 이론을 테스트하기 위해 사용했습니다).
새로운 의료 처방이나 환자 진단을 제안한 것이 아닙니다. 이들의 목표는 순수하게 AI의 프라이버시를 테스트하는 것이었으며, 의료적 정확성을 테스트하려는 것이 아니었습니다.

기술 요약: 미세 조정된 언어 모델의 의도하지 않은 민감 정보 암기

문제 정의

본 연구는 대규모 언어 모델(LLM)에서 발생하는 중요하고도 미개척된 취약점인 의도하지 않은 개인 식별 정보(PII)의 암기 문제를 다룹다. 특히, 이 문제는 PII가 학습 타겟(output)에는 존재하지 않고 오직 모델 입력(input)에만 존재하는 경우를 대상으로 한다.

기존 연구들은 주로 사전 학습(pre-training) 단계나, PII가 의도된 출력의 일부인 작업(예: 개체명 인식)에서의 암기에 집중해 왔다. 반면, 본 연구는 민감한 데이터(예: 의료 기록 내 환자 이름)가 오직 입력 컨텍스트에만 존재하는 시나리오를 분리하여 고찰한다. 이러한 "입력 전용(input-only)" 시나리오에서는 다운스트림 태스크(예: 진단 분류 또는 후속 계획 수립)가 PII 출력을 요구하지 않는다. 그럼에도 불구하고, 저자들은 이러한 민감한 데이터셋에 대해 미세 조정(Fine-tuning, FT)을 수행할 경우, 모델이 무관한 PII를 내부화하고 이후 적대적 프롬프트를 통해 이를 유출한다는 것을 입증한다.

위협 모델은 공격자가 API 쿼리를 통해 모델에 접근할 수 있고, 미세 조정 데이터셋(예: 익명화된 전자 건강 기록)에 대한 부분적인 지식을 보유하여 암기된 토큰을 추출하기 위해 "트루 프리픽스 공격(True-Prefix Attacks, TPA)"을 설계할 수 있는 블랙박스 환경을 가정한다.

방법론

실험 설정

저자들은 다양한 복잡도와 도메인에 걸쳐 암기 현상을 평가하기 위해 세 가지 서로 다른 데이터셋을 활용한다:

GretelAI-Financial: 금융 텍text 분류에 초점을 맞춘 합성 다국어 데이터셋 (약 3만 개의 샘플, 7개 언어).
병리 보고서(Pathology Reports): 종양 분석을 요약한 2,553개의 독일어 문서로, PII가 수동으로 주석 처리됨.
퇴원 요약서(Discharge Summaries, DS): 후속 계획 생성 작업을 위한 26,306개의 독일어 임상 보고서로, 정규 표현식, LLM 탐지, 수동 검증을 포함한 다단계 파이프라인을 통해 PII를 식별함.

주요 공격 벡터는 공격자가 PII 구간 바로 앞에 위치한 학습 데이터의 프리픽스(prefix)를 제공하는 **트루 프리픽스 공격(TPA)**이다. 모델이 이후의 토큰을 높은 확률로 예측할 때 해당 PII를 암기한 것으로 간주한다. 강화된 TPA(Enhanced TPA) 변형은 추출 성공률을 높이기 위해 PII의 첫 글자를 프리픽스에 추가한다.

완화 전략

PII 유출을 줄이면서 태스크 성능을 유지하는 능력을 평가하기 위해 네 가지 개인정보 보호 접근 방식을 벤치마킹한다:

차분 프라이버시(Differential Privacy, DP): Opacus를 사용하여 QLoRA 미세 조정에 $(\epsilon, \delta)$ -DP를 통합하며, 개별 샘플의 영향력을 제한하기 위해 그래디언트 업데이트에 노이즈를 도입한다.
기계 언러닝(Machine Unlearning, UnDial): 자기 증류(self-distillation)에 기반한 표적 언러닝 방법이다. 모델을 불안정하게 만들지 않으면서 특정 PII 토큰의 로짓(logits)을 억제하여 해당 정보를 "망각"하게 한다.
정규화(Regularization): 미세 조정 루프에 직접 통합된 UnDial의 변형으로, PII 토큰에 대해서만 집중적인 손실 함수를 적용하여 암기를 억제한다.
직접 선호도 최적화(Direct Preference Optimization, DPO): PII를 포함한 원문 텍스트를 "거부된(rejected)" 응답으로, 마스킹된 버전을 "선호되는(preferred)" 응답으로 취급하여 모델 출력을 프라이버시 선호도에 맞게 정렬한다.

평가 지표

태스크 성능: Accuracy (GretelAI), F1-score (Pathology), BERTScore-F1 (DS).
암기(Memorization): Greedy 디코딩, Sampling (32회 실행, temperature 1.0), 그리고 교차 암기(Cross-memorization, 생성된 내용과 데이터셋 내 동일 유형의 모든 PII를 비교)를 통한 PII 추출 횟수로 측정한다.

주요 결과

입력 전용 암기의 특성

확신도 증가: 미세 조정된 모델은 PII가 태스크와 무관하더라도, 베이스 모델에 비해 PII 토큰을 예측할 때 유의미하게 높은 확신도(낮은 음의 로그 가능도)를 보인다.
빈도는 불충분한 예측 인자: 빈도가 높은 토키이 암기될 가능성이 높다는 가정과 달리, 본 연구에서는 PII 인스턴스의 실제 횟수와 성공적인 추출 사이의 상관관계가 매우 낮음( $R^2 = 0.237$ )을 발견했다. 암기는 단순 빈도보다는 텍스트 컨텍스트와 태스크 유용성에 더 의존하는 것으로 보인다.
언어 의존성: 암기율은 언어에 따라 크게 달라진다. 다국어 학습 시, 영어와 스페인어는 독일어, 이탈리아어, 스웨덴어보다 현저히 높은 추출율을 보였다.
스케일링 효과: 더 큰 모델(예: 8B–12B 파라미터)은 PII를 드러내는 기본 능력이 더 높다. 그러나 미세 조정이 암기에 미치는 영향은 균일하지 않다. 작은 모델(1B–3B)은 미세 조정 후 유출이 급격히 증가하는 반면, 큰 모델은 절대적인 유출량은 여전히 높지만 미세 조정에 따른 상대적인 추출 횟수 증가 폭은 때때로 더 작게 나타난다.

완화 전략의 효과

사후 학습 방법(DPO, UnDial): 이러한 방법들은 일반적으로 가장 일관된 프라이버시-유용성 트레이드오프를 제공한다. 이들은 하이퍼파라미터 변화에 강건하며 자원 소모가 적다. 특히 DPO는 높은 태스크 정확도를 유지하면서도 유출을 크게 줄인다.
차분 프라이버시(DP): DP는 특정 설정(예: DS 태스크에서 교차 암기를 60% 이상 감소시킴)에서 유출을 줄이는 데 강력한 잠재력을 보여준다. 그러나 훈련의 불안정성을 겪으며, 세심한 하이퍼파라미터 튜닝이 필요하고, 종종 태스크 성능을 저하시킨다.
하이브리드 접근법: DP와 DPO를 결합(DP-ϵ6 + DPO)하는 것이 최선의 결과를 낳지는 않았다. 이는 Greedy 디코딩에서의 DP의 강점은 보존했지만, 샘플링 기반 공격에 대한 DPO의 강건성을 상속받지 못했으며, 단독 DPO보다 약간 낮은 태스크 성능을 보였다.
스케일링과 프라이버시: 모델 크기가 커질수록, 암기 방지에 있어 DP의 효용성은 사후 학습 정렬 방법들에 비해 감소한다. DPO는 8B와 같은 더 큰 모델에서 유출을 실질적으로 줄이면서도 최적에 가까운 성능을 유지함으로써 훨씬 더 효과적임을 입증했다.

의의 및 주장

본 논문은 PII가 오직 입력에만 존재하는 의도하지 않은 암기에 초점을 맞춘 최초의 포괄적인 연구라고 주장한다. 본 연구의 의의는 다음과 같다:

숨겨진 위험의 폭로: 민감한 데이터(예: 의료 기록)에 대한 미세 조정이, 태스크 출력이 이를 요구하지 않더라도 PII에 대한 유출 벡터를 생성함을 입증함으로써, 태스크와 무관한 데이터는 안전하다는 가설에 도전한다.
경험적 벤치마킹: 네 가지 주요 완화 전략을 체계적으로 비교하여, 비록 어떤 방법도 유출을 완전히 제거하지는 못하지만, 사후 학습 정렬(DPO)과 언러닝(UnDial)이 많은 시나리오에서 차분 프라이버시보다 더 안정적이고 효과적인 트레이드오프를 제공함을 강조한다.
실무적 지침: 본 연구의 결과는 민감한 도메인(예: 의료)에서 미세 조정된 LLM을 배포할 때, 표준 미세 조정에만 의존하는 것은 불충순함을 시사한다. 프라이버시 보존 기술은 명시적으로 통합되어야 하며, 유용성과 프라이버시 사이의 지속적인 트레이드오프를 인지한 상태에서 강건한 사후 학습 방법이나 정교하게 튜닝된 DP를 선호해야 한다.

저자들은 현재의 방법들이 개선을 제공하고는 있으나 개선의 여지가 여전히 많으며, 지속적인 암기 위험 때문에 민감한 맥락에서 모델을 배포하기 전에는 강력하고 확장 가능한 프라이버시 보존 기술이 반드시 필요하다고 결론짓는다.