The Conundrum of Trustworthy Research on Attacking Personally Identifiable Information Removal Techniques

이 논문은 기존 PII 제거 기술에 대한 공격 연구가 데이터 유출과 오염 문제로 인해 과장된 결과를 보일 수 있음을 비판적으로 분석하며, 진정한 사생활 보호가 가능한 데이터 접근의 어려움으로 인해 해당 기술의 신뢰성 있는 평가가 현재 불가능하다고 주장합니다.

핵심

🕵️‍♂️ 1. 상황 설정: "검은 마커로 지운 비밀"

우리가 SNS 나 블로그에 올린 글, 병원 기록, 법원 판결문 같은 것에는 이름, 주소, 전화번호 같은 **개인정보 (PII)**가 담겨 있습니다. 이걸 공개하려면 검은 마커로 지우거나 (Redaction), 가상의 이름으로 바꾸는 (Pseudonymization) 작업을 해야 합니다.

이걸 자동화 도구가 해줍니다. 마치 "이름은 다 지우고, 주소는 다 지우고"라고 명령하면 기계가 쓱쓱 지워주는 거죠.

🧠 2. 문제 제기: "지우면 정말 사라질까?"

최근 연구들은 "아니요, 사라지지 않아요!"라고 주장합니다.
"지워진 문서를 AI(대형 언어 모델) 에게 보여주면, AI 가 문맥을 보고 **'아, 이 사람은 '김철수'구나!'**라고 다시 맞춰낸다고요!"라고 말합니다.

하지만 이 논문 저자들은 **"잠깐만요! 그 실험 결과가 너무 과장된 것 같지 않나요?"**라고 의문을 제기합니다.

🎭 3. 핵심 비판: "요리사가 레시피를 이미 외우고 있었어요"

저자들은 기존 연구들의 실험 방식에 치명적인 결함이 있다고 지적합니다. 세 가지 주요 문제점을 비유로 설명해 볼게요.

① "이미 공개된 비밀" (Leakage through public knowledge)

• 상황: 유명 배우의 생애를 지워진 문서로 만들었습니다.
• 공격: AI 가 "이 사람은 누구지?"라고 맞춰냈습니다.
• 저자의 반박: "그건 AI 가 지능이 뛰어나서가 아니라, AI 가 원래 배우의 생애를 이미 인터넷에서 다 읽었기 때문입니다. 지우기 전의 정보가 이미 공개되어 있었으니, AI 가 맞춰낸 건 당연한 결과죠. 이건 '개인정보 보호 실패'가 아니라 '이미 공개된 정보'를 다시 찾는 것에 불과합니다."

② "기억력 과부하" (Leakage through memorization)

• 상황: AI 모델을 훈련시킬 때, 지우기 전의 원본 문서들을 함께 먹였습니다.
• 공격: 지워진 문서를 주고 원본을 맞춰보라고 했습니다.
• 저자의 반박: "AI 가 지워진 문서를 보고 맞춰낸 게 아니라, 훈련할 때 원본을 통째로 외워버렸기 때문입니다. 마치 시험 문제 (지워진 문서) 를 보고 답을 맞춘 게 아니라, 답지 (원본) 를 암기하고 있어서 맞춘 것과 같습니다. 이건 보호 기술이 나빠서가 아니라, AI 가 '기억'을 하고 있기 때문입니다."

③ "보이지 않는 단서" (Leakage through media reporting)

• 상황: 법원 판결문을 지웠습니다.
• 공격: AI 가 뉴스 기사와 연결해서 이름을 찾아냈습니다.
• 저자의 반박: "지워진 문서 자체만으로는 모자랐지만, AI 가 뉴스 기사라는 '보조 자료'를 함께 봤기 때문입니다. 지워진 문서만으로는 불가능했을 텐데, 외부 정보를 섞어서 맞춰낸 것이니 공정한 평가가 아닙니다."

🚧 4. 딜레마: "진짜 실험을 하려면 '진짜 비밀'이 필요해요"

저자들은 "그럼 어떻게 해야 진짜로 개인정보 보호 기술이 안전한지 검증할 수 있을까요?"라고 묻습니다.

• 정답: "진짜로 아무도 모르는 비밀 (예: 아직 공개되지 않은 병원 기록, 사적인 일기 등) 을 가지고 실험해야 합니다."
• 현실: "하지만 진짜 비밀 데이터는 절대 공개할 수 없습니다."
  • 법적으로도 금지되어 있고, 윤리적으로도 허용되지 않습니다.
  • 연구실 윤리위원회 (REB) 에 "유출된 데이터를 연구에 쓰겠다"고 요청했더니, "그건 불법이고 위험하다"며 거절당했습니다.

🤖 5. 저자들의 작은 실험: "완벽하지는 않지만 시도해 봤어요"

진짜 비밀 데이터는 못 쓰니, 저자들은 AI 가 아직 훈련하지 않은 아주 새로운 데이터를 구해서 실험을 해봤습니다.

1. 한국어 법원 공고문: AI 가 아직 못 본 2018 년 구문.
2. 유튜브 여행 브이로그: AI 가 훈련된 날짜 이후에 올라온 최신 영상 대본.

결과:

• AI 가 여전히 꽤 많은 정보를 맞춰냈습니다 (약 5~19% 성공).
• 하지만 그 이유도 비슷했습니다: AI 가 지워진 글에서 "뉴욕 여행"이라는 힌트를 보고 "타임스퀘어"를 맞췄습니다. 이건 AI 가 세상 지식을 알고 있어서 맞춘 것이지, 지워진 기술이 뚫린 것은 아니었습니다.
• 결론: "자동화 도구가 100% 완벽하게 지우지 못해서 (누락된 정보) AI 가 힌트를 얻은 경우가 많았습니다."

💡 6. 결론: "우리는 막다른 길에 서 있습니다"

이 논문이 전하려는 가장 중요한 메시지는 다음과 같습니다.

"현재 우리는 개인정보 보호 기술을 제대로 평가할 수 있는 '진짜 데이터'를 손에 넣을 수 없습니다. 그래서 우리가 보는 '위험하다'는 연구 결과들이 사실은 '데이터 유출'이나 '과장된 실험' 때문일 가능성이 큽니다."

• 공공 연구자는 투명하고 신뢰할 수 있는 방식으로 이 문제를 해결할 수 없습니다. (데이터를 못 구하니까요.)
• **가짜 데이터 (Synthetic Data)**를 쓰면 AI 가 훈련 데이터와 비슷하게 만들어서 또 유출될 수 있고, 공개 데이터는 이미 AI 가 알고 있어서 의미가 없습니다.

🌟 요약 및 제언

이 논문은 "개인정보 지우기 기술이 무조건 나쁘다"고 말하는 게 아니라, **"지금 우리가 그 기술을 공격하는 방식이 너무 엉망이라서, 진짜 위험한지 안전한지 알 수 없다"**고 경고합니다.

미래를 위해 필요한 것:
단순한 실험이 아니라, 수학적으로 완벽하게 정의된 새로운 보안 이론이 필요합니다. 마치 암호학에서 '양자 컴퓨터'를 고려하듯, AI 시대에 맞는 새로운 '개인정보 보호의 정의'와 '공격 모델'을 만들어야만, 우리가 진정으로 안전한 세상을 만들 수 있다는 것입니다.

한 줄 요약:

"지금까지의 '개인정보 지우기 기술이 뚫렸다'는 소리는, 실험 방법이 잘못돼서 들리는 '거짓말'일 수도 있습니다. 하지만 진짜 비밀을 가지고 검증할 수 없으니, 우리는 여전히 답을 모른 채 막막한 상태입니다."

기술 요약

1. 문제 제기 (Problem)

• 배경: 데이터 보호 규정 (GDPR, HIPAA 등) 을 준수하고 민감한 텍스트 데이터를 공유하기 위해 PII(이름, 주소, 전화번호 등) 를 제거하는 기술이 널리 사용됩니다.
• 현황: 최근 연구들은 PII 가 제거된 문서에서도 대규모 언어 모델 (LLM) 을 이용해 개인 정보를 재구성 (Reconstruction) 하는 공격이 성공한다고 보고합니다.
• 핵심 문제: 저자들은 이러한 공격 성공률이 **실제 PII 제거 기술의 결함 때문인지, 아니면 실험 설계의 결함 **(데이터 유출)을 의심합니다.
  • 기존 연구들은 공격 모델이 훈련 데이터에 민감 정보를 이미 암기했거나 (Memorization), 공격 대상이 이미 공개된 정보 (뉴스, 위키백과 등) 를 기반으로 하여 재식별이 용이한 경우를 '성공'으로 잘못 해석하고 있습니다.
  • 따라서 현재까지의 평가는 PII 제거 기술의 실제 프라이버시 보호 능력을 과장되게 평가하고 있습니다.

2. 방법론 (Methodology)

저자들은 두 가지 주요 연구 질문을 설정하고 이를 해결하기 위해 다음과 같은 접근을 취했습니다.

A. 기존 연구의 비판적 분석 (Critical Analysis)

기존 PII 재구성 공격 논문들을 분석하여 실험 설계의 결함을 세 가지 범주로 분류했습니다.

1. **미디어 보도를 통한 유출 **(Leakage through media reporting) 스위스 연방대법원 판결문 공격 사례 (Nyffenegger et al., 2024) 에서, 공격 모델이 성공한 이유는 PII 제거 기술의 실패가 아니라, 해당 사건이 뉴스에 보도되어 공개된 정보를 LLM 이 활용했기 때문입니다.
2. **공개 지식을 통한 유출 **(Leakage through public knowledge) 유명인 위키백과 био그래피 공격 사례 (Patsakis and Lykousas, 2023) 에서, LLM 은 훈련 데이터에 이미 포함된 유명인의 정보를 암기하고 있어, PII 가 제거된 텍스트만으로도 재식별이 가능했습니다. 이는 기술의 취약성이 아니라 데이터의 공개성 때문입니다.
3. **암기 **(Memorization) LLM 이 원본 데이터로 미세 조정 (Fine-tuning) 된 후 공격을 수행하는 경우 (Lukas et al., 2023), 모델이 민감 정보를 이미 암기하고 있어 재구성이 성공합니다. 이는 PII 제거 기술의 실패가 아니라 모델의 학습 데이터 유출입니다.

B. 새로운 실험 설계 (Small-scale Example Studies)

데이터 유출 (Leakage) 이 없는 상황을 만들기 위해 저자들은 다음과 같은 엄격한 조건을 갖춘 두 가지 소규모 실험을 수행했습니다.

• 데이터 소스:
  1. **체코 법원 공고문 **(CZ) 2018 년에 공개되었으나 30 일 후 URL 이 삭제된 문서. LLM 훈련 데이터에 포함될 가능성이 매우 낮음.
  2. **유튜브 여행 브이로그 **(YT) 2025 년 8 월 6 일 이후에 업로드된 영상 (사용된 오픈소스 LLM 인 gpt-oss-120b 의 훈련 컷오프 날짜 이후).
• 방어 및 공격 모델:
  • 방어: Microsoft Presidio 와 spaCy 를 사용하여 PII 를 탐지하고 마스킹 (Masking) 함.
  • 공격: 오픈 가중치 LLM (gpt-oss-120b) 을 사용하여 마스킹된 텍스트에서 PII 를 재구성하도록 프롬프트를 설계함.
  • 평가 지표: Top-3 정밀 일치율 (EM@3).

3. 주요 결과 (Results)

• 공격 성공률:
  • 유튜브 브이로그 (YT) 데이터: 약 19.1% 의 PII 가 성공적으로 재구성됨.
  • 체코 법원 공고문 (CZ) 데이터: 약 5.5% 의 PII 가 성공적으로 재구성됨.
  • 일부 문서에서는 재구성률이 50% 이상에 달하기도 함.
• 성공 원인 분석:
  • 불완전한 PII 탐지: 자동화 도구가 모든 PII 를 완벽하게 제거하지 못해, 남은 문맥 (Context) 이나 힌트 (예: "I Love NY" 샵, 특정 랜드마크) 를 통해 LLM 이 나머지 정보를 추론해냄.
  • 일반적인 이름 추측: 맥락이 부족할 경우 모델은 통계적으로 가장 흔한 이름 (예: 체코의 'Jan Novák') 을 추측하여 성공률을 인위적으로 높임.
  • 공개 정보의 중첩: 여행지 설명 등은 LLM 의 사전 훈련 데이터에 이미 존재하여, 이름이 제거되더라도 위치를 유추할 수 있음.

4. 핵심 기여 (Key Contributions)

1. 기존 평가의 근본적 결함 규명: 현재 PII 재구성 공격 연구의 성공률이 데이터 유출 (Memorization, Public Knowledge) 로 인해 과대평가되고 있음을 증명했습니다.
2. **투명한 연구의 불가능성 **(The Conundrum)
   • 공개/합성 데이터: 훈련 데이터와 겹치거나 (Leakage), 실제 민감 데이터의 복잡성을 반영하지 못해 신뢰할 수 있는 평가를 제공하지 못함.
   • 실제 민감 데이터: 윤리적, 법적, 규제적 이유로 공개 연구자들이 접근할 수 없음.
   • 결론: 현재로서는 공개 연구 커뮤니티가 PII 제거 기술의 취약성을 투명하고, 재현 가능하며, 신뢰할 수 있는 방식으로 검증하는 것은 불가능합니다.
3. 새로운 방향 제시: 단순한 경험적 공격이 아닌, 암호학이나 차분 프라이버시 (Differential Privacy) 와 같은 형식적 모델 (Formal Framework) 을 도입하여 공격자 능력, 데이터 접근 가정, 방어 메커니즘을 수학적으로 정의할 필요성을 강조했습니다.

5. 의의 및 시사점 (Significance)

• 현실적 경고: 자동화된 PII 제거 도구 (Presidio 등) 는 법적 준수를 위한 도구일 뿐, 형식적인 프라이버시 보장을 제공하지 못합니다. 특히 LLM 의 추론 능력과 결합될 때, 불완전한 PII 제거는 심각한 프라이버시 위험이 될 수 있습니다.
• 연구 방법론의 전환 필요: 현재와 같은 "공격 - 방어" 실험 방식은 데이터 유출 문제로 인해 신뢰성이 떨어집니다. 향후 연구는 **형식적 위협 모델 **(Formal Threat Models)을 정립하고, 데이터 흐름과 정보 소유권을 명확히 정의하는 새로운 프라이버시 이론이 필요함을 주장합니다.
• 실무적 제언: 자동화된 PII 제거 후 반드시 **인간 검토 **(Human Review)를 통해 누락된 PII 를 제거해야 하며, 단순히 PII 를 마스킹하는 것만으로는 충분하지 않음을 시사합니다.

요약

이 논문은 "PII 제거 기술이 정말 안전한가?"라는 질문에 대해, **"현재의 평가 방식은 신뢰할 수 없으며, 신뢰할 수 있는 평가를 위해서는 접근 불가능한 민감 데이터가 필요하다"**는 역설적인 결론을 내립니다. 이는 PII 보호 연구가 현재 직면한 방법론적 한계를 명확히 지적하고, 형식적 이론의 정립을 촉구하는 중요한 위치 논문 (Position Paper) 입니다.