PATCH: Mitigating PII Leakage in Language Models with Privacy-Aware Targeted Circuit PatcHing

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 은 학습 데이터에 포함된 개인식별정보 (PII: Personally Identifiable Information) 를 암기하여 추론 단계에서 이를 유출할 수 있습니다.

• 현재의 위협: 적대적 공격자가 블랙박스 접근 권한을 통해 모델에게 프롬프트를 입력하면, 모델이 학습 데이터의 민감한 정보 (이름, 위치, 인종 등) 를 재생성하여 유출할 수 있습니다.
• 기존 방어 기법의 한계:
  • 데이터 전처리 (Scrubbing): 학습 전 PII 를 제거하지만 비용이 많이 들고, 여전히 보조 정보를 통해 추론이 가능할 수 있습니다.
  • 차분 프라이버시 (Differential Privacy, DP): 학습 과정에 노이즈를 추가하여 수학적 보장을 제공하지만, 모델의 유용성 (Utility, 성능) 이 크게 저하되는 단점이 있습니다.
  • 기존 모델 편집 (Model Editing): 특정 뉴런을 제거하는 방식은 PII 유출을 완전히 막지 못하거나, 오히려 다른 유형의 PII 유출을 증가시키는 부작용이 있었습니다.

2. 제안 방법론: PATCH (Methodology)

저자들은 기계적 해석 가능성 (Mechanistic Interpretability) 을 활용하여 PII 유출을 담당하는 구체적인 계산 회로 (Computational Circuits) 를 식별하고 이를 직접 수정하는 PATCH (Privacy-Aware Targeted Circuit PatcHing) 를 제안합니다.

핵심 단계 (Algorithm 1):

1. 회로 발견 (Circuit Discovery):
   • EAP-IG (Edge Attribution Patching with Integrated Gradients) 기법을 사용하여 PII 유출 행동을 일으키는 Transformer 내부의 '회로'를 식별합니다.
   • '깨끗한 (Clean)' 프롬프트와 PII 값을 유사한 다른 값으로 대체한 '오염된 (Corrupt)' 프롬프트 쌍을 생성하여 모델의 반응을 비교합니다.
   • PII 예측에 필수적인 어텐션 헤드 (Attention Heads) 와 엣지 (Edges, 노드 간 연결) 를 중요도 점수로 매핑합니다.
2. 임계값 설정 및 엣지 선택:
   • 각 PII 유형 (이름, 위치, 인종) 에 대해 중요도 점수가 높은 상위 엣지 (예: 상위 95% 또는 99%) 를 선택합니다.
3. 공유 엣지 식별 (Shared Edge Identification):
   • 서로 다른 PII 유형 간의 회로를 개별적으로 처리하는 대신, 모든 PII 유형에서 공통적으로 높은 점수를 받은 공유 엣지 (Shared Edges) 를 교집합으로 찾아냅니다. 이는 PII 유출이 모델 내에서 공통된 경로를 통해 발생한다는 가정에 기반합니다.
4. 회로 패칭 (Circuit Patching):
   • 식별된 공유 엣지의 가중치를 수정하여 유출을 억제합니다.
   • Zero Ablation: 엣지 가중치를 0 으로 설정.
   • Mean Ablation: 엣지 가중치를 평균값으로 대체.

3. 주요 기여 (Key Contributions)

1. 새로운 타겟팅 회로 편집 방법 (PATCH): 기존 방어 기법보다 뛰어난 프라이버시 - 유용성 (Privacy-Utility) 트레이드오프를 제공합니다.
2. PII 유출 회로의 특성 규명: 이름, 위치, 인종 등 다양한 PII 유형을 유출하는 구체적인 회로와 이를 주도하는 어텐션 헤드를 식별 및 분석했습니다. 특히, 서로 다른 PII 유형이 서로 다른 경로를 사용하지만 일부 공유된 핵심 경로를 가진다는 것을 발견했습니다.
3. 광범위한 검증: 다양한 모델 규모 (GPT-2, Llama-3.2, Qwen3 등) 와 PII 유형에 대한 광범위한 제거 실험 (Ablation Study) 을 통해 PATCH 의 견고성을 입증했습니다.

4. 실험 결과 (Results)

실험은 GPT-2 시리즈, Llama-3.2-1B, Qwen3 등 다양한 오픈 가중치 모델에서 수행되었습니다.

• 프라이버시 - 유용성 트레이드오프:
  • PATCH-Baseline: 기존 방어 기법 없이 학습된 모델에 PATCH 를 적용했을 때, PII 유출 Recall 을 65% 까지 감소시켰으며, 모델의 유용성 (Perplexity) 은 거의 유지되었습니다 (예: GPT2-Medium 의 Perplexity 는 9 에서 10 으로만 소폭 증가).
  • PATCH-DP: 기존 DP(차분 프라이버시) 학습 모델에 PATCH 를 결합했을 때, Recall 을 0.01% 수준까지 극도로 낮췄습니다. 이는 기존 DP 만으로는 달성하기 어려운 수준의 프라이버시 보호를 제공하면서도 DP 단독 사용 시보다 유용성 손실을 줄일 수 있음을 시사합니다.
• 기존 기법 대비 우위:
  • DP: 강력한 프라이버시 보장을 제공하지만 유용성 (Perplexity) 이 크게 저하됨 (기저선 대비 1.5~7.9 배 증가).
  • APNEAP (기존 편집 기법): 유용성은 잘 유지하지만 프라이버시 보호 효과는 제한적 (Recall 감소 1~3% 수준).
  • PATCH: 높은 프라이버시 보호 (Recall < 1%) 와 낮은 유용성 손실을 동시에 달성했습니다.
• 회로 분석 결과:
  • 서로 다른 PII 유형 (이름, 위치, 인종) 을 유출하는 회로의 엣지 중첩 (Edge Overlap) 은 낮았으나, 중요한 공유 경로가 존재함을 발견했습니다. 이는 특정 PII 유출만 막으려 할 때 다른 PII 유출이 증가하는 기존 문제의 원인을 설명하며, 공유 경로를 타겟팅하는 PATCH 의 효율성을 뒷받침합니다.

5. 의의 및 결론 (Significance)

• 정밀한 개입: PII 유출이 모델 전체 파라미터에 분산된 것이 아니라, 특정 계산 회로 (Circuits) 에 집중되어 있다는 가설을 실험적으로 입증했습니다.
• 실용적 솔루션: PATCH 는 모델의 핵심 기능 (유용성) 을 해치지 않으면서 PII 유출을 효과적으로 차단하는 새로운 패러다임을 제시합니다.
• 확장성: PATCH 는 기존 DP 기법과 결합하여 수학적 보장이 필요한 고보안 환경에서도 적용 가능하며, 모델 아키텍처에 따라 최적의 설정 (임계값, 편집 전략) 을 조정함으로써 다양한 모델에 적용 가능합니다.

이 연구는 언어 모델의 프라이버리 보호를 위해 '블랙박스' 방식의 노이즈 추가나 데이터 삭제 대신, 모델 내부의 구체적인 메커니즘을 이해하고 표적 편집하는 접근법의 유효성을 강력하게 입증했습니다.