CAMP: Cumulative Agentic Masking and Pruning for Privacy Protection in Multi-Turn LLM Conversations

1. 문제 정의 (Problem Definition)

배경:
대규모 언어 모델 (LLM) 이 에이전트 (agentic) 환경에서 다중 턴 (multi-turn) 대화 시스템으로 널리 배포되면서, 기존 보호 메커니즘이 해결하지 못하는 새로운 프라이버시 취약점이 발생하고 있습니다.

핵심 문제: 누적 PII 노출 (Cumulative PII Exposure, CPE)

• 기존 접근법의 한계: 현재 PII(개인식별정보) 마스킹 도구 (예: Microsoft Presidio) 는 '단일 턴 (per-turn)' 기반으로 작동합니다. 각 메시지를 독립적으로 스캔하여 민감한 정보를 마스킹하지만, 이전 대화 턴의 상태를 기억하지 않습니다 (Stateless).
• 누적 위험: 사용자는 여러 턴에 걸쳐 이름, 직장, 위치, 의료 기록 등을 분리하여 말할 수 있습니다. 개별 메시지는 PII 마스킹을 트리거하지 않을 수 있지만, 전체 대화 기록이 LLM 에 전달될 때 이러한 정보 조각들이 결합되면 사용자를 재식별 (Re-identification) 할 수 있는 완전한 프로필이 완성됩니다.
• 모자이크 효과 (Mosaic Effect): 개별적으로는 무해한 정보들이 모여 민감한 프로필을 형성하는 현상이 다중 턴 대화에서 심화됩니다.

2. 제안 방법론: CAMP 프레임워크

저자는 CAMP(Cumulative Agentic Masking and Pruning) 라는 크로스 턴 (cross-turn) 프라이버시 보호 프레임워크를 제안합니다. 이는 사용자와 외부 LLM 사이에 위치한 미들웨어 레이어로 작동하며, 다음과 같은 5 가지 핵심 구성 요소로 이루어집니다.

1. 턴별 PII 추출기 (Per-Turn PII Extractor):

   • 각 사용자 메시지를 수신하여 패턴 기반 규칙과 NER(명명 개체 인식) 를 사용하여 PII 엔티티를 식별합니다.
   • 모든 처리는 로컬에서 수행됩니다.

2. 세션 레벨 레지스트리 (Session-Level Registry):

   • 기존 시스템과 달리, 대화 내내 감지된 모든 PII 엔티티의 상태를 유지하는 상태 저장 (Stateful) 레지스트리를 구축합니다.
   • 엔티티 유형, 원본 텍스트, 발견된 턴 인덱스를 저장합니다.

3. 공존 그래프 (Co-occurrence Graph) 및 CPE 점수 계산:

   • 공존 그래프: 세션 내에서 함께 등장한 PII 엔티티 유형 간의 관계를 모델링합니다. 노드는 엔티티 유형을, 에지는 세션 내 공존을 나타냅니다.
   • CPE 점수 (Cumulative PII Exposure Score): 개별 엔티티 가중치와 그래프 연결성 (연결된 노드 수) 을 기반으로 계산됩니다.
     • 공식: $CPE(t) = \sum w(v) \cdot (1 + \alpha \cdot deg(v))$
     • 엔티티가 단독으로 존재할 때보다 다른 엔티티와 결합되었을 때 위험도가 기하급수적으로 증가함을 반영합니다.

4. 소급적 가명화 (Retroactive Pseudonymization):

   • CPE 점수가 임계값 ($\tau$) 을 초과하면, 과거의 전체 대화 기록을 다시 작성합니다.
   • 실제 PII 값을 일관된 합성 데이터 (예: Faker 라이브러리 사용) 로 대체하여 LLM 에 전달합니다. 이 매핑 테이블은 로컬에만 보관되고 외부 모델에는 전송되지 않습니다.

5. 마스킹 해제 레이어 (De-masking Layer):

   • LLM 이 응답을 반환하면, 합성 데이터를 원래의 실제 식별자로 다시 변환하여 사용자에게 보여줍니다.
   • 이를 통해 사용자는 자연스러운 대화를 경험하지만, 외부 LLM 은 실제 PII 를 전혀 처리하지 않게 됩니다.

하드 블록 규칙: SSN, 신용카드 번호 등 특정 민감 정보는 임계값과 무관하게 즉시 차단됩니다.

3. 주요 기여 (Key Contributions)

• CPE 의 공식적 정의: 다중 턴 LLM 대화에서의 세션 레벨 프라이버시 위험 지표인 '누적 PII 노출 (CPE)'을 최초로 정의하고 수식화했습니다.
• 결합 위험 모델링: 개별 엔티티의 민감도가 아닌, 엔티티 간의 공존 (Co-presence) 으로 인한 재식별 위험을 포착하는 공존 그래프 모델을 도입했습니다.
• 소급적 개입 메커니즘: 기존 시스템이 갖지 못한 기능으로, 위험 임계값 도달 시 과거 대화 기록을 다시 작성 (Rewrite) 하여 LLM 에 전달하는 CAMP 프레임워크를 제시했습니다.
• 프라이버시와 유용성 (Utility) 의 동시 확보: 로컬에서 가명화하고 응답을 복원하는 메커니즘을 통해, 외부 모델은 PII 를 처리하지 않으면서도 사용자에게는 완전한 대화 유용성을 유지합니다.

4. 실험 결과 (Results)

실험 설정:

• 의료, 채용, 금융, 일반 대화 등 4 가지 도메인의 합성 다중 턴 시나리오를 사용했습니다.
• 기존 '단일 터' 기반의 Presidio 와 CAMP 를 비교했습니다.
• 임계값 ($\tau$) 을 1.5, 2.0, 2.5 로 설정하여 민감도를 테스트했습니다.

주요 결과:

• PII 노출 제거: Presidio 기준은 모든 시나리오에서 3~6 개의 PII 엔티티 유형을 외부 모델에 노출시켰으나, CAMP 는 모든 시나리오에서 실제 PII 노출을 0 으로 줄였습니다.
• 개입 시점: CAMP 는 CPE 점수가 임계값을 초과하는 시점 (예: 금융 시나리오에서는 2 턴, 의료 시나리오에서는 4 턴) 에 자동으로 개입하여 가명화를 수행했습니다.
• 대화 유용성: 가명화된 데이터를 기반으로 생성된 LLM 응답을 원래 식별자로 복원한 결과, 사용자에게 제공된 응답은 자연스럽고 일관성이 유지되었습니다.
• 임계값 민감도: 임계값이 낮을수록 더 일찍 개입하여 프라이버시를 강화하지만, 더 많은 대화 맥락이 가명화됩니다. 도메인별 특성에 따라 임계값을 조정할 수 있음을 보였습니다.

5. 의의 및 결론 (Significance)

• 아키텍처적 혁신: 기존 PII 보호가 '메시지 단위'에 국한되었다면, CAMP 는 '세션 단위'의 위험을 인식하고 대응하는 새로운 패러다임을 제시합니다.
• 실용적 적용: 에이전트 기반 LLM 시스템이 실제 환경 (의료, 금융 등) 에 배포될 때 발생할 수 있는 점진적 정보 유출 문제를 해결할 수 있는 실용적인 솔루션을 제공합니다.
• 규제 준수: GDPR 의 '데이터 최소화 (Data Minimization)' 및 '프라이버시 바이 디자인 (Privacy by Design)' 원칙을 기술적으로 구현하는 데 기여합니다.
• 향후 연구 방향: 암시적 PII 감지 (LLM 기반 추론), 다중 에이전트 환경으로의 확장, 차분 프라이버시 (Differential Privacy) 통합 등의 가능성을 제시했습니다.

결론적으로, CAMP 는 다중 턴 대화에서 발생하는 '누적된 정보의 재식별 위험'을 효과적으로 차단하면서도 대화의 자연스러움을 해치지 않는 최초의 체계적인 프레임워크입니다.