기술 요약: SurrogateShield

문제 정의

대규모 언어 모델(LLM) 어시스턴트는 사용자의 질의를 제3자 API 엔드포인트로 있는 그대로 전송하며, 이 과정에서 개인식별정보(PII)가 데이터 유출, 소환장 발부 또는 정책 변경의 위험에 노로출됩니다. 현재의 주요 완화책인 플레이스홀더 레드액션(예: "John Doe"를 [PERSON]으로 교체)은 구조적 정합성을 파괴함으로써 프라이버시는 보존하지만 의미론적 일관성을 훼ست합니다. 이러한 구조적 저하는 LLM이 "구조적으로 저하된" 질의를 처리하게 만들어, 결과적으로 다운스트림 작업에서 측정 가능한 유틸리티 손실과 응답 품질 저하를 초래합니다. 핵심 과제는 고품질 LLM 상호작용에 필요한 의미론적 유틸리티를 희생하지 않으면서도 실제 PII가 네트워크 경계를 넘지 않도록 방지하는 것입니다.

방법론: SurrogateShield

SurrogateShield는 LLM 질의를 가로채서 탐지된 PII를 로컬에서 생성된 유형 일치형 대리값(surrogate values)으로 교체하고, 사용자에게 표시되기 전에 원래의 값을 투명하게 복원하는 클라이언트 측 프록시입니다. 이 시스템은 세 가지 설계 원칙에 따라 작동합니다:

1. PII가 API 경계를 넘지 않음: 차단은 HTTP 요청이 구성되기 전 로컬 전송 계층에서 수행됩니다.
2. 대리값이 유틸리티를 보존함: 가짜 값(예: 이름, SSN)은 현실적이고 유형 일치적이며 통계적으로 원본과 연결되지 않아, 문장 구조와 문법적 일치성을 유지합니다.
3. 투명한 복원: ResolvePass라는 3단계 과정을 통해 LLM 응답 내의 원래 값을 사용자에게 보여주기 전 복원합니다.

시스템 아키텍처

파이프라인은 네 가지 주요 구성 요소로 이루어집니다:

1. SentinelLayer (3단계 탐지 캐스케이드)
탐지는 중복 처리를 방지하기 위해 각 단계가 주장된 문자 스팬(span)을 마스킹하는 순차적 캐스케이드로 실행됩니다:

• PatternScan: 16가지 구조화된 PII 유형(예: SSN, 이메일, 암호화폐 주소)을 탐지하기 위해 체크섬 검증기(Luhn 알고리즘은 신용카드용, ABA는 라우팅 번호용)를 포함한 우선순위 지정 정규 표현식을 적용합니다.
• EntityTrace: spaCy(en_core_web_lg)를 활용하여 명명된 개체 인식(NER)을 수행합니다. 이는 개체를 "확정"(점수 ≥0.85) 및 "경계선"(0.60–0.85)으로 분류합니다. 또한 위치 전치사가 있는 경우 조직을 지정학적 엔티티로 격상하는 재분류 로직과 일반적인 오탐(false positive)을 억제하기 위한 블랙리스트를 포함합니다.
• ContextGuard: 경계선 엔티티를 검증하고 누락된 엔티티를 탐지하기 위해 로컬에서 호스팅되는 DistilBERT NER 모델(dslim/distilbert-NER)을 실행합니다. 이 단계는 초기 모델 다운로드 후 완전히 오프라인으로 실행됩니다.

2. 서비스 쿼리 지능 및 준식별자(Quasi-Identifier) 위험

• ServiceQueryDetector: 위치가 주제인 질의(예: "X 근처의 레스토랑")와 위치가 사용자를 식별하는 질의를 구분합니다. 서비스 질의의 경우, 유틸리티 유지를 위해 전체 교체 대신 비례적 익명화(예: 집 번호를 ±2–8만큼 이동)를 적용합니다.
• 준식별자 위험 탐지기: 스위니(Sweeney)의 k-익명성 프레임워크를 기반으로, 개별 필드가 전통적인 PII가 아니더라도 통계적으로 사용자를 재식별할 수 있는 필드 조합(예: 우편번호 + 생년월일 + 성별)을 탐지합니다.

3. MimicGen (대리값 생성)
faker 라이 library와 커스텀 로직을 사용하여 유형 일치형 대리값을 생성합니다. 이는 세션 내 충돌 저항성을 보장하며 형식(예: 신용카드를 위한 유효한 Luhn 체크섬, 비트코인 주소를 위한 Base58 인코딩)을 검증합니다.

4. ShadowMap 및 ResolvePass

• ShadowMap: 대리값과 원본을 매핑하는 세션별 인메모리 딕셔너리로, AES-256-GCM으로 암호화된 바이너리 파일로 저장됩니다. 키는 장치 수준의 비밀값으로부터 HKDF-SHA256을 통해 파생됩니다.
• Dual History: 시스템은 두 가지 메시지 기록을 유지합니다: api_messages(API로 전송되는 대리값만 포함)와 messages(사용자에게 보여지는 복원된 실제 값 포함)입니다. 이는 다회차 문맥(multi-turn context)에서 PII가 축적되는 것을 방지합니다.
• ResolvePass: 세 단계의 패스를 통해 LLM 응답의 원본을 복원합니다: 정확한 일치(가장 긴 것 우선), 구성 요소 일치(부분적인 이름 사용 시), 그리고 퍼지 매칭(rapidfuzz 사용).

주요 기여

1. SurrogateShield 시스템: 암호학적으로 보호된 로컬 매핑과 투명한 응답 재구성을 구현한 최초의 엔드 투 엔드 클라이언트 측 프록시입니다.
2. 탐지 캐스케이드: 정규식, spaCy NER, 로컬 DistilBERT NER을 결려 중복 제거 및 주제별 필터링을 위한 포스트 프로세싱 스위트를 결합한 새로운 3단계 파이프라인입니다.
3. 경험적 유틸리티 검증: 대리값 치환이 플레이스홀더 레드액션보다 의미론적 유틸리티를 크게 향상시킨다는 것을 BERTScore를 통해 입증했습니다.
4. 적대적 강건성: 대리값으로 치환된 메시지가 플레이스홀더 토큰은 추론을 위한 슬롯 위치를 노출하는 것과 달리, LLM 기반 적대적 복구에 저항한다는 경험적 증거를 제시합니다.
5. 절제 분석(Ablation Analysis): 각 탐지 단계의 한계적 F1 기여도를 정량화하여 PatternScan(구조화된 PII), EntityTrace(명명된 엔티티), ContextGuard(경계선 위치)의 구체적인 역할을 식별했습니다.

실험 결과

1,124개의 주석 처리된 질의(합성되었으나 구조적으로 현실적인) 코퍼스를 대상으로 평가하였습니다:

• 탐지 품질: 전체 캐스케이드가 98.87%의 전체 F1 점수를 달성했습니다. SurrogateShield는 Microsoft Presonic과 모든 11개 비교 가능한 엔티티 유형에서 대등하거나 능가하는 성능을 보였으며, 특히 미국 운전면허증(+50.00 pp F1) 및 암호화폐 주소(+45.45 pp F1)와 같은 구조화된 식별자에서 상당한 이득을 얻었습니다.
• 의미론적 유틸리티: SurrogateShield는 **94.85%**의 의미론적 유틸리티(BERTScore F1)를 보존하여, 플레이스홀더 레드액션의 **81.59%**와 비교해 13.26 퍼센트 포인트의 개선을 보였습니다 ($p < 0.001$).
• 프라이버시 보장:
  • PII 유출률: 0.00% (1,124개 질의 코퍼스에서 실제 PII가 API에 도달하지 않음).
  • 복원 유출률: 0.00% (최종 디스플레이에 복원되지 않은 대리값이 남지 않음).
  • 적대적 복구: 프롬프트된 LLM 적대자(Claude Haiku)를 대상으로 한 100개 질의 시험에서, 대리값 치환 메시지의 복구율은 **0.00%**였으며, 플레이스홀더 레드액션 메시지는 **1.53%**였습니다.
• 성능: 총 로컬 처리 오버헤드는 질의당 25.89 ms였으며(spaCy NER이 24.60 ms로 지배적), 이는 일반적인 LLM API 레이턴시(600–2,000 ms)에 비해 무시할 수 있는 수준입니다.

의의 및 주장

본 논문은 LLM 상호작용에서 프라이버시와 유틸리티 사이의 트레이드오프가 근본적인 것이 아니라고 주장합니다. SurrogateShield는 프라이버시를 위해 실제 PII 값이 없는 것이 아니라, PII 형태의 구조가 없는 것이 필요함을 입증합니다.

유형 일치형 대리값으로 실제 값을 교체함으로써, 시스템은 containment 제약 조건(실제 PII가 장치를 떠나지 않음)을 충족하는 동시에 고품질 LLM 응답에 필요한 구조적 및 의미론적 무결성을 보존합니다. 저자들은 이것이 이 설계 공간이 실행 가능하다는 것을 경험적으로 검증한 최초의 시스템이라고 주장하며, 최소한의 레이턴시 오버헤드로 작동하면서도 기존의 플레이스홀더 레드액션 방식보다 높은 유틸리티와 더 강력한 적대적 저항성을 달성했음을 보여줍니다. 본 연구는 의미론적 저하가 프라이버시 보존 LLM 상호작용의 필수적인 비용이라는 가설에 도전합니다.