기술 요약: PIIGuard

문제 정의

검색 기능 (MCP, 도구 호출 또는 웹 인터페이스를 통해) 을 갖춘 현대의 대규모 언어 모델 (LLM) 은 개인 식별 정보 (PII) 를 수집하기 위한 새로운 공격 벡터를 창출합니다. 공격자는 검색이 가능한 어시스턴트에 연락처를 찾는 쿼리를 제출하면, 해당 어시스턴트가 대상 웹페이지의 원시 HTML 을 가져와 이름, 전화번호, 이메일, 주소와 같은 PII 를 응답에 그대로 재현할 수 있습니다.

기존 방어책은 주로 모델, 서비스 또는 에이전트 계층 (예: 런타임 필터, 마스킹된 프롬프트) 에서 배포되며, 일반 웹페이지 소유자가 갖지 못하는 특권적 접근이 필요합니다. 존재하는 페이지 수준의 방어책 (예: 문자 치환 또는 기본 간접 프롬프트 인젝션) 은 공격자가 가져온 HTML 을 대상 모델이 처리하기 전에 전처리하여 의심스러운 콘텐츠를 제거하는 보조 LLM '세정기 (sanitizer)'를 사용하는 정교한 공격 앞에서는 종종 실패합니다. 본 논문은 직접 HTML 접근과 적대적 세정 모두에 견딜 수 있는 웹페이지 수준의 방어책의 공백을 다룹니다.

방법론: PIIGuard

PIIGuard 는 웹페이지의 DOM 에 최적화된 숨겨진 HTML 조각 (간접 프롬프트 인젝션, IPI) 을 삽입하는 웹페이지 수준의 방어 메커니즘입니다. 이러한 조각은 모델이 연락처 PII 를 그대로 또는 재구성 가능하게 공개하는 것을 방지하도록 설계되었습니다. 이 시스템은 5 단계 진화 파이프라인을 통해 작동합니다:

1. 시드 (Seed) 선택: 다양한 수작업으로 작성된 방어 지시문과 허용된 삽입 위치 (예: after, footer, meta, contact_block) 를 짝지어 후보 풀을 초기화합니다.
2. 규칙 기반 점수 매기기: 추출된 필드를 기준 진실 (ground truth) 과 비교하는 빠른 규칙 기반 누출 지표 ($\ell_R$) 를 사용하여 후보를 평가합니다. 정교한 공격 환경에서는 이 점수가 원시 및 세정된 HTML 경로 모두에서 최악의 누출을 집계합니다.
3. 복합 유틸리티 순위 매기기: 후보는 평균 누출뿐만 아니라 다음을 우선시하는 복합 유틸리티 함수 ($U$) 에 따라 순위가 매겨집니다:
   • 완전한 억제 (모든 필드에서 누출 제로).
   • 낮은 평균 누출.
   • 견고성 (최소 누출을 보이는 페이지의 비율).
4. 진화적 변이: 대상 LLM 이 변이체 역할을 하여 지시문 텍스트를 다시 작성하거나, 슬롯을 대체하거나, 성능이 우수한 부모를 혼합하여 새로운 후보를 생성합니다. 이 루프는 규칙 기반 누출을 최소화하기 위해 반복됩니다.
5. 판사 기반 복구 가능성 평가: 최종 생존자는 '판사 (Judge)' LLM 을 사용하여 엄격한 평가를 받습니다. 이 단계는 의미적 복구 가능성을 테스트합니다: PII 가 명시적으로 존재하지 않더라도, 판사가 모델의 응답에서 원래 식별자를 재구성할 수 있는가? 규칙 기반 및 판사 기반 기준을 모두 통과한 조각만 선택됩니다.

이 프레임워크는 두 가지 다른 공격 환경을 지원합니다:

• 기본 공격: 모델이 원시 HTML 을 직접 가져옵니다.
• 정교한 공격: 공격자 측 세정기 LLM 이 대상 모델이 읽기 전에 의심스러운 인젝션을 제거하기 위해 HTML 을 전처리합니다. PIIGuard 는 이러한 세정을 견딜 수 있도록 조각을 공동 최적화합니다.

주요 기여

1. 위협 모델 확장: 본 논문은 공격자가 가져온 HTML 을 정제하기 위해 LLM 세정기를 사용하는 정교한 공격 시나리오를 체계적으로 특징화한 첫 번째 연구로, 이는 이전에 페이지 수준 방어책에서 다루지 않았던 위협 모델입니다.
2. PIIGuard 프레임워크: 최적화된 숨겨진 지시문을 생성하기 위해 5 단계 진화 파이프라인 (시드 선택, 규칙 기반 점수 매기기, 복합 순위 매기기, LLM 변이, 판사 기반 재평가) 을 활용하는 새로운 웹페이지 수준 방어책.
3. 2 단계 평가 프로토콜: 빠른 규칙 기반 필드 매칭과 느리지만 의미 있는 판사 기반 복구 가능성 평가를 결합하여 방어책이 직접 노출과 재구성을 모두 방지하도록 보장하는 엄격한 검증 방법.
4. 스트레스 테스트된 검증: 세 가지 현실적인 조건에 대한 평가:
   • 직접 HTML: 모델에 입력되는 원시 HTML.
   • URL 모드: 표준 검색 인터페이스를 통해 액세스하는 정적 사이트를 통한 실제 배포.
   • 세정기 모드: 공격자 측 LLM 필터에 의한 전처리.

실험 결과

이 시스템은 GPT-5.4-nano, Claude-haiku-4.5, DeepSeek-chat이라는 세 가지 대상 모델에서 평가되었습니다.

• 방어 성공: 직접 HTML 접근 하에서 PIIGuard 는 모든 모델과 삽입 위치에서 규칙 기반 및 판사 기반 지표 모두에 대해 최소 97.0% (종종 100.0%) 의 방어 성공률 (DSR) 을 달성했습니다.
• 건전성 유틸리티: 이 방어책은 모델이 건전한 질문 (예: NewsQA 작업) 에 답하는 능력을 저하시키지 않았으며, 유틸리티 지표 (MAF1, BCR) 는 방어책이 없는 기준선과 비교 가능한 수준으로 유지되었습니다.
• 세정기 견고성: 정교한 공격 환경에서 견고성은 삽입 위치에 따라 다양했습니다. footer_notice 슬롯이 가장 안정적이어서 다양한 세정기 프롬프트에 대해 최대 86.00% 의 DSR 을 달성한 반면, contact_block 과 bio_tail 은 더 낮은 회복력을 보여주었습니다.
• URL 배포: 검색 도구를 통해 액세스되는 라이브 정적 사이트로 배포되었을 때, footer 위치의 성능은 높게 유지되었으나 meta 위치는 크게 저하되어 검색 도구 체인이 특정 인젝션 사이트를 구조적으로 제거할 수 있음을 시사합니다.
• 모델 전이: Claude-haiku-4.5(지시 준수도가 매우 높은 모델) 에 대해 최적화된 조각은 다른 모델들에도 잘 일반화되어, 더 엄격한 최적화 제약 조건이 더 견고한 방어책을 산출함을 시사합니다.

중요성 및 주장

본 논문은 웹페이지 소유자가 모델 제공업체의 협력 없이 경량화된 최적화된 HTML 조각을 배포함으로써 PII 누출을 효과적으로 완화할 수 있다고 주장합니다.

• 방어 패러다임의 전환: PIIGuard 는 단순한 난독화 (의미적 재구성 앞에서는 실패함) 를 넘어 간접 프롬프트 인젝션을 통한 모델 행동의 능동적 조종으로 페이지 측 방어책이 이동할 수 있음을 보여줍니다.
• 모델 역량의 동맹: 더 강력한 모델이 방어하기 어렵다는 직관과 반대로, 결과는 더 강력한 모델 (예: GPT-5.4-mini 대 GPT-5.4-nano) 이 주입된 지시문을 더 신뢰성 있게 따르므로 PIIGuard 가 배포될 때 더 강력한 방어자가 된다는 것을 시사합니다.
• 한계 및 향후 작업: 저자들은 세정기 생존 가능성이 현재는 보편적 보장이라기보다 '긍정적 존재 주장'이라고 인정합니다. 세정기 프롬프트의 공간이 무한히 열려 있기 때문입니다. 또한 현재 평가는 단일 모델 판사와 합성 정적 사이트에 의존하므로, 향후 작업은 다중 판사 앙상블과 현장 배포를 탐구해야 한다고 지적합니다.

전반적으로 PIIGuard 는 페이지 측 조각을 시스템 수준 보호 장치를 보완하는 실용적인 1 차 방어 계층으로 위치시키며, 검색 기능이 있는 LLM 시대에 콘텐츠 소유자에게 연락처 정보를 보호하기 위한 일방적 메커니즘을 제공합니다.