PANOPTICON: A PII-Based Assemblage of Naturalistic Output Tokens for Investigating Privacy Leakage Within LLM Context Window

기술 요약: PANOPTICON

문제 정의
대규모 언어 모델(LLM)이 널리 배포되었음에도 불구하고, 개인정보 보호 연구는 역사적으로 파라미터 기반 프라이버시(학습 데이터의 암기)에 집중해 왔습니다. 그러나 추론 시점의 컨텍스트 윈도우 내에 제공되는 비파라미터 데이터, 즉 개인 식별 정보(PII)와 관련된 상당한 프라이버시 위험이 존재합니다. 이 분야에는 윤리적 제약으로 인해 실제 PII 데이터셋을 공개하기 어렵다는 결정적인 공백이 존재하며, 이는 추론 시점의 정보 유출과 관련된 프라이버시 위험을 정량화하는 것을 어렵게 만듭니다. 기존 벤치마크인 PANORAMA는 파라미터 암기 문제를 다루지만, 공격자가 모델의 출력이나 내부 활성화(activation)로부터 원래의 입력 프롬프트를 재구성하려고 시도하는 '프롬프트 역전 공격(Prompt Inversion Attacks, PIA)'을 연구하는 데 필요한 특정 구조를 갖추고 있지 않습니다.

방법론
저자들은 추론 시점의 PII 처리에 대한 통제된 연구를 용이하게 하기 위해 설계된 합성 데이터셋인 PANOPTICON(PII-based Assemblage of Naturalistic OutPut–Tokens for Investigating Privacy Leakage Within LLM CONtext Window)을 소개합니다. 데이터 생성 파이프라인은 다음 네 단계로 구성됩니다:

1. 데이터 추출: PANORAMA 데이터셋에서 사용자 프로필 및 온라인 콘텐츠를 추출합니다.
2. 시나리오 선택: 7가지 PII 카테고리(전문직, 금융, 건강, 관계, 정부, 소셜 미디어 및 양호한(Benign) 카테고리)와 38개의 특정 시나리오(예: 예산 계획, 관계 조언) 중에서 컨텍스트를 설정합니다.
3. 입력 구성: 프로필 데이터, 선택된 시나리오, PII 후보들을 커스텀 시스템 프롬프트 내에 조직화합니다.
4. 합성 프롬프트 생성: 시스템 프롬프트를 Meta의 Llama-3.1-8B-Instruct 모델에 입력하여 PII 스팬(span)을 포함하는 자연스러운 프롬프트를 생성합니다.

결과물인 데이터셋은 9,674개의 고유한 합성 프로필로부터 파생된 67,718개의 프롬프트로 구성됩니다. 이 데이터셋은 구조화된 메타데이터(ID, 카테고리, 시나리오, 프롬프트, PII 레이블 및 콘텐츠)를 포함하며, 어휘 다양성(Token-Entropy: 9.19 bits)과 의미적 다양성(Sentence-BERT 평균 쌍 코사인 유사도: 0.83)을 통해 현실성을 평가받았습니다. 저자들은 중복률이 5.36%에 불과하다는 점을 언급하며, 데이터셋이 좁은 템플릿으로 붕괴되지 않았음을 나타냈습니다.

주요 기여

1. 벤치마크 데이터셋 생성: PANOPTICON은 프라이빗 코퍼스에 대한 PIA 연구를 위해 특별히 설계된 최초의 벤치마크 데이터셋으로 제시됩니다. 이는 6개 PII 카테고리와 1개 양호한 카테고리에 걸친 67,718개의 프롬프트를 포함하며, 정규 표현식 기반 태깅을 통해 생성된 정답(ground-truth) PII 스팬 레이블을 제공합니다.
2. 데이터셋 특성 규명: 논문은 데이터셋의 어휘 및 의미적 다양성, 중복성 및 구성을 정량적으로 분석하여, 이를 추론 시점 프라이버시 연구를 위한 견고한 벤치마크로 검증합니다.
3. 벤치마크 유용성에 대한 사례 연구: 저자들은 프롬프트 역전 공격(PIA) 위협 모델을 적용한 사례 연구를 통해 데이터셋의 유용성을 입증합니다. 이들은 경량화된 PIA 영감 프로브(probe)를 사용하여 경계 은닉 상태(boundary hidden states)로부터 프롬프트를 복구하는 과정을 평가합니다.

결과
실험적 사례 연구에서 저자들은 자신들의 역전 결과를 Qu 등[23](65B 파라미터 모델과 양호한 Skytrax 데이터를 사용함)의 최신 화이트박스 PIA 결과와 비교했습니다.

• 재구성 충실도(Reconstruction Fidelity): 저자들의 8B 인스트럭션 튜닝 모델에 대한 경량 근사 방식은 이전 연구에서 보고된 0.8838에 비해 현저히 낮은 절대 토큰 정확도(0.0093 ~ 0.0211)를 보였습니다.
• 해석: 저자들은 이러한 성능 저하의 원인을 더 작은 모델 크기, 양호한 도메인에서 프라이버시 관련 도메인으로의 전환, 그리고 전체 제약 최적화(full constrained optimization)의 생략 때문이라고 설명합니다.
• 유용성: 낮은 절대적 충실도에도 불구하고, 프록시는 일관된 PII 인식 복구 측정을 성공적으로 수행했습니다. 이를 통해 PII 스팬이 양호한 컨텍스트와 비교하여 서로 다른 역전 동작을 보이는지 체계적으로 측정할 수 있었으며, 자원 제한적인 환경에서의 PII 복구 가능성에 대한 경험적 하한선을 확립했습니다.

의의 및 주장
본 논문은 PANOPTICON이 프라이버시 유출에 대한 확정적인 해결책이라기보다, 미래의 LLM 프라이버시 연구를 위한 기초적인 도구 역할을 한다고 겸허하게 주장합니다. 주요 의의는 다음과 같습니다:

• 프라이빗 코퍼스에 대한 프롬프트 역전 공격을 연구하기 위한 최초의 표준화된 벤치마크를 제공합니다.
• PII 스팬과 양호한 컨텍스트 간의 제어 가능하고 레이블 인지적인 비교를 가능하게 하여, 일관된 유출 프로브를 운용할 수 있게 합니다.
• 향후 작업에서 다양한 모델 타겟 및 공격자 군에 적용될 수 있는, 추론 시점의 프라이버시 동작을 평가하기 위한 반복 가능한 프로토콜을 제공합니다.

저자들은 정규 표현식 기반 PII 태깅의 불완전성(PII를 과잉 또는 과소 포착할 가능성), 더 큰 모델 사용을 제한하는 계산적 제약, 그리고 실제 PII 사용 분포 데이터의 본질적 부재 등의 한계를 인정합니다. 그럼에도 불구하고, 저자들은 이 데이터셋이 추론 시점의 프라이버시 위험에 대한 경험적 이해를 진전시키기 위해 필요한 인프라를 제공한다고 단언합니다.