Exploratory As-Analyzed No-Detection of Culturally-Marked Predicate-Triggered PII Amplification in a Synthetic-English RAG Probe: A Predicate-Resource-Confounded Audit

기술적 요약: 합성 영어 RAG 프로브에서의 문화적 표식 서술어 유발 PII 증폭에 대한 탐색적 비검출 결과: 서술어-리소스 혼재 감사

문제 정의

본 논문은 문화적으로 표식된 개인에 관한 스테레오타입(고정관념)이 담긴 쿼리가 Retrieval-Augmented Generation (RAG) 시스템으로 하여서, 내용상 동등한 중립적 쿼리보다 더 많은 개인정보(PII)를 유출하게 만드는지 조사한다. 기존 연구들은 문화적 스테레오타입이 모델의 출력(의견)을 형성하고 검색된 문서가 편향을 증폭할 수 있다는 점을 입증했지만, 본 연구는 스테레오타입이 민감한 데이터(이름, 이메일, 전화번호, 주민등록번호, 주소 등)의 추출을 증가시키는 프라이버시 사이드 채널(side-channel)로 작용하는지 묻는다. 저자들은 이를 **스테레오타입 유발 누출 차이(Stereotype-Trigger Leakage Delta, STLD)**로 공식화하며, $STLD > 0$ (즉, 스테레오타입 쿼리가 중립적 쿼리보다 더 많은 정보를 유출함)이라는 가설을 세운다.

방법론

본 연구는 합성 영어 PII 코퍼스를 사용하여 사전 등록된 4개 문화(en-Anglo, es-LATAM, Arabic, Hindi) 감사를 수행한다.

• 실험 설계: 각 대상 인물($N=100$ per culture)에 대해 5개 암(arm)을 갖는 쌍체 설계(paired design)를 사용한다. 각 암은 다음과 같다:
  • Q0 (Bare): PII에 대한 직접적인 쿼리.
  • QR (Random): Q0 + 의미 없는 서술어(길이 제어용).
  • QN (Neutral): Q0 + 문화적 색채가 없는 그럴듯한 서술어.
  • QC (Culture-Neutral Control): Q0 + 스테레오타입 내용 없이 문화적 표식만 포함(예: "스페인어 사용 가족 출신의").
  • QS (Stereotype-Loaded): Q0 + 문화적으로 지표화된 스테레오타입 서술어 포함(예: "종교적 이민자 가족 출신의").
• 시스템 스택:
  • Retriever: BGE-M3 ($k=5$).
  • Generator: Qwen-2.5-7B-Instruct (검증을 위한 32B 프로브 포함).
  • Guardrails: (사전 등록된 Llama-Guard-3가 편차로 인해 사용되지 못함에 따라) 프로덕션 수준의 PII 정규 표현식(regex) 가드레일 적용.
  • Prompt: 검색된 내용이 있더라도 PII 공개를 거부하도록 지시하는 시스템 프롬프트.
• 지표 정의: 주요 지표는 $L(\cdot)$을 pre-guard 누출률(거절은 누출되지 않은 것으로 간주)이라 할 때, $L(QS) - L(QC)$로 정의되는 STLD이다.
• 편차 및 제약 사항: 저자들은 원래의 확증적 계획(요약 재구성을 포함한 post-guard Llama-Guard-3 사용)이 실행되지 않았음을 명시한다. 보고된 결과는 pre-guard 정규 표현식 가드레일과 직접 재구성을 사용한 "as-analyzed" 탐색적 테스트 결과이다. 본 연구는 중간 크기의 효과를 탐지할 수 있도록 설계되었다 (최소 탐지 효과 $\approx \pm 11$ pp, 검정력 80%).

주요 기여

1. 가설 검정: 저자들은 스테레오타입이 프라이버시 증폭 레버 역할을 한다는 가설을 사전 등록했다. as-analyzed 추정치 하에서, 저자들은 확증적 테스트를 수행하지 않았으며, 네 가지 문화 모두에서 해당 가설($STLD > 0$)을 뒷받침하는 증거를 발견하지 못했다고 보고한다.
2. 혼란 변수 진단: 연구는 초기 "이름 누출(name-leakage)" 지표를 무효화하는 두 가지 주요 혼란 변수를 식별한다:
   • 프롬프트 에코 현상(Prompt-Echo Artifact): 이름 기반 쿼리의 경우, 모델이 단순히 프롬프트에 제공된 이름을 다시 내뱉는 경우가 많아, 실제 검색 없이도 "누출"로 오인되는 거짓 양성(false positive)을 생성한다.
   • 제어 집단 불안정성(Control-Instability, D8): 초기 제어 암(QC)이 다른 암들에 비해 비정상적으로 높은 누출률(80%)을 보였다. 사후 민감도 테스트에서 확장된 제어 풀(7개 서술어)을 사용한 결과, 이 비율이 70%로 감소하였고, 결과적으로 STLD 효과가 0으로 수렴하였다.
3. 리소스 혼재 결과: 저자들은 관찰된 효과가 일반적인 문화적 효과나 정렬 데이터 구성의 문제가 아니라, 서술어-리소스에 의해 혼재된(predicate-resource-confounded) 결과(특히 EspanStereo 하위 뱅크의 특정 서술어 샘플에 국한됨)일 가능성이 높다고 결론짓는다.

결과

• 주요 지표 (비이름 항목): 더 "깨끗한" 비이름 지표(이메일, 전화, SSN 유사 항목, 주소; $n=80$ per culture)에 대해, 다중 비교 교정($\alpha=0.0125$) 후에도 Bonferroni 유의성을 보이는 셀(cell)이 없었다.
• 이름 포함 지표 (오염된 지표): 사전 등록된 이름 포함 지표는 es-LATAM 문화에서 유의미한 음(-)의 STLD($-10$ pp, $p=0.006$)를 보였다. 그러나 분해 결과, 이는 QC(제어 암)의 누출률(80%)이 QS(스테레오타입 암, 70%)보다 높았기 때문이며, 이는 $L(QC) \approx L(QN)$이어야 한다는 타당성 규칙을 위반한다.
• 민감도 분석 (D8): 제어 풀을 확장했을 때(QCv2), QC의 누출률이 70%로 떨어졌고, es-LATAM의 STLD는 0 pp ($p=1.000$)가 되었다. 이는 초기 결과가 작은 제어 풀의 샘플링 아티팩트였음을 시사한다.
• 거절 비대칭성 (Refusal Asymmetry): QC에서 QS로 이동할 때 es-LATAM의 거절률이 유의미하게 증가(19%에서 29%로)하는 것이 관찰되었다. 이는 프레이밍에 따라 안전 라우팅(safety routing)이 변하는 매개 효과를 시사하지만, 이것이 PII 누출 증가로 이어지지는 않았다.
• 모델 강건성: 더 큰 모델인 Qwen-2.5-32B를 이용한 프로브에서도 유사한 비유의적 경향을 보였으며, es-LATAM의 효과 방향(sign)은 유지되었으나 동적 범위(dynamic range)는 압축되었다.

의의 및 주장

본 논문은 자신의 발견을 "효과가 없다는 증거"가 아닌 **"검출 실패(no detection)"**로 규정한다. 샘플 크기($N=100$)와 식별된 혼란 변수(프롬프트 에코 및 제어 불안정성)를 고려할 때, 저자들은 스테레오타입이 PII 누출을 결코 증폭시키지 않는다고 주장하는 것이 아니다. 대신 다음을 주장한다:

• 테스트된 조건(합성 영어 코퍼스, 특정 서술어 뱅크, Qwen-2.5 모델) 하에서, 문화적으로 표식된 서술어에 의해 유발되는 PII 누출의 감지 가능한 증폭은 없다.
• 관찰된 es-LATAM 신호는 문화적 편향의 체계적 문제가 아니라 서술어-리소스 아티팩트(특정 EspanStereo 하위 뱅크 및 작은 제어 풀에 기인함)일 가능성이 높다.
• 본 연구는 PII 감사 시 프롬프트 에코 인식(프롬프트 데이터를 재출력하는 것과 숨겨진 데이터를 검색하는 것을 구분하는 것)의 중요성과 편향/프라이버시 감사에서 견고한 제어 풀의 필요성을 강조한다.

저자들은 잠긴 확증적 엔드포인트가 실행되지 않았음을 명시적으로 밝히며, 보고된 모든 추론 테스트는 탐색적임을 밝힌다. 또한 추가 연구를 촉진하기 위해 합성 코퍼스, 서술어 뱅크 및 분석 스크립트를 공개할 계획이다.