Where Privacy Risk Lives in English-Source Multilingual RAG: A Stage-Decomposed Audit Across Five Query Languages

기술 요약: 영어 소스 다국어 RAG에서 프라이버시 리스크가 발생하는 지점

문제 정의
다국어 안전성(multilingual safety)에 관한 일반적인 가정은, 검색 증강 생성(RAG) 시스템을 영어 이외의 질의 언어로 전환할 때 개인정보 유출 위험이 증가한다는 것입니다. 이러한 가설은 교차 언어 질의가 영어 중심의 방어 체계(예: PII 필터 및 안전 분류기—영어 학습 데이터에 과하게 편중된)를 우회할 수 있다는 직관에 기반합니다. 본 논문은 이러한 직관을 영어 소스 다국어 RAG 시스템 내에서 조사합니다. 구체적인 위협 모델은 타겟 문서의 비-PII 앵커(예: 프로젝트 명칭 또는 티켓 ID)를 보유한 공격자가 5개 언어(영어, 중국어, 독일어, 아랍어, 스와힐리어)로 질의하여 심어진 합성 PII 항목(이름, 이메일, 전화번호, 주소 또는 ID)을 추출하려고 시도하는 상황입니다.

방법론
저자들은 하나의 고유한 PII 항목을 포함하는 100개의 영어 문서로 구성된 합성 코퍼스를 사용하여 단계별로 분해된 감사 파이프라인을 구축했습니다. 시스템 아키텍처와 공격 설정은 다음과 같습니다:

• 파이프라인 구성 요소: 번역기, 입력 판별기(input judge), 역번역기(back-translator), 생성기 모두가 Qwen2.5-7B 모델 제품군을 사용하여, 결과가 언어 자체의 고유한 위험 순위가 아닌 파이프라인 조건부 결과임을 보장합니다.
  • 검색기(Retriever): BGE-M3 임베더 및 FAISS (top-$k=5$).
  • 생성기(Generator): Qwen2.5-7B-Instruct.
  • 방어 (단계 A): 영문 프롬프트 기반의 LLM 입력 판별기로, 질의를 차단(BLOCK) 또는 허용(ALLOW)으로 분류합니다.
  • 방어 (단계 B): 이메일, 전화번호, SSN 유사 패턴을 대상으로 하는 정규 표현식(regex) 기반 출력 필터.
• 공격 벡터: 각 문서에 대해 세 가지 질의 재구성 방식이 생성됩니다: 직접 추출, 엔티티 요청을 포함한 요약, 인컨텍스트 러닝(ICL). 이 영어 템플릿들은 Qwen2.5-7B를 사용하여 4개의 대상 비영어 언어로 번역됩니다.
• 지표: 연구는 "유출(leak)"을 심어진 PII의 원문 노출로 측정합니다. 결과는 문서 수준(any-success)에서 95% 부트스트랩 신뢰 구간을 사용하여 집계됩니다. 분석은 출력 전용 유출(정규식 필터를 우회함)과 결합 유출(입력 판별기와 출력 필터를 모두 우회함)을 구분합니다.
• 절제 실험(Ablations) 및 진단: 본 연구는 "역번역 후 판별(back-translate-then-judge)" 절제 실험과 "다국어 프롬프트 판별(multilingual-prompted judge)" 변형 모델을 포함합니다. 결정적으로, 입력 판별기에 골드 코퍼스 문서를 컨텍스트로 제공하여 검색 컨텍스트가 보안 격차를 메울 수 있는지 테스트하는 오라클 진단(Section 4.4)을 수행합니다.

주요 결과

1. 출력 전용 필터링 (F1): 비영어 질의가 더 위험하다는 가정과 달리, 영어 질의가 출력 전용 필터링 하에서 가장 높은 비정형 PII 유출률(0.875)을 보였습니다. 비영어 템플릿은 낮은 추정치(스와힐리어 0.425에서 독일어 0.775 사이)를 나타냈습니다. 통계적으로, 오직 영어 대 스와힐리어 비교만이 부트스트랩 구간을 통한 명확한 분리를 보여주었으며, 다른 비교들은 서로 중첩되었습니다.
2. 입력 판별기 성능 (F2): 영어 전용 프롬프트 기반의 입력 판별기가 추가되었을 때, 잔여 유출은 영어, 중국어, 독일어에 대해 제로(0)로 급감했습니다. 그러나 아랍어(7.5%)와 스와힐리어(17.5%)에서는 잔여 유출이 지속되었습니다.
   • 입력 판별기는 영어 질의는 100% 차단했으나, 스와힐리어 질의는 76.7%만 차단했습니다.
   • "역번역 후 판별" 절제 실험은 스와힐리어 차단율을 개선하지 못했으며(71.3%로 하락), 이는 문제가 단순히 판별기가 외국어를 읽지 못하는 능력이 아니라, 번역으로 인한 의도 약화(translation-induced intent attenuation), 즉 번역된 질의가 명시적인 추출 단서를 잃어버리는 현상일 가능성을 시사합니다.
3. 결합 단계 유출 (F3): 잔여 유출은 "MT-노이즈 코너(MT-noisy corner)"인 아랍어와 스와힐리어에 집중되었습니다. 이 패턴은 **차등적 파이프라인 저하(differential pipeline degradation)**를 시사합니다: 입력 측 판별기(검색 컨텍스트가 없는 상태)는 약화된 의도를 감지하는 데 실패하는 반면, 다운스트림 생성기(검색된 컨텍스트에 의해 조건화됨)는 PII를 성공적으로 재구성합니다.
4. 오라클 진단 (F4): 다국어 프롬프트 판별기의 잔여 결과($n=17$)에 대한 별도 실험에서, 입력 판별기에 골드 코퍼스 문서를 "검색된 컨텍스트(Retrieved Context)"로 첨부했을 때 17개 잔여 셀 중 15개를 차단했습니다. 이는 컨텍스트를 입력 판별기에 제공함으로써 실패를 완화할 수 있음을 나타내지만, 이는 구현 가능한 방어책이라기보다 메커니즘 진단으로서 제시되었습니다.

주요 기여

• 리스크의 국지화: 본 논문은 프라이버시 리스크를 언어 자체의 문제가 아니라, 번역 노이즈가 추출 의도를 약화시켜 입력 필터를 우회하게 만드는 동시에, 검색 컨텍스트가 생성기로 하여금 답변을 가능하게 하는 파이프라인의 특정 실패 모드에 국지화합니다.
• 파이프라인 조건부 결과: 저자들은 자신들의 결과가 Qwen2.5-7B 파이프라인에 조건부임을 명시합니다. 그들은 비영어 언어가 본질적으로 더 안전하거나 위험하다고 주장하는 것이 아니라, 이 특정 구성에서 영어는 출력 필터링 하에서 가장 높은 유출률을 보였고, 잔여 리스크는 아랍어와 스와힐리어에 집중되었다는 점을 밝힙니다.
• 메커니즘 가설: 본 연구는 "번역 노이즈 하에서의 차등적 파이프라인 저하"라는 가설을 제안하며, 이는 입력 판별기와 생성기가 번역된 질의를 처리할 때 서로 다른 속도로 저하되는 현상을 의미합니다.

의의 및 주장
본 논문은 자신의 기여를 단계별로 분해된 파일럿 연구 및 오라클 개념 증명으로 겸손하게 규정하며, 일반화 가능한 인과적 메커니즘이나 배포 가능한 방어책에 대한 주장을 명시적으로 피합니다.

• 인과적 순위가 아님: 저자들은 파이프라인 전체(번역기, 판별기, 생성기)가 동일한 모델 제품군을 사용하기 때문에, 결과를 통해 언어 자체의 고유한 위험 순위를 매길 수 없음을 강조합니다.
• 배포 가능한 방어책이 아님: F4 결과(컨텍스트 제공 시 15/17 셀 차단)는 엄격히 메커니즘 진단용으로 제시되었습니다. 저자들은 양호한 질의에 대한 오탐률(false-positive rates)이나 답변 유용성 비용을 측정하지 않았으므로, 이를 실제 운영 환경의 방어책으로 권장할 수 없다고 언급했습니다.
• 범위의 한계: 본 연구는 기계 번역된 공격 템플릿(네이티브 작성 프롬프트가 아님)과 단일 모델 제품군에 국한됩니다. 저자들은 번역 아티팩트(artifact)와 언어 자체의 고유 위험을 구분하기 위해, 다른 기계 번역 시스템(예: NLLB-200), 비-Qwen 판별기, 그리고 네이티브 화자의 질의 세트를 사용하는 독립적인 재현 연구를 우선적인 후속 과제로 꼽았습니다.

요약하자면, 본 논문은 비영어 질의가 영어 소스 RAG 시스템에서 자동으로 더 위험하다는 직관에 도전하며, 대신 특정 Qwen 매개 파이프라인에서 영어 질의가 출력 필터링 하에서 가장 많이 유출되고, 아랍어와 스와힐리어의 잔여 리스크는 번역 노이즈와 입력 판별기의 검색 컨텍스트 부재 사이의 특정한 상호작용에서 비롯됨을 입증합니다.