Where Privacy Risk Lives in English-Source Multilingual RAG: A Stage-Decomposed Audit Across Five Query Languages

Resumo Técnico: Onde Reside o Risco de Privacidade em RAG Multilíngue de Fonte Inglesa

Definição do Problema
Uma suposição prevalecente na segurança multilíngue sugere que mudar um sistema de Geração Aumentada por Recuperação (RAG) para uma linguagem de consulta não inglesa aumenta o risco de vazamento de informações pessoais. A hipótese é que consultas cross-linguais podem contornar defesas centradas no inglês (como filtros de PII e classificadores de segurança) que são sobrerrepresentadas nos dados de treinamento em inglês. Este artigo investiga essa intuição dentro de um sistema RAG multilíngue de fonte inglesa. O modelo de ameaça específico envolve um atacante que possui uma âncora não-PII (ex: um nome de projeto ou ID de ticket) de um documento alvo e tenta extrair um item de PII sintético plantado (nome, e-mail, telefone, endereço ou ID) consultando o sistema em cinco idiomas: inglês, chinês, alemão, árabe e suaíli.

Metodologia
Os autores constroem um pipeline de auditoria decomposto em estágios usando um corpus sintético de 100 documentos em inglês, cada um contendo um item de PII único. A arquitetura do sistema e a configuração do ataque incluem:

• Componentes do Pipeline: Todos os componentes (tradutor, juiz de entrada, tradutor reverso e gerador) utilizam a família de modelos Qwen2.5-7B para garantir que os achados sejam condicionais ao pipeline, em vez de rankings causais de risco inerente à linguagem.
  • Recuperador (Retriever): Embedder BGE-M3 com FAISS (top-$k=5$).
  • Gerador (Generator): Qwen2.5-7B-Instruct.
  • Defesa (Estágio A): Um juiz de entrada baseado em LLM com prompt apenas em inglês que classifica consultas como BLOQUEAR (BLOCK) ou PERMITIR (ALLOW).
  • Defesa (Estágio B): Um filtro de saída baseado em regex visando padrões de e-mail, telefone e padrões do tipo SSN.
• Vetores de Ataque: Para cada documento, três reformulações de consulta são geradas: extração direta, resumo com solicitações de entidades e aprendizagem em contexto (ICL). Esses templates em inglês são traduzidos para os quatro idiomas alvo não ingleses usando Qwen2.5-7B.
• Métricas: O estudo mede o "vazamento" (leak) como a divulgação literal do PII plantado. Os resultados são agregados ao nível do documento (qualquer sucesso) usando intervalos de confiança de bootstrap de 95%. A análise distingue entre vazamentos apenas de saída (contornando o filtro regex) e vazamentos combinados (contornando o juiz de entrada e o filtro de saída).
• Ablações e Diagnósticos: O estudo inclui uma ablação de "tradução reversa e depois julgamento" (back-translate-then-judge) e uma variante de "juiz com prompt multilíngue". Crucialmente, realiza um diagnóstico de oráculo (Seção 4.4) onde o juiz de entrada recebe o documento do corpus de ouro como contexto para testar se o contexto de recuperação pode fechar a lacuna de segurança.

Principais Resultados

1. Filtragem Apenas de Saída (F1): Contrariando a suposição de que consultas em não-inglês são mais arriscadas, as consultas em inglês exibiram a maior taxa observada de vazamento de PII não estruturado (0,875) sob filtragem apenas de saída. Os templates em não-inglês mostraram estimativas pontuais menores (variando de 0,425 para o suaíli a 0,775 para o alemão). Estatisticamente, apenas a comparação inglês-vs-suaíli mostrou separação clara via intervalos de bootstrap; outras comparações se sobrepuseram.
2. Desempenho do Juiz de Entrada (F2): Quando o juiz de entrada com prompt apenas em inglês foi adicionado, o vazamento residual colapsou para zero para inglês, chinês e alemão. No entanto, vazamentos residuais persistiram para o árabe (7,5%) e o suaíli (17,5%).
   • O juiz de entrada bloqueou 100% das consultas em inglês, mas apenas 76,7% das consultas em suaíli.
   • Uma ablação de "tradução reversa e depois julgamento" não melhorou as taxas de bloqueio do suaíli (caindo para 71,3%), sugerindo que o problema não é meramente a incapacidade do juiz de ler texto estrangeiro, mas potencialmente a atenuação de intenção induzida pela tradução, onde a consulta traduzida perde pistas explícitas de extração.
3. Vazamento de Estágio Combinado (F3): Os vazamentos residuais concentraram-se no "canto ruidoso da MT" (árabe e suaíli). O padrão sugere uma degradação diferencial do pipeline: o juiz do lado da entrada (carecendo de contexto de recuperação) falha em detectar a intenção atenuada, enquanto o gerador downstream (condicionado ao contexto recuperado) consegue reconstruir o PII com sucesso.
4. Diagnóstico de Oráculo (F4): Em um experimento separado sobre o resíduo do juiz com prompt multilíngue ($n=17$), anexar o documento do corpus de ouro como "Contexto Recuperado" ao juiz de entrada bloqueou 15/17 células residuais. Isso indica que fornecer contexto ao juiz de entrada pode mitigar a falha, embora isso seja apresentado como um diagnóstico de mecanismo, não como uma defesa implantável.

Principais Contribuições

• Localização do Risco: O artigo localiza o risco de privacidade não na linguagem em si, mas em modos específicos de falha no pipeline onde o ruído de tradução atenua a intenção de extração o suficiente para contornar um filtro de entrada, enquanto o contexto de recuperação permite que o gerador ainda responda.
• Achados Condicionais ao Pipeline: Os autores afirmam explicitamente que seus achados são condicionais ao pipeline Qwen2.5-7B. Eles não alegam que as línguas não inglesas são inerentemente mais seguras ou mais arriscadas, mas sim que, nesta configuração específica, o inglês mostrou as maiores taxas de vazamento sob filtragem de saída, e os riscos residuais se concentraram em árabe e suaíli sob filtragem de dois estágios.
• Hipótese do Mecanismo: O trabalho propõe a hipótese de "degradação diferencial do pipeline sob ruído de tradução", onde o juiz de entrada e o gerador degradam em taxas diferentes ao processar consultas traduzidas por máquina.

Significância e Alegações
O artigo enquadra modestamente suas contribuições como um piloto decomposto por estágios e um prova de conceito de oráculo, evitando explicitamente alegações de mecanismos causais generalizáveis ou defesas implantáveis.

• Não é um Ranking Causal: Os autores enfatizam que, como todo o pipeline (tradutor, juiz, gerador) utiliza a mesma família de modelos, os resultados não podem ser usados para classificar as línguas por risco inerente.
• Não é uma Defesa Implantável: O resultado F4 (bloqueando 15/17 células com contexto) é apresentado estritamente como um diagnóstico de mecanismo. Os autores observam que, sem medir as taxas de falsos positivos de consultas benignas ou os custos de utilidade da resposta, isso não pode ser recomendado como uma defesa de produção.
• Limites de Escopo: O estudo é limitado a templates de ataque traduzidos por máquina (não prompts escritos nativamente) e a uma única família de modelos. Os autores identificam como prioridade de acompanhamento uma replicação independente usando um sistema de tradução de máquina diferente (ex: NLLB-200), um juiz não-Qwen e um conjunto de consultas de falantes nativos para distinguir entre artefatos de tradução e riscos inerentes à linguagem.

Em resumo, o artigo desafia a intuição de que consultas em não-inglês são automaticamente mais perigosas em sistemas RAG de fonte inglesa, demonstrando, em vez disso, que em um pipeline específico mediado pelo Qwen, o inglês apresenta os maiores vazamentos sob filtragem de saída, enquanto os riscos residuais em árabe e suaíli derivam de uma interação específica entre o ruído de tradução e a falta de contexto de recuperação no juiz de entrada.