A Case Study on the Impact of Anonymization Along the RAG Pipeline

Título: Um Estudo de Caso sobre o Impacto da Anonimização ao Longo do Pipeline RAG

Autores: Andreea-Elena Bodea, Stephen Meisenbacher e Florian Matthes (Technical University of Munich).
Evento: IWSPA '26 (12th ACM International Workshop on Security and Privacy Analytics).

---

1. O Problema

O paradigma de Geração Aumentada por Recuperação (RAG) permite que Grandes Modelos de Linguagem (LLMs) acessem e raciocinem sobre bases de dados proprietárias ou privadas, superando as limitações de conhecimento (knowledge cutoff) dos modelos. No entanto, isso introduz riscos significativos de privacidade:

• Exposição de Dados: Dados sensíveis e informações de identificação pessoal (PII) podem ser expostos ao LLM durante a geração da resposta ou vazados para o usuário final.
• Falta de Diretrizes de Posicionamento: Embora existam muitas pesquisas sobre anonimização, não há consenso ou estudos empíricos sobre onde a anonimização deve ocorrer no pipeline do RAG. A maioria dos trabalhos foca em um único ponto (geralmente no prompt do usuário ou nos documentos originais), ignorando o impacto de anonimizar em diferentes estágios.
• Trade-off Privacidade-Utilidade: Não está claro como diferentes métodos e locais de anonimização afetam a qualidade da resposta (utilidade) versus a proteção de dados (privacidade).

2. Metodologia

Os autores realizaram um estudo de caso empírico sistemático para medir o trade-off entre privacidade e utilidade em dois pontos críticos do pipeline RAG:

Configuração Experimental

• Sistema RAG: Utilizou o framework LlamaIndex com banco de dados vetorial Pinecone e o modelo de linguagem gpt-4o-mini para geração.
• Datasets: Três conjuntos de dados públicos contendo PII:
  1. BBC News: Artigos de notícias.
  2. Enron Emails: E-mails corporativos.
  3. TAB Corpus: Processos legais do Tribunal Europeu dos Direitos Humanos.
• Tarefas do RAG:
  1. Resumo: Avaliar a utilidade (qualidade da informação mantida).
  2. Detecção de PII: Avaliar a privacidade (vazamento de informações).

Variáveis de Estudo

• Posicionamento da Anonimização:
  1. PRE (Pré-geração): Anonimização aplicada aos documentos originais antes de serem indexados e recuperados.
  2. POST (Pós-geração): Anonimização aplicada apenas à resposta gerada pelo LLM, baseada nos documentos originais.
• Métodos de Anonimização (6 técnicas testadas):
  • Baseadas em PII (Entidades):
    1. Deleção: Remoção completa das entidades.
    2. Rotulagem: Substituição por placeholders (ex: <PERSON>).
    3. Substituição Sintética: Geração de dados fictícios realistas via LLM.
  • Baseadas em Privacidade Diferencial (DP):
    4. 1-Diffractor: Ofuscação de palavras baseada em métricas DP.
    5. DP-Prompt: Reescrita de texto via prompting com LLMs.
    6. DP-MLM: Reescrita usando Modelos de Linguagem Mascarados (MLMs).

Métricas de Avaliação

• Utilidade:
  • ROUGE-L (RL) e Similaridade de Cosseno (CS): Comparação entre o resumo original e o gerado a partir de dados anonimizados.
  • Perplexidade (PPL): Medida de coerência e naturalidade do texto.
• Privacidade:
  • LLM-as-a-Judge: Um LLM analisou o vazamento de PII comparando o texto original com a resposta anonimizada, gerando uma pontuação de vazamento (0 a 100).
• Trade-off (TO): Uma métrica composta que pondera ganhos de privacidade contra perdas de utilidade.

3. Principais Contribuições

1. Análise de Posicionamento: Primeiro trabalho a analisar sistematicamente o impacto da anonimização em diferentes pontos do pipeline RAG (dados vs. resposta), demonstrando que o local de mitigação altera drasticamente os resultados.
2. Evidência Empírica de Trade-offs: Provas de que é possível manter alta utilidade enquanto se reduz significativamente o risco de privacidade, dependendo da combinação de método e local.
3. Ferramenta Open-Source: Lançamento do GuardRAG, uma aplicação web (Streamlit) para replicar e estender os experimentos, permitindo que outros pesquisadores testem novos datasets e métodos.

4. Resultados Chave

Os resultados, detalhados na Tabela 5 do artigo, revelaram descobertas importantes:

• O Posicionamento Importa:
  • Métodos Não-DP (ex: Rotulagem, Substituição Sintética): Funcionaram melhor quando aplicados POST (na resposta gerada). Isso preservou melhor a utilidade (qualidade do resumo) em comparação com a aplicação PRE.
  • Métodos DP: Tiverem desempenho inferior em POST comparado a PRE, indicando que a reescrita de texto já gerado por um LLM com garantias DP é mais destrutiva para a utilidade.
• Desempenho dos Métodos:
  • Métodos "Simples" (Não-DP): A Deleção de PII e a Rotulagem geralmente superaram os métodos baseados em DP em termos de trade-off global. A Deleção de PII, em particular, alcançou as melhores pontuações de trade-off (TO), especialmente no cenário POST, mantendo alta utilidade e oferecendo forte proteção.
  • Métodos Baseados em DP: Embora ofereçam garantias teóricas, os métodos DP (especialmente DP-Prompt e DP-MLM) causaram degradação severa na utilidade (perda de coerência e fatos), resultando em resumos muitas vezes ininteligíveis ou com fatos distorcidos.
• Trade-off Privacidade-Utilidade:
  • Existe uma correlação esperada onde maior proteção de privacidade geralmente resulta em menor utilidade. No entanto, a Deleção de PII quebrou esse padrão em alguns casos, oferecendo proteção robusta com perda mínima de utilidade.
  • Métodos baseados em LLM para substituição sintética (PII Synthetic) e DP-Prompt tendem a degradar a qualidade do texto mais do que métodos estáticos.

5. Significado e Conclusão

O estudo conclui que a escolha da estratégia de anonimização no RAG não é trivial e depende criticamente de onde ela é aplicada:

• Recomendação Prática: Para a maioria das aplicações de RAG onde a utilidade (qualidade da resposta) é prioritária, a aplicação de métodos simples de anonimização (como deleção ou rotulagem) após a geração da resposta (POST) parece ser a abordagem mais eficaz. Isso evita que o LLM de recuperação lide com dados corrompidos ou incompletos, preservando a semântica do texto original durante a recuperação, enquanto ainda protege a informação sensível na saída final.
• Limitações das Garantias Teóricas: O estudo sugere que, no contexto prático de RAG, ganhos empíricos de privacidade (medidos por vazamento real) podem ser tão importantes quanto as garantias teóricas da Privacidade Diferencial, dado o custo elevado de utilidade imposto pelos métodos DP.
• Futuro: A pesquisa destaca a necessidade de desenvolver melhores práticas de mitigação que considerem o pipeline completo, em vez de focar apenas em um estágio isolado.

Em suma, o artigo fornece um guia empírico crucial para administradores de sistemas RAG, demonstrando que a anonimização na saída (POST) com métodos não-DP oferece o melhor equilíbrio entre proteger dados sensíveis e manter a inteligência do sistema.