Resumo Técnico: Geração de Aliases de Entidades Sensíveis (SEAG) para RAG com Preservação de Privacidade

Declaração do Problema

A Geração Aumentada por Recuperação (RAG) aprimora os Grandes Modelos de Linguagem (LLMs) ao combinar o conhecimento interno com fontes de dados externas. Embora a pesquisa de privacidade existente em RAG foque primariamente em impedir que usuários não autorizados acessem dados sensíveis, este artigo identifica uma vulnerabilidade crítica e frequentemente negligenciada: a exposição de informações sensíveis a geradores de terceiros externos.

Em muitos cenários, um usuário autorizado (por exemplo, um médico) pode consultar os dados de sua própria organização usando um LLM externo poderoso (por exemplo, GPT-5 ou Claude-4). Embora o usuário tenha direitos de acesso, o gerador externo processa a consulta e os documentos recuperados, podendo utilizar indevidamente ou vazar informações confidenciais, como registros de pacientes, detalhes financeiros ou termos contratuais. A implantação local de LLMs de alto desempenho (por exemplo, >100 bilhões de parâmetros) é frequentemente proibitiva em termos de custo devido aos requisitos de hardware (por exemplo, GPUs NVIDIA H100) e sobrecarga de manutenção, forçando as organizações a depender de APIs de terceiros. Este artigo aborda a necessidade de utilizar geradores externos poderosos sem revelar entidades sensíveis na consulta ou nos documentos recuperados.

Metodologia: O Framework SEAG

Os autores propõem o Sensitive Entity Alias Generator (SEAG), um framework de preservação de privacidade que insere um modelo leve, implantado localmente, entre o recuperador (retriever) de RAG e o gerador externo. O fluxo de trabalho opera da seguinte forma:

1. Recuperação (Retrieval): O usuário envia uma consulta, e o recuperador busca documentos relevantes em fontes de dados externas.
2. Reconhecimento de Entidade e Geração de Alias: A consulta e os documentos recuperados são passados para um modelo SEAG local, ajustado (fine-tuned) (3–4 bilhões de parâmetros). Este modelo identifica entidades sensíveis e gera uma Tabela de Substituição de Entidades consistente.
   • A tabela mapeia entidades sensíveis originais para aliases semanticamente consistentes (por exemplo, substituir "Arábia Saudita" por "Catar" e "Riade" por "Doha" para manter as relações lógicas).
   • O modelo garante a consistência entre todas as variações de uma entidade (por exemplo, "João", "João Jordan" e "do João" são substituídos pelas variações correspondentes de um novo nome).
3. Anonimização: A Tabela de Substituição de Entidades é aplicada tanto à consulta do usuário quanto aos documentos recuperados, substituindo as entidades sensíveis por seus aliases antes da transmissão para o gerador externo.
4. Geração: O gerador externo (por exemplo, GPT-5, Claude-4) processa o prompt anonimizado e gera uma resposta baseada nos aliases.
5. Restauração: O framework SEAG intercepta a saída do gerador, mapeia os aliases de volta para suas entidades originais usando a mesma tabela e entrega a resposta final e precisa ao usuário.

Datasets e Configuração Experimental

Para apoiar este framework, os autores construíram dois datasets distintos:

• Dataset de Ajuste Fino (Fine-tuning): 640 amostras em 8 domínios (notícias, jurídico, médico, financeiro, biologia, química, história, currículo). Este dataset foi usado para ajustar os modelos SEAG para gerar tabelas de substituição de entidades consistentes.
• Dataset de Avaliação: 600 amostras em 6 domínios (econômico, educação, carros, jurídico, financeiro, negócios), com 300 documentos e 600 perguntas. Este dataset foi usado para avaliar todo o pipeline SEAG.

Três modelos leves foram ajustados usando QLoRA (Fine-Tuning de Parâmetros Eficientes): Qwen-3 (4B), LLaMA-3.2 (3B) e Phi-4 (3B). Estes foram testados contra dois geradores externos: GPT-5 e Claude-4 sonnet.

Métricas de Avaliação

O framework foi avaliado usando três métricas:

1. ORG (Geração de Resposta Original): Mede a capacidade do gerador de responder à pergunta original sem o uso de aliases, garantindo que as perguntas de base sejam solucionáveis.
2. Privacidade: Mede a taxa de sucesso do modelo SEAG em ocultar entidades sensíveis do gerador externo (ou seja, o gerador não consegue responder com base na entidade original).
3. Usuário: Mede o sucesso de ponta a ponta do framework: a informação sensível é ocultada do gerador, mas a resposta original correta é restaurada e apresentada ao usuário.

Principais Resultados

• Desempenho Geral: Todos os modelos SEAG alcançaram mais de 80% de precisão na métrica de Usuário, demonstrando a capacidade do framework de fornecer respostas corretas enquanto protege a privacidade.
• Melhor Modelo de Desempenho: O LLaMA-3.2 superou consistentemente os outros.
  • Pontuação de Privacidade: O LLaMA-3.2 alcançou a maior pontuação de privacidade de 89,67% (com Claude-4 como gerador) e 88,50% (com GPT-5).
  • Pontuação de Usuário: A combinação de LLaMA-3.2 e Claude-4 sonnet alcançou a maior pontuação de Usuário de 83,67%.
• Ocultação Abrangente de Entidades: Quando avaliados na capacidade de ocultar todas as entidades sensíveis nos documentos (não apenas aquelas necessárias para a resposta), os modelos atingiram precisões totais de:
  • Qwen-3: 77,83%
  • LLaMA-3.2: 76,73%
  • Phi-4: 74,91%
• Variância de Domínio: O domínio Econômico apresentou a maior precisão (86–87%) devido à natureza explícita de suas entidades (países, organizações, datas). Por outro lado, os domínios Jurídico e Financeiro mostraram um desempenho inferior devido à complexidade e natureza hierárquica das entidades (por exemplo, títulos de políticas longos, relatórios financeiros interconectados).

Limitações

Os autores reconhecem limitações específicas em seu trabalho atual:

• Comprimento do Documento: O framework foi testado em documentos com média de ~300 palavras. O desempenho em documentos substancialmente mais longos com alta densidade de entidades permanece não verificado.
• Densidade de Entidades: A avaliação atual assume aproximadamente 15 entidades sensíveis por documento. A escalabilidade para documentos com contagens de entidades significativamente maiores é um assunto para pesquisas futuras.

Significância e Contribuições

O artigo afirma ser o primeiro a introduzir um framework projetado especificamente para proteger documentos privados de serem compartilhados com geradores de terceiros externos dentro de sistemas RAG. Diferente de trabalhos anteriores focados em controle de acesso de usuários ou geração de dados sintéticos, o SEAG permite que as organizações utilizem LLMs poderosos baseados na nuvem enquanto mantêm o controle sobre dados sensíveis através de um intermediário local leve.

As principais contribuições são:

1. Inovação de Framework: Introdução do SEAG para desacoplar a recuperação de dados sensíveis da geração de respostas por modelos externos.
2. Construção de Datasets: Criação de dois datasets especializados para o ajuste fino de modelos de substituição de entidades e para a avaliação de todo o pipeline de privacidade de RAG.
3. Validação Empírica: Demonstração de que modelos ajustados de 3–4 bilhões de parâmetros podem mascarar efetivamente entidades sensíveis enquanto mantêm alta fidelidade de resposta, com o LLaMA-3.2 emergindo como o candidato mais eficaz para esta tarefa.

Os autores concluem que, embora o framework mostre resultados promissores, trabalhos futuros devem abordar a escalabilidade em relação ao comprimento do documento, densidade de entidades e dependências contextuais mais complexas para garantir robustez em implementações reais de grande escala.