CAMP: Cumulative Agentic Masking and Pruning for Privacy Protection in Multi-Turn LLM Conversations

Resumo Técnico: CAMP – Proteção de PII Acumulada em Conversas Multi-turno com LLMs

1. O Problema: Exposição Acumulada de PII (CPE)

O artigo identifica uma vulnerabilidade crítica de privacidade nos sistemas de assistentes agênicos baseados em Grandes Modelos de Linguagem (LLMs) que operam em conversas de múltiplos turnos (multi-turn).

• Limitação das Abordagens Atuais: Os mecanismos existentes de mascaramento de Informações Pessoalmente Identificáveis (PII), como o Microsoft Presidio, operam de forma stateless (sem estado) e por turno. Eles analisam cada mensagem individualmente antes de enviá-la ao modelo. Se uma mensagem isolada não contiver PII suficiente para ser detectada, ela é enviada sem alterações.
• O Risco Combinatório: Em conversas longas, os usuários frequentemente divulgam fragmentos de PII (nome, local, emprego, salário, condição médica) ao longo de várias mensagens. Embora nenhuma mensagem individual seja sensível, a acumulação desses fragmentos no histórico da conversa cria um perfil totalmente reidentificável.
• Definição de CPE: Os autores formalizam esse fenômeno como Exposição Acumulada de PII (Cumulative PII Exposure - CPE). O risco não reside em um único dado, mas na interseção de múltiplos "quase-identificadores" que, quando combinados no contexto de janela de uma sessão, permitem a reidentificação do usuário.

2. Metodologia: O Framework CAMP

Para mitigar o CPE, os autores propõem o CAMP (Cumulative Agentic Masking and Pruning), uma camada de middleware que opera entre o usuário e o LLM externo. O sistema é stateful (mantém estado da sessão) e utiliza cinco componentes principais:

1. Extrator por Turno: Identifica entidades PII em cada mensagem de entrada usando Reconhecimento de Entidades Nomeadas (NER) e regras baseadas em padrões (ex: Presidio personalizado).
2. Registro de Sessão (Session Registry): Mantém um registro histórico de todas as entidades detectadas durante a conversa, incluindo o tipo, o valor original e o turno de primeira ocorrência. Este componente é a distinção fundamental em relação aos sistemas atuais.
3. Grafo de Co-ocorrência e Pontuação CPE:
   • Modela o risco combinatório usando um grafo onde os nós são tipos de entidades e as arestas representam a co-ocorrência desses tipos na mesma sessão.
   • Calcula uma pontuação CPE que aumenta superlinearmente à medida que novas entidades formam conexões com as existentes. A fórmula considera o peso base da sensibilidade da entidade e um "amplificador" baseado no número de conexões no grafo.
4. Pseudonimização Retroativa:
   • Quando a pontuação CPE ultrapassa um limiar configurável ($\tau$), o sistema dispara uma intervenção.
   • Todo o histórico da conversa é reescrito: valores reais de PII são substituídos por identidades sintéticas consistentes (geradas localmente, ex: usando a biblioteca Faker).
   • O mapeamento entre real e sintético é mantido localmente e nunca enviado ao modelo externo.
5. Camada de Desmascaramento (De-masking):
   • Após o LLM gerar uma resposta baseada no histórico pseudonimizado, a camada de desmascaramento intercepta a resposta.
   • Substitui as identidades sintéticas pelos valores originais do usuário antes de entregar a resposta final, garantindo uma experiência de usuário coerente.

Regras de Bloqueio Rígido: Entidades de alto risco (como SSN, números de cartão de crédito) são bloqueadas imediatamente desde o primeiro turno, independentemente da pontuação CPE.

3. Contribuições Principais

• Formalização do CPE: Definição formal de um métrica de risco de privacidade em nível de sessão para conversas multi-turno, reconhecendo que o risco é combinatório e não aditivo.
• Modelo de Grafo de Co-ocorrência: Introdução de um modelo que quantifica o risco baseado na presença conjunta de entidades, capturando a dinâmica do "efeito mosaico" em LLMs.
• Framework de Pseudonimização Retroativa: Proposta de um sistema capaz de reescrever o histórico de conversa após a detecção de risco acumulado, uma capacidade ausente em sistemas de mascaramento por turno.
• Preservação de Utilidade: Demonstração de que é possível proteger a privacidade sem degradar a utilidade conversacional, graças à camada de desmascaramento que restaura a identidade do usuário na resposta final.

4. Resultados Experimentais

Os autores avaliaram o CAMP em quatro cenários sintéticos (Saúde, RH/Contratação, Finanças e Conversação Geral) comparando-o com uma linha de base per-turno (Presidio).

• Exposição de Entidades: Em todos os cenários, a linha de base (Presidio) expôs entre 3 e 6 tipos de entidades PII ao modelo externo. O CAMP reduziu a exposição de PII real para zero em todos os casos.
• Pontuação CPE: O sistema detectou o risco de reidentificação antes que o limiar fosse cruzado. Por exemplo, no cenário de Finanças, a intervenção ocorreu no turno 2, enquanto no cenário de Saúde ocorreu no turno 4, dependendo da velocidade de acumulação de dados.
• Utilidade Conversacional: O LLM manteve a coerência e a qualidade das respostas mesmo com o histórico pseudonimizado. O usuário final recebeu respostas com seus dados reais intactos, sem perceber a intervenção.
• Sensibilidade ao Limiar ($\tau$): Testes com diferentes limiares mostraram que é possível ajustar o equilíbrio entre privacidade e utilidade. Limiares mais baixos ($\tau=1.5$) resultam em intervenções mais precoces, enquanto limiares mais altos permitem mais contexto natural antes da proteção.

5. Significado e Implicações

O trabalho do CAMP é significativo porque:

• Muda o Paradigma de Segurança: Transita da proteção de "mensagens isoladas" para a proteção de "contexto de sessão", reconhecendo que a arquitetura atual de LLMs (que repassa todo o histórico) cria uma superfície de ataque expandida.
• Aborda o "Efeito Mosaico": Oferece uma solução técnica prática para o problema clássico de segurança da informação onde dados inofensivos se tornam perigosos quando agregados.
• Viabilidade Prática: Demonstra que a proteção robusta de privacidade em assistentes agênicos não precisa sacrificar a funcionalidade do sistema, resolvendo o dilema tradicional entre privacidade e utilidade.
• Conformidade Regulatória: O framework alinha-se com princípios de "Privacidade por Design" e minimização de dados (como exigido pelo GDPR), oferecendo uma base para operadores configurarem sistemas de acordo com a sensibilidade do domínio de aplicação.

Em suma, o CAMP preenche uma lacuna crítica na segurança de LLMs, garantindo que assistentes inteligentes possam manter o contexto necessário para tarefas complexas sem expor inadvertidamente a identidade completa dos usuários através da acumulação gradual de dados.