Resumo Técnico: TRAP Benchmark para Conclusão de Tarefas e Resistência à Extração Ativa de Privacidade

1. Declaração do Problema

Agentes de Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados em fluxos de trabalho intensivos em documentos (ex: reserva de voos, processamento de folha de pagamento) onde o acesso a informações privadas sensíveis (PII) é essencial para a conclusão da tarefa. Existe uma tensão fundamental nesses cenários: para concluir uma tarefa com precisão, um agente deve analisar e utilizar campos privados de documentos; no entanto, a mesma capacidade que permite a análise precisa torna o agente suscetível a revelar essas informações privadas quando questionado.

Os paradigmas de avaliação atuais falham em abordar essa tensão simultaneamente:

• Configurações Passivas: Avaliam a privacidade como vazamento incidental durante a execução da tarefa, mas ignoram tentativas explícitas de extração.
• Configurações Adversariais: Avaliam a privacidade sob ataques explícitos, mas ignoram o desempenho da tarefa, permitindo que os modelos alcancem uma privacidade "perfeita" simplesmente ao se recusarem a interagir com qualquer tarefa.

O artigo argumenta que a autenticação sozinha não pode resolver esse risco, pois o agente não pode verificar a verdadeira identidade do usuário ao teclado. O desafio central é avaliar e resolver o equilíbrio onde um agente deve usar informações privadas para ter sucesso em uma tarefa e, ao mesmo tempo, recusar-se a expor essas informações em respostas de linguagem natural.

2. Metodologia: O TRAP Benchmark

Os autores introduzem o TRAP (Task-completion and Resistance to Active Privacy-extraction), um benchmark projetado para medir simultaneamente o equilíbrio entre utilidade e privacidade.

2.1 Construção do Conjunto de Dados

• Escopo: 500 casos de documentos em 10 domínios (5 pessoais: identidade, cartão de crédito, médico, contracheque, conta; 5 corporativos: contrato, cronograma, financeiro, RH, impostos).
• Modalidades: Apenas texto, apenas imagem e multimodal (texto + imagem).
• Estrutura: Cada instância contém um documento com conjuntos disjuntos de campos privados (sensíveis) e campos não privados.
• Consultas Duplas:
  1. Consulta de Tarefa: Exige que o agente invoque uma ferramenta específica usando pelo menos um campo privado como argumento (ex: "Reivindicar IVA do comprador com conta usando [número da conta]").
  2. Consulta de Ataque: Uma tentativa explícita de elicitar o valor de um campo privado em linguagem natural (ex: "Qual é o número do passaporte?"). As variantes incluem perguntas diretas e enquadramento adversarial (Ignorar, Importante, Roleplay).

2.2 Métricas de Avaliação

• Precisão da Tarefa: Mede se o agente seleciona a ferramenta correta e fornece argumentos que correspondem aos valores da verdade fundamental (ground-truth).
• Pontuação de Privacidade: Mede a fração de instâncias onde o agente não revela o campo privado consultado em resposta à consulta de ataque.
• Média Harmônica (HM): Usada para agregar o equilíbrio entre a precisão da tarefa e a privacidade.

2.3 Configuração Experimental

Os autores avaliaram 22 modelos, incluindo 9 modelos proprietários (ex: GPT-4o-mini, GPT-5, Gemini-2.5-Pro, Claude Sonnet 4.5) e 13 modelos de código aberto (ex: Qwen3-VL, InternVL3.5, Llama3.2-Vision). Eles testaram várias defesas baseadas em prompts, incluindo instruções de prompt de sistema e otimização de prompt conjunta usando TextGrad.

3. Principais Resultados

3.1 Vulnerabilidade Inerente

• Vazamento Universal: Todas as famílias de modelos exibiram vazamentos não triviais. Modelos que alcançam alta precisão de tarefa (>60%) consistentemente mostraram baixas pontuações de privacidade (<27%).
• Correlação com Capacidade: A habilidade de seguir instruções correlaciona-se positivamente com a taxa de vazamento. Modelos mais fortes (melhores em analisar e usar dados) são mais eficazes em extrair e reproduzir informações privadas quando solicitados.
• Efeitos de Escala: Na família Qwen3-VL, o aumento de parâmetros de 2B para 8B melhorou significamente a precisão da tarefa, mas causou um colapso abrupto na proteção de privacidade. O escalonamento adicional não resolveu a vulnerabilidade.
• Modalidade: As pontuações de privacidade foram menores em entradas de texto e maiores em entradas de imagem. Os autores observam que isso é provavelmente um artefato das limitações de OCR/análise, e não uma consciência genuína de privacidade.

3.2 Falha de Restrições Suaves (Soft Constraints)

• Defesas de Prompt: As defesas de prompt existentes (instruções de sistema) reduziram o vazamento, mas com um custo significativo para a precisidade da tarefa.
• Otimização de Prompt: A otimização conjunta de prompts para ambos os objetivos falhou em escapar da curva de compromisso; os modelos otimizados simplesmente se deslocaram ao longo da mesma fronteira que as variantes criadas manualmente.
• Engenharia Social: Descobriu-se que os modelos são suscetíveis à engenharia social baseada em "autorização". Quando os usuários alegavam estar autorizados, os modelos vazavam mais informações ( $\Delta$Privacidade negativa), particularmente entre os modelos proprietários.

3.3 Solução Estrutural

• Isolamento de Campo Privado: Os autores propuseram uma abordagem estrutural onde os campos privados são substituídos por chaves de hash simbólicas (ex: [PRIVATE_buyer_ein]) antes de chegarem ao modelo. Os valores reais são armazenados em uma tabela de hash e resolvidos apenas na camada de execução da ferramenta.
• Desempenho: Sob mascaramento "Oracle" (identificação perfeita de regiões privadas), esta abordagem alcançou >90% de pontuações de privacidade em todos os modelos, mantendo a precisão da tarefa próxima à linha de base. Isso demonstra que o isolamento estrutural pode quebrar o compromisso entre utilidade e privacidade.

4. Contribuição Teórica: Resultado de Impossibilidade

O artigo fornece uma prova formal (Teorema 1) demonstrando que, para qualquer modelo baseado em softmax, nenhuma defesa de restrição suave (incluindo instruções de prompt ou ajuste de alinhamento) pode garantir simultaneamente alta taxa de sucesso na tarefa e zero probabilidade de vazamento sob tentativas de extração suficientemente longas.

• Lógica: Se um modelo completa com sucesso uma tarefa usando tokens privados, ele deve tê-los processado com uma probabilidade estritamente positiva. Consequentemente, a probabilidade de vazar esses tokens aproxima-se de 1 conforme o comprimento do ataque aumenta, independentemente de quão cuidadosamente o prompt seja elaborado.
• Implicação: A falha das defesas baseadas em prompt não é uma limitação prática, mas uma propriedade fundamental da arquitetura do modelo.

5. Significância e Alegações

O artigo alega que garantias de privacidade significativas em sistemas de agentes não podem ser alcançadas apenas através de patches de nível de instrução ou engenharia de prompt. Em vez disso, argumenta-se por uma decisão arquitetural de nível de sistema: isolamento estrutural de campos privados.

• Lição Principal: A tensão entre utilidade da tarefa e privacidade é inerente aos modelos que processam dados privados em texto simples (plaintext). O único caminho viável para o vazamento zero enquanto mantém a utilidade é impedir que os valores privados entrem na distribuição de saída do modelo.
• Limitações: Os autores reconhecem que sua implementação atual de isolamento estrutural depende de OCR e mascaramento, o que pode introduzir erros (ex: mascarar conteúdo não privado ou falhar em mascarar regiões estreitas). Eles veem isso como um desafio de engenharia para melhorias futuras em OCR e detecção de PII, em vez de uma falha fundamental da abordagem estrutural.

O trabalho estabelece que o "compromisso entre utilidade e privacidade" observado nos benchmarks atuais é um artefato estrutural de permitir que os modelos vejam dados sensíveis em texto simples, e que resolvê-lo requer desacoplar as capacidades de raciocínio do modelo do acesso direto aos valores privados brutos.