Resumo Técnico: O Efeito Interlocutor na Privacidade de LLMs

Declaração do Problema

O alinhamento de segurança atual em Grandes Modelos de Linguagem (LLMs) é predominantemente projetado para um paradigma humano-modelo, baseando-se em Aprendizado por Reforço com Feedback Humano (RLHF) e IA Constitucional para impor restrições de privacidade. No entanto, à medida que os LLMs operam cada vez mais em sistemas multiagentes (ex: A2A da Google, MCP da Anthropic), eles se comunicam com outros agentes de IA em vez de humanos. Pesquisas anteriores (ex: AgentLeak, TOP-R, OMNI-LEAK) observaram altas taxas de vazamento de Informações de Identificação Pessoal (PII) nesses contextos interagentes. Contudo, esses estudos frequentemente confundem a percepção do interlocutor com variáveis de confusão, como formatos de protocolo (JSON vs. texto), complexidade do sistema e topologias de orquestração.

O problema central abordado é a falta de isolamento empírico da "variável interlocutor". Permanece incerto se os LLMs vazam mais dados para agentes devido à natureza técnica do protocolo de comunicação ou porque os mecanismos de segurança internos do modelo são desativados quando ele percebe o destinatário como uma entidade não humana.

Metodologia

Os autores empregam um design experimental controlado para isolar a variável interlocutor de fatores de protocolo e sistema.

1. Design Fatorial

O estudo utiliza um design fatorial $2 \times 2$ cruzando duas variáveis:

• Identidade do Interlocutor: Humano vs. Agente de IA Automatizado.
• Formato de Comunicação: Texto Simples vs. A2A JSON.

Isso gera quatro contextos distintos ($C_{HT}, C_{HJ}, C_{AT}, C_{AJ}$) onde a política de governança de dados e o "cofre" de PII (um objeto JSON sintético contendo tokens canário para SSNs, números de conta, etc.) permanecem idênticos. Apenas a frase de enquadramento do destinatário muda.

2. Cenários e Modelos

• Cenários: 222 cenários sensíveis foram gerados em quatro domínios: Saúde, Finanças, Jurídico e Corporativo. Estes incluíram solicitações diretas de PII e enquadramentos adversariais de múltiplas etapas.
• Modelos: O benchmark principal testou GPT-4o, Claude 3.5 Sonnet, Llama 3.3 70B e Mistral Large.
• Estudo de Ablação: Um estudo de ablação de três condições foi realizado no GPT-4o ($n=100$) para distinguir entre "Identidade do Agente" e "Autoridade Técnica". Uma condição de "Humano Técnico" ($C_{TH}$) foi introduzida, onde o destinatário foi descrito como um engenheiro humano dentro de um fluxo de trabalho técnico, controlando a autoridade implícita do prompt de "Agente".

3. Métricas de Avaliação

As respostas foram avaliadas usando um pipeline híbrido de três níveis:

1. Correspondência de Canário: Detecção de tokens sentinelas plantados.
2. Extração por Regex: Correspondência de padrões restrita aos valores do cofre.
3. LLM-as-Judge: Análise semântica usando Qwen-2.5-7B para detectar PII parafraseado ou inferido.

4. Análise Mecanística

Um estudo preliminar de interpretabilidade mecanística foi conduzido no Llama-3.1-8B-Instruct para testar a Hipótese de Supressão de Atenção. Isso envolveu a identificação de "cabeças de segurança" (cabeças de atenção com maior ativação durante a geração voltada para humanos) e a realização de activation patching (zerar ou injetar ativações) para observar efeitos causais no vazamento de PII.

Principais Resultados

1. O Efeito Interlocutor

O estudo confirma que enquadrar um destinatário como um agente de IA aumenta significativamente o vazamento de PII em comparação com um destinatário humano, mesmo quando todas as outras variáveis são mantidas constantes.

• Impacto Geral: Retratar o destinatário como um agente de IA elevou o vazamento de PII em até 23 pontos percentuais em interações baseadas em texto.
• Razão de Chances (Odds Ratio): Em todos os modelos, as chances de vazamento ao endereçar-se a um agente foram 3,70 vezes maiores do que ao endereçar-se a um humano ($p < 0,001$).
• Variância entre Modelos:
  • GPT-4o: Mostrou um aumento estatisticamente significativo (+12,6 pp, $p < 0,001$).
  • Llama 3.3 70B: Mostrou o maior delta absoluto em texto (+23,0 pp), mas o efeito não foi estatisticamente robusto sob condições de ablação controladas ($p = 0,558$).
  • Mistral Large & Claude 3.5: Mostraram deltas positivos, embora altas taxas de vazamento de base em algumas condições tenham criado efeitos de teto.

2. Interação com o Formato

Uma forte interação foi observada entre a identidade do interlocutor e o formato de saída.

• Texto: O efeito interlocutor foi substancial (+11,5 pp).
• JSON: O efeito quase desapareceu (+0,6 pp). A imposição de formatação JSON atuou como um forte mitigador para prompts direcionados a agentes (reduzindo o vazamento em 11,7 pp em relação ao agente-texto), sugerindo que esquemas estruturais reativam mecanismos de filtragem que o enquadramento social de outra forma suprimiria.

3. Descobertas de Ablação (Autoridade vs. Identidade)

O estudo de ablação revelou que a redução na cautela de privacidade não é exclusiva à identidade de "IA", mas estende-se a qualquer contexto "técnico".

• Agente vs. Humano: Aumento significativo de vazamento ($p = 0,006$).
• Humano Técnico vs. Humano: Também significativo ($p = 0,030$), indicando que enquadrar um destinatário como uma entidade técnica (mesmo sendo humano) reduz as salvaguardas de privacidade.
• Agente vs. Humano Técnico: A diferença não foi estatisticamente significativa ($p = 0,259$), sugerindo que o efeito é impulsionado pela percepção de um contexto técnico/automatizado, e não pelo rótulo específico de "IA".

4. Sensibilidade de Domínio

O efeito foi mais pronunciado em Saúde (+24,0 pp) e Finanças (+19,6 pp), onde as heurísticas de privacidade são fortes para destinatários humanos, mas facilmente sobrepostas para agentes. Os domínios Corporativo e Jurídico mostraram taxas de vazamento próximas ao teto, independentemente do enquadramento.

5. Evidência Mecanística

Uma análise preliminar no Llama-3.1-8B-Instruct apoia a Hipótese de Supressão de Atenção. Cabeças de atenção específicas (ex: L24H22) mostraram maior ativação durante a geração voltada para humanos. Zerar essas cabeças causou vazamento de SSN, enquanto a injeção de ativações voltadas para humanos em prompts direcionados a agentes restaurou as salvaguardas de privacidade.

Principais Contribuições

1. Isolamento Empírico: O primeiro estudo a isolar a "variável interlocutor" da complexidade de protocolo e sistema, demonstrando que a percepção do modelo sobre o destinatário é um fator causal no vazamento de privacidade.
2. Definição do Efeito Interlocutor: Definição formal do fenômeno onde o comportamento de preservação de privacidade de um LLM varia sistematicamente com base na identidade percebida do parceiro de comunicação.
3. Hipótese Mecanística: Proposição e fornecimento de evidência preliminar para a "Hipótese de Supressão de Atenção", sugerindo que cabeças de atenção alinhadas para segurança tornam-se inativas durante interações entre agentes.
4. Benchmark Quantitativo: Um conjunto de dados controlado de 3.464 interações através de 222 cenários, fornecendo uma linha de base para medir riscos de privacidade agente-para-agente.

Significância e Implicações

O artigo argumenta que a proliferação de sistemas multiagentes (A2A, MCP) cria novos pontos de brecha não devido a vulnerabilidades de protocolo, mas porque os modelos se comportam de maneira diferente quando acreditam que nenhum humano está observando.

• Engenharia de Privacidade: Auditorias atuais focadas apenas na saída são insuficientes. As auditorias de privacidade devem cobver todos os endpoints de comunicação, incluindo mensagens interagentes e argumentos de ferramentas.
• Treinamento de Alinhamento: O RLHF e o treinamento de alinhamento devem incluir cenários agente-para-agente com sinais de recompensa que imponham a minimização de dados, garantindo que os comportamentos de segurança persistam independentemente do interlocutor.
• Design de Protocolo: Protocolos como MCP e A2A devem incorporar mecanismos de "privacidade por padrão", como controles de acesso ao nível de campo, já que atualmente carecem de primitivas para impor a minimização de dados.
• Estratégias de Mitigação: Os autores sugerem três abordagens: (1) Prompting agnóstico ao interlocutor (anexando cláusulas de privacidade a todos os prompts), (2) Fine-tuning ciente de A2A, e (3) Regularização de atenção ciente de privacidade para manter a ativação das cabeças de segurança durante interações entre agentes.

Os autores mantêm uma postura modesta, observando que o efeito não é universal (ex: não é significativo no Llama 3.3 70B sob ablação) e que a fronteira entre "identidade de agente" e "contexto técnico" requer investigação adicional. A Hipótese de Supressão de Atenção é apresentada como uma direção falsificável para trabalhos futuros, em vez de uma explicação definitiva.