Resumo Técnico: MuPPET

Declaração do Problema

Agentes de Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados em ambientes de múltiplas partes, como chats de grupo em ferramentas de colaboração de equipe. Nesses cenários, um agente atuando em nome de um usuário deve navegar por contextos sociais complexos onde uma única divulgação de informação privada alcança todos os membros do grupo simultaneamente.

Benchmarks de privacidade contextual existentes, fundamentados na teoria da Integridade Contextual (Nissenbaum, 2004), avaliam se os modelos respeitam as normas sociais em relação ao fluxo de informações. No entanto, esses benchmarks (ex: ConfAIDE, PrivacyLens, CI-Bench) são limitados a interações um-para-um (um único usuário consultando um modelo ou uma única organização recebendo a saída). Eles falham em considerar a complexidade estrutural de ambientes de múltipls partes, onde a privacidade exige que cada peça de informação seja apropriada para cada destinatário no grupo. Consequentemente, os riscos de privacidade de agentes de LLM em cenários de múltiplas partes permanecem não mensurados, e avaliações anteriores podem subestimar sistematicamente o vazamento.

Metodologia: Benchmark MuPPET

Os autores introduzem o MuPPET (Multi-Party Privacy Exposure Testing), um benchmark projetado para avaliar a privacidade contextual em conversas de múltiplas partes.

Construção do Dataset

• Escala: 562 conversas de múltiplas partes em inglês.
• Cenário: Ambientes de trabalho envolvendo 11 tipos de departamentos de trabalho (ex: Engenharia, Saúde).
• Estrutura:
  • Seeds (Sementes): Cenários curados manualmente contendo um tópico de trabalho, um atributo sensível (ex: saúde, status familiar) e uma pergunta gerencial legítima que poderia inadvertidamente elicitar informações sensíveis.
  • Grupos de Usuários: Trabalhadores sintéticos gerados a partir do dataset PANORAMA, organizados em equipes de 20. Um usuário é designado como o "alvo" para quem o LLM atua.
  • Memórias: O LLM é fornecido com informações de contexto (memórias) sobre o usuário alvo, incluindo detalhes sensíveis revelados em interações prévias um-para-um com colegas.
  • Conversa: Chats de grupo de múltiplos turnos gerados pelo Gemini 2.5 Flash, terminando com uma pergunta dirigida ao assistente.
• Lógica de Avaliação: O modelo deve responder à pergunta do grupo usando suas memórias. Um vazamento de privacidade ocorre se a resposta revelar informações privadas para destinatários para os quais a divulgação é inapropriada, mesmo que nenhuma preferência explícita de compartilhamento tenha sido dada.

Métricas

1. Vazamento de Privacidade: Medido utilizando um LLM-como-juiz. O juiz verifica se a resposta do modelo revela detalhes privados específicos das memórias de origem, seja diretamente ou através de forte implicação semântica.
2. Utilidade: Medida pelo fato de o modelo conseguir extrair e aplicar as preferências e restrições do usuário (ex: evitar carga de trabalho pesada) das memórias sem necessariamente divulgar a causa sensível subjacente.

Configuração Experimental

O benchmark avaliou:

• Modelos de pesos abertos (Open-weight): Meta-Llama 3/3.1 (8B), Qwen 3 (4B, 8B, 14B).
• Modelos fechados de fronteira (Frontier): GPT-5.5, Gemini 2.5 Pro.
• Estratégias de Defesa:
  • CI-Mem: Aumentar os prompts de sistema com instruções de privacidade (aplicação Baixa/Média/Alta).
  • PrivacyChecker: Decompor o raciocínio de privacidade em etapas explícitas dentro do prompt.

Principais Resultados

1. Múltiplas Partes vs. Um-para-Um

O MuPPET demonstra que ambientes de múltiplas partes representam um risco significativamente maior do que avaliações um-para-um equivalentes.

• Aumento de Vazamento: Todos os modelos testados vazaram mais em configurações de múltiplas partes do que em cenários um-para-um equivalentes. Por exemplo, o Llama 3 8B Inst. vazou 45,68% em 1-para-1, mas 57,14% em múltiplas partes; o Qwen3 14B saltou de 40,99% para 63,35%.
• Implicação: Os benchmarks atuais subestimam sistematicamente os riscos de privacidade porque não testam o ônus do "rastreamento de partes" (party-tracking) exigido em grupos.

2. Desempenho e Vulnerabilidade do Modelo

• Modelos de Pesos Abertos: Modelos menores são os mais vulneráveis. O Qwen3 8B apresentou o maior vazamento (70,37%), e mesmo os melhores modelos de pesos abertos (Qwen3 4B, Llama 3 8B) vazaram em mais de 50% dos casos.
• Modelos de Fronteira: Modelos proprietários (Gemini 2.5 Pro, GPT-5.5) tiveram desempenho substancialmente melhor, mas ainda exibiram vazamentos não negligenciáveis (ex: Gemini 2.5 Pro com 23,46% em múltiplas partes vs. 9,88% em 1-para-1).
• Trade-off Utilidade-Privacidade: Modelos com maiores pontuações de utilidade (melhores em usar memórias para responder) tenderam a ter taxas de vazamento mais altas. Modelos de fronteira alcançaram o melhor equilíbrio, mantendo alta utilidade com menor vazamento do que seus equivalentes de pesos abertos.

3. Eficácia das Defesas

• Mitigação Parcial: As defesas existentes (CI-Mem e PrivacyChecker) reduziram o vazamento, mas com um custo.
• Degradação de Utilidade: Restrições de privacidade mais fortes (ex: aplicação Alta) reduziram significativamente a utilidade do modelo.
• Problemas de Escalabilidade: Modelos menores tiveram dificuldade em seguir instruções de privacidade complexas (como o PrivacyChecker), resultando em uma proteção menos eficaz em comparação aos modelos de fronteira.
• Conclusão: As defesas não resolvem o problema subjacente de rastreamento de partes; elas apenas trocam utilidade por proteção parcial.

4. Análise de Erros

Uma análise das causas de vazamento revelou modos de falha distintos baseados na capacidade do modelo:

• Modelos Menores: Os vazamentos foram atribuídos principalmente a falhas de rastreamento de usuário (incapacidade de identificar quem está na conversa).
• Modelos de Raciocínio: Os vazamentos mudaram para falhas de privacidade contextual de nível de usuário (saber quem está no chat, mas falhar em decidir se compartilhar com uma pessoa específica é apropriado).
• Modelos de Fronteira: Os vazamentos foram cada vez mais atribuídos a restrições de privacidade de nível de grupo ou falhas inexplicáveis de "apenas Benchmark". Isso sugere um gap entre conhecimento e ação: esses modelos entendem os papéis e as normas, mas ainda geram saídas que violam a privacidade em contextos complexos.

Significância e Contribuições

O artigo reivindica as seguintes contribuições:

1. Introdução do MuPPET: Um novo benchmark especificamente para privacidade contextual em conversas de múltiplas partes, abordando uma lacuna deixada por todos os benchmarks anteriores de um-para-um.
2. Identificação de um Modo de Falha Distinto: Evidência de que o vazamento em múltiplas partes é um risco substancial e anteriormente não mensurado, onde os modelos falham em rastrear múltiplos destinatários e seus respectivos limites de privacidade.
3. Vulnerabilidade de Modelos Locais: Uma descoberta de que modelos menores de pesos abertos, frequentemente preferidos para implantação local com dados sensíveis, são os mais vulneráveis ao vazamento, desafiando a suposição de que a implantação local garante inerentemente a privacidade.
4. Limitações das Defesas Atuais: Demonstração de que as defesas de privacidade existentes oferecem apenas proteção parcial, degradam a utilidade e falham em resolver o desafio central de rastreamento de partes.

Os autores concluem que abordar o vazamento em múltiplas partes provavelmente exigirá novos paradigmas de modelagem capazes de lidar com fluxos de informação complexos dentro de contextos compartilhados, em vez de depender apenas de engenharia de prompt ou filtros de privacidade existentes.

Limitações

Os autores reconhecem que o MuPPET foca em ambientes de equipes profissionais, o que pode não capturar as normas implícitas de redes familiares ou de amigos. O dataset é gerado sinteticamente, o que pode carecer do ruído e da ambiguidade de chats do mundo real. Além disso, a avaliação é centrada no inglês, e as normas de privacidade variam significativamente entre culturas e idiomas.