Resumo Técnico: PRIVACYSIM: Avaliação da Simulação de Comportamento de Privacidade do Usuário por LLMs

Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) estão sendo cada vez mais empregados para simular comportamento humano na avaliação de sistemas de compartilhamento de dados, potencialmente substituindo estudos controlados com usuários que são custosos e lentos. No entanto, permanece incerto se os LLMs podem simular fielmente decisões de privacidade em nível individual. Trabalhos existentes frequentemente dependem de personas generalizadas ou alinhamento em nível populacional, falhando em capturar as nuances do comportamento individual, particularmente o "paradoxo da privacidade", onde as atitudes declaradas dos usuários divergem de suas ações reais. Há uma falta de suites de avaliação padronizadas para avaliar se atributos específicos de persona de usuário podem levar os LLMs a imitar com precisão a tomada de decisão individual sobre privacidade em contextos mediados por IA.

Metodologia

Os autores introduzem o PRIVACYSIM, uma suite de avaliação projetada para estabelecer benchmarks na simulação de comportamento de privacidade do usuário por LLMs em comparação com respostas humanas de verdade.

Construção do Conjunto de Dados

A avaliação é fundamentada em dados do mundo real, e não em geração sintética. Os autores curaram um conjunto de dados a partir de cinco estudos com usuários publicados, cobrindo diversos domínios:

1. Consulta de Saúde com LLM
2. Permissões de Agentes de IA
3. Chatbot com LLM
4. Chat em Grupo com Chatbot
5. Agentes Conversacionais com LLM

A partir desses estudos, eles amostraram 1.000 usuários (200 por estudo) e extraíram 9.400 pares de usuário-pergunta. Cada usuário está associado a uma "persona de privacidade" ($P_u$) composta por três facetas hipotéticas:

• Demografia ($D_u$): Idade, gênero, educação (opcional, pois alguns estudos omitiram esses dados).
• Experiências Anteriores ($E_u$): Familiaridade e frequência de uso de IA/chatbots.
• Atitudes de Privacidade ($A_u$): Preocupações e preferências declaradas em relação ao uso de dados.

Tarefa de Simulação

A tarefa é definida como um simulador LLM $f$ que recebe a persona de um usuário $P_u$ e uma pergunta sobre compartilhamento de dados $q_i$ para produzir uma resposta simulada $\hat{r}_{u,i}$. O objetivo é alinhar $\hat{r}_{u,i}$ com a resposta real do usuário $r_{u,i}$.

Métrica de Avaliação

Devido às escalas de resposta variadas entre os estudos (por exemplo, Likert de 5 pontos vs. numérica de 0–100), os autores empregam uma métrica de precisão com tolerância. Uma resposta simulada é considerada uma correspondência se cair dentro de um limite de tolerância ($\tau \cdot W_{Q_u}$) da resposta real, onde $W_{Q_u}$ é o limite superior da escala. Os autores definiram $\tau = 0,15$, o que efetivamente atua como uma correspondência exata para escalas de 5 pontos, mas permite uma margem de $\pm 15$ pontos para escalas de 100 pontos.

Configuração Experimental

O estudo avaliou nove LLMs de ponta (tanto de pesos abertos quanto de código fechado), incluindo GPT-5.4, Claude Sonnet 4.6, Gemini 3.1 Pro e várias variantes de Qwen e Gemma. Os modelos foram testados sob oito condições de prompt:

1. Sem persona (linha de base).
2. Subconjuntos das três facetas da persona ($D_u$, $E_u$, $A_u$) em todas as combinações não vazias.
3. Variantes incorporando teorias de privacidade (Cálculo de Privacidade, Racionalidade Limitada, Teoria da Motivação de Proteção) como lentes de raciocínio.

Contribuições Principais

1. Benchmark PRIVACYSIM: A primeira suite de avaliação padronizada para avaliar LLMs como simuladores de privacidade em nível individual, utilizando dados reais de usuários de cinco estudos distintos.
2. Análise de Facetas de Persona: Uma investigação sistemática sobre como demografia, experiências anteriores e atitudes declaradas contribuem para a precisão da simulação.
3. Quantificação do Paradoxo da Privacidade: Evidência empírica demonstrando que atitudes declaradas de privacidade, sozinhas, são frequentemente preditores pobres do comportamento real na simulação, destacando a dificuldade de modelar o paradoxo da privacidade.
4. Análise de Dificuldade Agrupada: Identificação de grupos específicos de usuários (baseados em postura e exposição) que são desproporcionalmente difíceis para os LLMs simularem.

Resultados

RQ1: Extensão da Precisão da Simulação

• Fidelidade Limitada: Mesmo o modelo mais forte, Gemini 3.1 Pro, alcançou apenas 40,4% de precisão quando condicionado à combinação de persona mais rica disponível (Experiências Anteriores + Atitudes de Privacidade) em todos os cinco estudos. Isso indica que os LLMs atuais estão longe de simular fielmente decisões individuais de privacidade.
• Valor da Persona: A condição baseada em facetas de persona melhorou consistentemente a precisão em relação à linha de base sem persona (que alcançou ~36–37%). A combinação de Experiências Anteriores ($E_u$) e Atitudes de Privacidade ($A_u$) produziu os melhores resultados, enquanto Demografia ($D_u$) sozinha forneceu ganhos negligenciáveis.
• Variância por Domínio: A qualidade da simulação variou significativamente por domínio. "Consulta de Saúde com LLM" foi o mais difícil de simular (menor precisão), enquanto "Agentes Conversacionais com LLM" e "Chat em Grupo com Chatbot" foram mais fáceis.

RQ2: Grupos Mais Difíceis de Simular

Usando uma taxonomia de (postura, exposição), os autores identificaram clusters distintos de usuários:

• Grupo Mais Difícil: Usuários com baixa preocupação declarada com privacidade, mas alta exposição a IA/chatbots ("Baixa postura / Alta exposição") foram os mais difíceis de simular, alcançando a menor precisão (36,51%) e o menor ganho com a condição de persona (+1,07 pontos percentuais). Os autores hipotetizam que os LLMs inferem incorretamente que esses usuários estão menos preocupados do que realmente estão, falhando em capturar a divergência entre sua baixa preocupação declarada e seu comportamento real moldado pelo uso extensivo.
• Grupo Mais Fácil: Usuários com alta preocupação declarada e exposição moderada foram os mais fáceis de simular, mostrando a maior melhoria com a condição de persona (+8,53 pontos percentuais).

RQ3: Características do Modelo e Prompting

• Esforço de Raciocínio: O aumento do esforço de raciocínio (por exemplo, de baixo para médio) teve um impacto negligenciável na precisão (<1 ponto percentual).
• Tamanho do Modelo: A escalada do tamanho do modelo dentro de uma família (por exemplo, Mini vs. Completo, 27B vs. 122B) produziu apenas ganhos modestos (0,12 a 1,31 pontos percentuais).
• Prompts Informados por Teoria: Solicitar aos modelos que raciocinem através de teorias de privacidade estabelecidas (Cálculo de Privacidade, Racionalidade Limitada, Teoria da Motivação de Proteção) não melhorou a qualidade da simulação além do sinal fornecido pelas facetas da persona sozinhas.

Significado e Alegações

O artigo conclui que, embora os LLMs possuam uma compreensão de base não trivial de normas gerais de privacidade, eles atualmente carecem da fidelidade para servir como proxies confiáveis para a tomada de decisão de privacidade em nível individual. A lacuna entre o que os usuários dizem (atitudes) e o que fazem (comportamento) permanece o obstáculo central.

Os autores posicionam o PRIVACYSIM como um primeiro passo para entender essas limitações. Eles afirmam que a simulação por LLM é atualmente apropriada apenas para tarefas de baixo risco e estágio inicial (por exemplo, comparar alternativas de design, identificar violações óbvias, gerar hipóteses), mas deve ser acompanhada por estudos com usuários humanos antes de qualquer decisão de implantação. O trabalho sugere que a ponte para a simulação fiel provavelmente exigirá sinais comportamentais mais ricos além do conjunto atual de facetas de persona, em vez de simplesmente escalar modelos ou refinar prompts.