Resumo Técnico: Prompts de Segurança e Privacidade no Mundo Real

Definição do Problema

Embora os Grandes Modelos de Linguagem (LLMs) sejam cada vez mais utilizados como fontes cotidianas de informação, seu papel em segurança e privacidade digital (S&P) permanece pouco estudado. Pesquisas anteriores sobre a qualidade de resposta de LLMs em domínios de S&P basearam-se em equívocos elaborados por especialistas ou FAQs, em vez de consultas reais de usuários. Consequentemente, não está claro quais perguntas específicas de S&P os usuários fazem aos LLMs, quão bem os modelos as respondem e se as respostas são consistentes entre consultas repetidas. Conselhos de S&P imprecisos ou contraditórios podem levar a consequências no mundo real, como contas comprometidas ou identidades digitais expostas, e orientações conflitantes podem minar os comportamentos protetivos dos usuários.

Metodologia

O estudo utilizou o WildChat, um conjunto de dados de 3,2 milhões de conversas de usuários reais, para construir um corpus representativo de interações de S&P.

1. Curadoria e Classificação de Dados:

   • De 1,7 milhão de prompts únicos em inglês (após filtragem de toxicidade, comprimento e conteúdo não relacionado a S&P), os autores identificaram 14.727 prompts de S&P usando um classificador de votação majoritária de três LLMs (Qwen 3, Calme 3.2 e GPT 5.2).
   • Esses prompts foram categorizados em nove tópicos de S&P (ex: Conta e Autenticação, Privacidade de Dados, Engenharia Social) com base em uma taxonomia adaptada da literatura anterior.

2. Análise Temática (RQ1):

   • Uma amostra estratificada de 450 prompts (50 por categoria) passou por análise temática realizada por dois pesquisadores. Este processo gerou seis temas primários e 22 subtemas para caracterizar a intenção do usuário.

3. Avaliação de Qualidade e Consistência de Resposta (RQ2 & RQ3):

   • Os autores curaram 270 prompts de "busca de conselhos" (pedidos de recomendações, orientação ou informações específicas), excluindo tarefas de codificação ou escrita criativa.
   • Modelos Avaliados: Cinco LLMs foram testados: três comerciais (GPT 5.5, Gemini 3.1, Claude 4.7) e dois de pesos abertos (Qwen 3, Llama 4).
   • Procedimento: Cada prompt foi consultado 10 vezes por modelo para gerar 2.700 respostas por modelo.
   • Métrica de Qualidade: As respostas foram pontuadas usando um método de checklist de LLM-como-juiz. Checklists binários especificando componentes de respostas corretas foram gerados para cada prompt. As pontuações (1–10) foram calculadas pela média de três modelos avaliadores para mitigar o viés de auto-preferência.
   • Métrica de Consistência: A consistência foi medida usando implicação bidirecional em citações de evidências extraídas pelos modelos avaliadores. Um prompt foi considerado consistente se a pontuação de implicação entre pares de respostas ao longo das 10 execuções excedesse 0,5.

Principais Contribuições

• Primeira Caracterização Empírica: Este estudo fornece a primeira análise de prompts de S&P do mundo real direcionados a LLMs, indo além de conjuntos de dados sintéticos ou curados por especialistas.
• Taxonomia de Intenção do Usuário: A pesquisa identifica padrões de interação únicos, incluindo usuários tratando os LLMs como agentes defensivos, sondando o funcionamento interno do modelo e fazendo solicitações adversariais.
• Estrutura de Avaliação Dupla: O artigo demonstra que a qualidade e a consistência da resposta são dimensões distintas de confiabilidade, necessitando de métricas de avaliação separadas em contextos de S&P.

Resultados

1. Análise Temática de Prompts de Usuários

A análise de 450 prompts revelou seis temas:

• Conhecimento Geral (33,3%): O tema mais prevalente, incluindo consultas informativas amplas e questões do tipo exame.
• Navegação do Lado do Usuário (20,9%): Focado em resposta a incidentes, como a redação de cartas de apelação para banimentos de conta.
• Ação Defensiva (11,8%): Usuários buscando avaliações protetivas (ex: "Este app é seguro?") ou estratégias de contra-fraude (ex: scam-baiting).
• Inquérito sobre o LLM (10,2%): Usuários sondando o próprio sistema do modelo, dados de treinamento e práticas de privacidade (ex: "Nossas conversas são gravadas?").
• Solicitações Prejudiciais e Ofensivas (6,9%): Pedidos para auxiliar em ataques, incluindo doxxing direcionado a pessoas, exploração de sistemas e contorno de plataformas.
• Produção de Tarefas de S&P: Pedidos para gerar conteúdo relacionado à segurança.

2. Qualidade de Resposta

Modelos comerciais superaram significativamente os modelos de pesos abertos:

• GPT 5.5 alcançou a maior pontuação média (8,67/10), com 98% dos prompts recebendo uma classificação "boa" ou superior (pontuação ≥ 7).
• Gemini 3.1 (8,52) e Claude 4.7 (8,47) seguiram de perto.
• Qwen 3 pontuou 7,90, enquanto o Llama 4 teve a menor pontuação, 6,71, com apenas 47% de suas respostas atingindo o limiar de "boa".
• Achados Qualitativos: Respostas de alta qualidade foram factualmente precisas e eticamente apropriadas. Respostas de baixa qualidade frequentemente falharam na precisão factual (ex: alucinar funcionalidades) ou violaram critérios éticos ao fornecer instruções prejudiciais sem avisos.

3. Consistência de Resposta

A consistência não correlacionou estritamente com a qualidade:

• Llama 4 produziu as respostas mais consistentes (97,4% dos prompts tiveram execuções não contraditórias), apesar de ter a menor qualidade média.
• GPT 5.5 também foi altamente consistente (97,0%).
• Qwen 3 foi o menos consistente (89,6%).
• Observação Crítica: Mesmo modelos de alta qualidade (ex: Gemini 3.1) ocasionalmente produziram conselhos contraditórios sobre o mesmo prompt entre as execuções (ex: configurações de permissão de sistema de arquivos conflitantes), o que representa um risco de confundir os usuários.

Significância e Alegações

O artigo afirma preencher uma lacuna crítica na compreensão de como os usuários interagem com LLMs para segurança e privacidade. Sua principal significância reside em:

1. Revelar Dinâmicas de Uso Dual: O estudo destaca que os LLMs funcionam não apenas como fontes de informação, mas como agentes interativos para tarefas de S&P tanto defensivas quanto ofensivas. Isso cria um "problema de detecção de dois lados", onde os modelos devem recusar solicitações maliciosas sem recusar excessivamente consultas defensivas legítimas.
2. Expansão da Superfície de Ataque: Usuários sondam ativamente os LLMs em busca de informações internas (chaves de API, dados de treinamento), deslocando parte da superfície de ataque para o próprio modelo.
3. Dimensões de Confiabilidade: Os autores argumentam que a qualidade e a consistência da resposta são dimensões complementares. Em contextos de S&P, um modelo que fornece conselhos de alta qualidade, porém contraditórios, pode ser tão prejudicial quanto um modelo de baixa qualidade, pois a inconsistência corrói a confiança do usuário e os comportamentos protetivos.
4. Imperativo de Avaliação: Trabalhos futuros e o implantação de modelos em domínios de S&P devem avaliar e relatar tanto a qualidade quanto a consistência para caracterizar plenamente a confiabilidade.

Os autores reconhecem limitações, incluindo um potencial viés para usuários tecnicamente mais instruídos no conjunto de dados WildChat, foco em prompts em inglês e análise de prompts de turno único em vez de diálogos de múltiplos turnos.