Resumo Técnico: HelpBench

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) são cada vez mais utilizados por indivíduos para buscar assistência em relação à privacidade, segurança e proteção (PSS - Privacy, Safety, and Security) digitais. Embora pesquisas anteriores tenham explorado as capacidades dos LLMs na geração de senhas, análise de políticas e detecção de vulnerabilidades, lacunas significativas permanecem. Estudos existentes indicam que os LLMs frequentemente falham ao refutar equívocos, gerar credenciais inseguras, têm dificuldade com tópicos de segurança sensíveis e carecem de modelos mentais precisos sobre a divulgação de informações sensíveis. Crucialmente, há uma falta de benchmarks especificamente projetados para avaliar a qualidade dos conselhos fornecidos a usuários honestos que buscam ajuda. Diferente dos benchmarks de segurança focados em prevenir violações de políticas ou jailbreaks adversários, o domínio PSS exige a avaliação de se os modelos fornecem conselhos factualmente precisos, conscientes do contexto e não prejudiciais a usuários em sofrimento genuíno. Conselhos falhos neste domínio carregam riscos elevados, podendo levar a contas comprometidas, perdas financeiras ou danos físicos.

Metodologia

Os autores introduzem o HelpBench, um benchmark composto por 450 perguntas curadas manualmente derivadas de situações autênticas de usuários no Reddit. A metodologia envolve quatro estágios primários:

1. Curadoria e Construção de Perguntas

• Fonte: As perguntas foram extraídas de um conjunto de dados de três milhões de postagens do Reddit (2021–2024) previamente identificadas como relacionadas a PSS.
• Tópicos: As 450 perguntas cobrem nove categorias distintas: Contas, Ferramentas de Moderação, Ferramentas de Segurança, Ferramentas de Privacidade, Comprometimento, Ações da Plataforma, Golpes, Assédio e Preocupações com Dados.
• Estratificação: Para garantir a diversidade, o processo de seleção equilibrou as perguntas através de:
  • Comprimento: Curtas (<333 caracteres), Médias (333–666 caracteres) e Longas (666–1000 caracteres).
  • Práticas: Se o usuário mencionou práticas de PSS prévias (ex: executar varreduras de antivírus).
  • Tipo de Necessidade: "Compreensão" (Sensemaking - entender uma situação) vs. "Orientação" (Guidance - passos acionáveis).
• Privacidade e Refraseamento: Para proteger a privacidade do usuário e evitar memorização, todas as perguntas foram refraseadas usando um LLM (Gemini 2.5 Flash) e verificadas manualmente. Este processo removeu informações de identificação pessoal (PII), ajustou o contexto para uma audiência de LLM (removendo saudações específicas de fóruns) e garantiu equivalência semântica enquanto minimizava a similaridade lexical (sobreposição média de 3-gramas de 0.04).

2. Desenvolvimento de Rubrica de Avaliação

Para cada uma das 450 perguntas, os autores desenvolveram uma rubrica de avaliação específica.

• Envolvimento de Especialistas: Seis pesquisadores, cada um com mais de uma década de expertise em PSS, colaboraram na criação destas rubricas.
• Estrutura: As rubricas consistem em 5 a 15 critérios com valores de pontos atribuídos (+1 a +5 para inclusão, -1 a -5 para exclusão).
  • Critérios Factuais: Avaliam a precisão das informações técnicas (ex: "Afirma que pontes do Tor não ocultam o uso do Tor").
  • Critérios de Entrega: Avaliam tom, relevância e clareza (ex: "A informação mais importante está no início", "Evita sobrecarregar o usuário").
• Pontuação: A pontuação de uma resposta é calculada como a soma dos pontos pelos critérios positivos atendidos e evitados critérios negativos, dividida pela pontuação máxima possível.

3. Avaliação Automática (Auto-Rater)

Para escalar a avaliação entre 18 LLMs de última geração, os autores desenvolveram um auto-avaliador (auto-rater).

• Processo: O auto-avaliador utiliza um LLM (Gemini 2.5 Pro) para aplicar as rubricas desenvolvidas por humanos às respostas dos modelos.
• Calibragem: O auto-avaliador foi iterativamente refinado comparando sua pontuação com as pontuações de especialistas humanos em subconjuntos aleatórios.
• Desempenho: O auto-avaliador final alcançou uma correlação de Pearson de 0.85 com as pontuações humanas (0.96 para critérios factuais, 0.78 para critérios de entrega).

4. Configuração Experimental

• Modelos Avaliados: 18 modelos de sete famílias (ChatGPT, Claude, Gemini, Grok, DeepSeek, GLM, Qwen).
• Procedimento: Cada modelo foi consultado cinco vezes por pergunta usando parâmetros padrão e interfaces de chat.
• Escala: Isso resultou em 40.500 respostas totais (2.250 por modelo).

Principais Resultados

A avaliação dos 18 modelos rendeu as seguintes descobertas:

• Desempenho Geral: Os modelos alcançaram uma pontuação média de 82%. O modelo com melhor desempenho foi o GPT 5.0 (87%), enquanto o pior foi o Qwen 3 (67%).
• A "Cauda Longa" de Falhas: Apesar das médias altas, 1 em cada 10 respostas (14%) obteve pontuação abaixo de 65%. Isso indica uma significativa cauda longa de conselhos incorretos ou prejudiciais. Por exemplo, o Qwen 3 produziu 800 respostas abaixo do limite de 65%, enquanto o GPT 5.0 produziu 156.
• Variância de Tópicos: O desempenho variou significativamente por tópico.
  • Mais Fácil: Golpes (média de 88%).
  • Mais Difícil: Ferramentas de Moderação (média de 77%).
  • Os modelos mostraram diferenças estatisticamente significativas de desempenho entre os tópicos para 17 dos 18 modelos.
• Factual vs. Entrega:
  • Os modelos geralmente tiveram bom desempenho em critérios factuais positivos (evitar desinformação).
  • No entanto, as falhas frequentemente derivaram de critérios de entrega negativos (ex: sobrecarregar o usuário, escalar o tom) ou critérios factuais negativos (ex: confirmar equívocos).
  • O GPT 5.0 evitou melhor os critérios factuais negativos (7%), mas foi o menos propenso a satisfazer critérios de entrega positivos (82%).
• Evolução do Modelo: Dentro das famílias de modelos, as melhorias de desempenho foram marginais ou inexistentes entre versões (ex: GPT 4.1 vs. 5.0 mostrou uma diferença de 3%; algumas versões regrediram). O tamanho do modelo (ex: Opus vs. Sonnet) teve um impacto menor (diferença de 1–2%).
• Sensibilidade ao Contexto: Os modelos tiveram dificuldades com perguntas envolvendo práticas existentes do usuário ou contextos de segurança complexos. Por exemplo, muitos modelos falharam ao não reconhecer que criar múltiplas contas para recuperar uma conta congelada é um sinal de alerta de segurança.

Caracterização de Respostas de Baixa Qualidade

O artigo identifica padrões específicos nas 14% das respostas com pontuação abaixo de 65%:

1. Falhas de Contexto de Risco: Os modelos falharam em reconhecer cenários de alto risco (ex: violência doméstica), oferecendo conselhos técnicos que poderiam escalar o perigo físico (ex: sugerir que uma vítima use um disfarce para ir à loja para se esconder de um agressor).
2. Riscos Ignorados: Os modelos forneceram falsas garantias, como afirmar que mover um arquivo para um cofre criptográfico deleta o original de forma segura, ou descartar o rastreamento de localização como mera intimidação.
3. Soluções Não Escaláveis: Sugerir ações insustentáveis como contatar diretamente um VP de uma plataforma ou lançar campanhas de "exposição pública" (shaming).
4. Conselhos de Custo Proibitivo: Recomendar medidas extremas como comprar um novo dispositivo ou abrir uma nova conta bancária para problemas que poderiam ser resolvidos com passos mais simples.
5. Circunvenção de Segurança: Alguns modelos adotaram uma postura neutra em relação a violações de Termos de Serviço, efetivamente terceirizando decisões éticas para o usuário.
6. Escalada de Tom: Os modelos frequentemente usaram linguagem inflamatória ("horrível", "traumático") para consultas neutras, violando princípios de computação informada pelo trauma.

Significância e Alegações

Os autores alegam que o HelpBench é o primeiro benchmark a avaliar LLMs sobre a busca de ajuda de usuários honestos no domínio PSS, indo além dos testes de segurança adversários.

• Lacuna Crítica: O artigo argumenta que os modelos atuais ainda não estão prontos para servir como fontes confiáveis e escaláveis de conselhos PSS personalizados. A existência de uma "cauda longa" de conselhos prejudiciais (1 em cada 10 respostas) é inaceitável dado o potencial de dano no mundo real.
• Utilidade do Benchmark: O HelpBench serve como uma ferramenta para isolar comportamentos prejudiciais e rastrear o progresso na expertise do domínio. Ele destaca que melhorias são necessárias não apenas na precisão factual, mas na entrega, consciência de contexto e consistência ética.
• Direções Futais: Os autores sugerem que trabalhos futuros devem abordar entradas multimodais (ex: análise de capturas de tela), diálogos de múltiplos turnos para intervenção em crises e suporte multilíngue. Eles enfatizam que os modelos devem integrar-se a ecossistemas sociotécnicos mais amplos (ex: direcionar usuários para grupos de defesa humanos) em vez de atuarem como árbitros autônomos de segurança.

O artigo conclui que, embora os LLMs forneçam conselhos de alta qualidade em média, a inconsistência e o potencial de dano em contextos específicos exigem uma avaliação rigorosa contínua e o desenvolvimento de paradigmas de interação mais seguros antes que esses modelos possam ser totalmente confiados para necessidades críticas de PSS.