Benchmarking Political Persuasion Risks Across Frontier Large Language Models

Este estudo avalia sete modelos de linguagem de ponta em dois experimentos com mais de 19 mil participantes, descobrindo que eles superam anúncios de campanha tradicionais em persuasão política, com o Claude apresentando o maior impacto e o Grok o menor, além de revelar que o uso de prompts baseados em informações afeta a eficácia persuasiva de forma dependente do modelo específico.

O essencial

Imagine que a política é como um grande jogo de debate em uma praça pública. Antigamente, para convencer as pessoas a mudarem de ideia, os candidatos usavam cartazes, discursos na TV e conversas de porta em porta. Mas agora, uma nova força entrou no jogo: os Inteligências Artificiais (IAs) conversando diretamente com você.

Este estudo é como um "teste de força" para ver quem é o melhor jogador nesse novo cenário. Os pesquisadores colocaram 7 IAs de ponta (as mais inteligentes do mundo em 2025/2026) para conversar com quase 20.000 pessoas reais sobre temas polêmicos, como aumentar o salário mínimo ou a educação para imigrantes.

Aqui está o que eles descobriram, traduzido para uma linguagem simples:

1. As IAs são "Campeãs de Vendas" (e isso é perigoso)

Imagine que um vendedor de carros experiente tenta te convencer a comprar um carro. Agora, imagine que um robô superinteligente tenta fazer o mesmo. O estudo descobriu que esses robôs são mais persuasivos do que os anúncios de TV reais.

• A Analogia: Se a propaganda tradicional é como um vendedor batendo na sua porta, a IA é como um amigo muito próximo que conhece todos os seus medos e desejos, e sabe exatamente o que dizer para você mudar de ideia. Elas conseguem mudar a opinião das pessoas mais do que os humanos conseguem.

2. Nem todas as IAs são iguais: O "Podium" da Persuasão

Assim como em uma corrida de Fórmula 1, nem todos os carros (ou IAs) têm o mesmo motor. O estudo criou um ranking:

• 🥇 O Vencedor (Claude): A IA da empresa Anthropic (Claude) foi a campeã absoluta. Ela foi a mais convincente, como um orador nato que consegue tocar o coração e a mente de qualquer pessoa.
• 🥈 O Meio de Campo (GPT e Gemini): As IAs da OpenAI (GPT) e do Google (Gemini) ficaram no meio. Elas são boas, mas não tão "mágicas" quanto a Claude.
• 🥉 O Último Lugar (Grok): A IA do xAI (Grok) foi a menos convincente. Ela tentou, mas não conseguiu mudar tantas opiniões quanto as outras.

A lição: A tecnologia não é uniforme. Algumas IAs são perigosamente boas em manipular opiniões, enquanto outras são mais fracas.

3. O Truque dos "Dados" nem sempre funciona

Havia uma teoria de que, se você pedisse para a IA usar apenas fatos e números (como um cientista), ela seria mais convincente. O estudo mostrou que isso é um mito, dependendo de qual IA você usa:

• Para a Claude e a Grok: Dar mais dados ajudou um pouco.
• Para a GPT (OpenAI): Pedir para usar dados foi um desastre! A IA ficou tão focada em listar números que perdeu a conexão emocional e perdeu a capacidade de convencer.
• A Analogia: É como pedir para um comediante fazer uma palestra de física. Para alguns, funciona; para outros, o humor some e a plateia fica entediada. O "estilo" da IA importa mais do que o conteúdo que você pede.

4. O Segredo do Sucesso: Não é só "Fatos", é "Ação"

Os pesquisadores analisaram como as IAs conversavam. Elas descobriram que as IAs mais persuasivas não usavam apenas estatísticas. Elas usavam estratégias humanas:

• Chamadas para Ação: Elas diziam coisas como: "Ligue para seu representante agora", "Assine esta petição", "Vá à reunião na terça-feira".
• Empatia e Validação: Elas diziam: "Eu entendo sua preocupação, é justo você se sentir assim".
• O que NÃO funcionou: Apenas jogar números e fontes (o que a IA "Informação" tentava fazer) não foi o fator principal que fez as pessoas mudarem de ideia.

5. Por que isso é um alerta vermelho?

O estudo termina com um aviso importante. Se essas IAs são capazes de mudar a opinião de milhares de pessoas mais rápido e melhor do que qualquer campanha política humana, isso cria um risco enorme para a democracia.

• O Cenário de Pesadelo: Imagine que um grupo mal-intencionado "hackeie" ou controle essas IAs. Eles poderiam enviar milhões de mensagens personalizadas para grupos específicos de pessoas, manipulando eleições ou criando ódio em massa em questão de horas. Seria como ter um exército de "lobos de guerra" digitais que nunca dormem e sabem exatamente o que dizer para cada pessoa.

Resumo Final

Este estudo nos diz que as IAs evoluíram muito rápido. Elas não são apenas chatbots que respondem perguntas; elas são máquinas de persuasão poderosas. Algumas são mais perigosas que outras, e o simples uso de "fatos" não é a chave para o sucesso delas. O verdadeiro poder está na capacidade de criar uma conexão emocional e incentivar a ação imediata.

Precisamos vigiar essas ferramentas com cuidado, pois elas podem ser usadas para construir pontes de entendimento ou, infelizmente, para derrubar os alicerces da nossa democracia.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Benchmarking Political Persuasion Risks Across Frontier Large Language Models", apresentado em português:

1. Problema e Contexto

A persuasão política é um elemento central dos sistemas democráticos, mas o avanço dos Modelos de Linguagem de Grande Escala (LLMs) de ponta ("frontier models") levantou preocupações sobre sua capacidade de influenciar atitudes políticas em escala.

• Lacuna na Literatura: Estudos anteriores (ex: Hackenburg et al., 2025b; Lin et al., 2025) focaram em modelos mais antigos (como GPT-3, GPT-4, Claude 3.5) e não compararam diretamente a persuasão de IA com campanhas publicitárias humanas padrão. Além disso, a maioria das pesquisas não analisou as estratégias retóricas emergentes dos modelos mais recentes.
• O Cenário Atual: O lançamento de modelos "frontier" no final de 2025 (Claude Sonnet 4.5, Gemini 3, GPT-5, Grok 4) trouxe saltos significativos em raciocínio e capacidade de agência. É urgente determinar se essas melhorias técnicas se traduzem em um aumento perigoso no poder de persuasão política.

2. Metodologia

Os autores conduziram dois experimentos de pesquisa randomizados (RCTs) com um total de N = 19.145 participantes recrutados via Prolific.

Estudo 1 (Agosto de 2025)

• Modelos Testados: Claude Sonnet 4, Gemini 2.5 Flash, GPT-4.1 e Grok 4.
• Tópicos: Aumento do salário mínimo (posição anti-aumento) e Imigração (posição pró-tuition para imigrantes ilegais).
• Condições:
  • Placebo: Vídeos não políticos.
  • Persuasão Humana: Vídeos de campanha política padrão (30-60s).
  • Chatbot de IA: Conversas interativas de texto.
• Variáveis de Tratamento:
  • Prompt Genérico: Instrução simples para persuadir.
  • Prompt Baseado em Informação: Instrução explícita para usar fatos, dados e evidências (baseado em Hackenburg et al., 2025b).
• Análise: Comparação dos efeitos de tratamento (mudança de atitude) entre IA e humanos, e entre os diferentes modelos.

Estudo 2 (Novembro de 2025)

• Modelos Testados: Versões mais recentes: Claude Sonnet 4.5, Gemini 3, GPT-5 e Grok 4.
• Desenho: Sem condição humana (pois o Estudo 1 já mostrou que a IA superou humanos). Foco em dois posicionamentos (Stances): persuadir apoiadores a se oporem e opositores a apoiarem (contra a visão prévia do participante).
• Análise de Estratégias (Novo Método):
  • Desenvolvimento de uma abordagem agnóstica e orientada por dados para análise de conversas.
  • Uso de um LLM (GPT-5 mini) para descobrir mecanismos persuasivos emergentes a partir de amostras de conversas (Fase 1: Descoberta).
  • Uso de outro LLM (GPT-5.2) para classificar 4.790 conversas completas em 10 dimensões de estratégia (Fase 2: Análise Quantitativa).
  • Validação humana confirmou alta correlação nas classificações.

3. Principais Contribuições

1. Benchmarking de Risco: Primeira avaliação sistemática comparando modelos de ponta de 2025 com campanhas publicitárias humanas reais.
2. Descoberta de Estratégias Emergentes: Abandono de taxonomias pré-definidas para identificar estratégias que surgem organicamente do comportamento do modelo.
3. Análise de Heterogeneidade de Prompt: Demonstração de que a eficácia de prompts de "informação" não é universal, mas depende criticamente do modelo subjacente.

4. Resultados Chave

A. Persuasão vs. Humanos

• IA supera Humanos: Os LLMs de ponta foram significativamente mais persuasivos do que os anúncios de campanha política humanos padrão.
  • Efeito médio dos LLMs (binário): ~0.203 pontos de escala vs. 0.135 para humanos (Imigração).
  • Isso contrasta com estudos anteriores que não encontravam diferença significativa entre IA antiga e humanos.

B. Ranking de Desempenho dos Modelos

Existe uma hierarquia consistente de persuasão entre os modelos:

1. Claude (Sonnet 4 e 4.5): O modelo mais persuasivo em todas as condições.
2. GPT (4.1 e 5) e Gemini (2.5 e 3): Desempenho intermediário e semelhante entre si.
3. Grok 4: Consistentemente o modelo menos persuasivo, embora ainda superasse os humanos.

C. Efeito dos Prompts (Informação vs. Genérico)

• Dependência do Modelo: Ao contrário de estudos anteriores que sugeriam que prompts baseados em informação aumentam a persuasão, este estudo encontrou um efeito heterogêneo:
  • Claude e Grok: O prompt de informação aumentou a persuasão.
  • GPT-5: O prompt de informação reduziu substancialmente a persuasão (o prompt genérico foi muito mais eficaz).
  • Gemini: Efeito misto/neutro.
• Conclusão: Não existe uma estratégia de prompt "melhor" universal; a eficácia é intrinsecamente ligada à arquitetura do modelo.

D. Análise de Estratégias Persuasivas

A análise de conversas revelou quais táticas correlacionam-se com maior mudança de atitude:

• Estratégia Mais Eficaz: "Call-to-Action Messaging" (Chamada para Ação). Modelos que sugeriam ações concretas fora do chat (ex: "ligue para seu representante", "assinem a petição") tiveram os maiores efeitos de persuasão.
• Estratégia Ineficaz: "Explicit Sources, Evidence & Numbers" (Fontes explícitas e números). Embora o prompt de informação forçasse o uso de dados, a presença de estatísticas e citações não correlacionou com maior persuasão e, em alguns casos (como no GPT), prejudicou o desempenho.
• Estratégias Negativas: "Argumentative Framing" (enquadramento argumentativo/rebatendo o usuário) e "Hedging" (hesitação) correlacionaram-se com menor persuasão.

E. Assimetria de Direção

• A persuasão foi assimétrica: os modelos foram significativamente mais eficazes ao persuadir os participantes a apoiar políticas (posição geralmente democrática/liberal nos temas testados) do que a opor-se a elas (posição republicana/conservadora).
• Nota: Os autores alertam que isso pode ser devido à suscetibilidade dos participantes, viés de seleção da amostra (Prolific) ou características dos modelos, e não necessariamente uma superioridade intrínseca da IA em persuadir para a esquerda.

5. Significado e Implicações

• Risco Democrático: O fato de os LLMs superarem campanhas humanas reais indica um risco potencial grave para a deliberação democrática. Agentes maliciosos poderiam usar esses sistemas para campanhas de persuasão em massa, rápidas e altamente personalizadas.
• Segurança de IA: A descoberta de que "Call-to-Action" é a alavanca mais poderosa, e não a "verdade factual", sugere que os mecanismos de segurança atuais focados em precisão factual podem não mitigar riscos de persuasão.
• Recomendações: É necessário um monitoramento contínuo e benchmarks cruzados à medida que os modelos evoluem. Desenvolvedores e formuladores de políticas devem considerar o risco de persuasão como uma métrica central de segurança, além de precisão e viés.

Em resumo, o artigo demonstra que a nova geração de IAs não apenas igualou, mas superou a persuasão humana tradicional, com capacidades que variam drasticamente entre modelos e que são sensíveis a nuances de prompt, exigindo novas abordagens para avaliação de risco e governança.