Prosocial Persuasion at Scale? Large Language Models Outperform Humans in Donation Appeals Across Levels of Personalization

Resumo Técnico: Persuasão Prosocial em Escala com Grandes Modelos de Linguagem (LLMs)

1. O Problema e o Contexto

O surgimento de Grandes Modelos de Linguagem (LLMs), como ChatGPT e Gemini, transformou a capacidade de gerar conteúdo persuasivo em escala. Enquanto a literatura acadêmica focou intensamente nos riscos de desinformação gerada por IA, o potencial dessas tecnologias para promover comportamento prosocial (ações que beneficiam outros, como doações de caridade) permanece subexplorado.

Existe uma lacuna de conhecimento sobre se LLMs podem ser tão eficazes quanto humanos na persuasão para ações "custosas" (que envolvem custo real, como dinheiro ou tempo), em contraste com a simples expressão de atitudes. Além disso, há um debate sobre se a personalização de mensagens (adaptada a perfis sociodemográficos) aumenta a eficácia persuasiva dos LLMs ou se a personalização falsa (inexata) gera um efeito de penalidade.

2. Metodologia

Os autores conduziram dois experimentos online pré-registrados para investigar a eficácia de apelos de doação gerados por LLMs versus humanos, sob diferentes níveis de personalização.

• Design Experimental: Fatorial 2 (Fonte do Conteúdo: Humano vs. LLM) × 3 (Personalização: Personalizada vs. Genérica vs. Falsamente Personalizada) dentro dos sujeitos.
• Participantes:
  • Estudo 1: $N = 658$ participantes (amostra representativa dos EUA).
  • Estudo 2: $N = 642$ participantes (amostra representativa dos EUA).
• Procedimento:
  • Os participantes leram seis posts de redes sociais (estilo Twitter/X) de diferentes ONGs de pesquisa contra o câncer.
  • Cada participante foi exposto a todas as condições experimentais (cruzadas com as ONGs).
  • Medidas de Desfecho:
    1. Comportamento Prosocial: Alocação de um bônus real de $0,10 entre as ONGs e o próprio participante.
    2. Engajamento: Botões de "Curtir", "Neutro" ou "Não Curtir".
    3. Persuasão Percebida: Escala Likert de 7 pontos sobre a convicção do apelo.
• Geração de Estímulos:
  • LLMs: Todos os textos foram gerados pelo modelo gpt-4.5-preview (OpenAI).
  • Humanos (Estudo 1): Escritores acadêmicos com formação em ciências comportamentais.
  • Humanos (Estudo 2): Leigos dos EUA, incentivados financeiramente a escrever os melhores apelos para o seu próprio perfil demográfico (para testar a generalização sob condições otimizadas para humanos).
• Personalização: Baseada em dados demográficos coletados (idade, gênero, ideologia política, religiosidade). A condição "falsamente personalizada" apresentava dados demográficos opostos aos reais do participante.

3. Contribuições Chave

• Primeira comparação direta: Este é o primeiro estudo empírico a benchmarkar diretamente a capacidade de persuasão prosocial de LLMs contra humanos em um contexto de doação real (custo financeiro).
• Análise de Personalização: Investiga sistematicamente não apenas o efeito da personalização correta, mas também o impacto negativo da personalização falsa (mismatch) em escala.
• Validação de Robustez: Replicação dos resultados em dois estudos com diferentes perfis de redatores humanos (acadêmicos vs. leigos incentivados), fortalecendo a validade externa das descobertas.

4. Resultados Principais

A. Desempenho da Fonte (LLM vs. Humano):
Em ambos os estudos, o conteúdo gerado por LLMs superou consistentemente o conteúdo escrito por humanos em todas as métricas:

• Doações: Os apelos de LLMs geraram percentuais significativamente maiores do bônus doado (Estudo 1: 14,2% vs. 12,7%; Estudo 2: 13,3% vs. 10,5%).
• Engajamento: Maior taxa de "Curtidas" e menor taxa de "Não Curtidas" para o conteúdo de LLMs.
• Persuasão Percebida: Os participantes avaliaram os textos de LLMs como mais convincentes e emocionalmente envolventes.

B. Efeito da Personalização:

• Penalidade da Falsa Personalização: Mensagens com dados demográficos incorretos ("falsamente personalizadas") resultaram consistentemente em menos doações e menor engajamento do que mensagens genéricas ou corretamente personalizadas. Esse efeito foi particularmente forte para o conteúdo de LLMs.
• Vantagem da Personalização Correta:
  • No Estudo 1, a personalização correta não superou significativamente a mensagem genérica em termos de doação, embora tenha sido melhor que a falsa.
  • No Estudo 2 (onde humanos escreviam para seu próprio grupo), a personalização correta gerou as maiores doações, superando tanto a genérica quanto a falsa. Isso sugere que a qualidade da personalização e a adequação do autor ao público são críticas.

C. Interações:
Não houve interação significativa entre Fonte e Personalização na geração de doações (o LLM foi melhor em todas as condições), mas houve interações no engajamento e persuasão, indicando que a personalização falsa prejudica mais o conteúdo de LLMs do que o humano em certas métricas de avaliação.

5. Significado e Implicações

• Potencial Prosocial da IA: Os resultados desafiam a narrativa de que a IA é apenas uma ferramenta de risco, demonstrando que LLMs podem ser superiores aos humanos na geração de conteúdo que motiva ações altruístas custosas.
• Qualidade e Polimento: Os autores sugerem que a superioridade dos LLMs pode dever-se à fluência gramatical, consistência estilística e uso otimizado de estruturas retóricas e emocionais aprendidas em vastos corpora de texto, o que aumenta a credibilidade percebida.
• Risco da Personalização Incorreta: A descoberta de que a personalização falsa é prejudicial é crucial para a prática. Se os dados do usuário não forem precisos, é melhor usar mensagens genéricas do que tentar personalizar erroneamente, pois o "efeito de backfire" (rejeição) é significativo.
• Aplicações Práticas: Para organizações de arrecadação de fundos (fundraising), a adoção de LLMs pode aumentar a eficiência e o retorno financeiro, desde que haja uma gestão rigorosa dos dados para garantir a precisão da personalização.

Limitações e Futuro:
O estudo foi limitado a amostras dos EUA e a fatores demográficos básicos. O texto destaca a necessidade de investigar se esses resultados se mantêm em culturas não-ocidentais (onde os dados de treinamento dos LLMs podem ser menos representativos) e em contextos interativos (chatbots), além de investigar o efeito da disclosure (quando o usuário sabe que o texto foi feito por IA), o que pode reduzir a vantagem observada.