How Much Does Persuasion Strategy Matter? LLM-Annotated Evidence from Charitable Donation Dialogues

1. Problema e Motivação

O estudo aborda a lacuna no conhecimento sobre quais estratégias de persuasão são estatisticamente associadas a resultados de doação em diálogos. Embora o corpus PersuasionForGood (Wang et al., 2019) tenha sido amplamente utilizado, análises anteriores sofreram de limitações críticas:

• Amostragem limitada: Estudos anteriores analisaram apenas uma fração dos diálogos (ex: 29% do corpus).
• Taxonomia grosseira: Utilizavam esquemas de classificação simplificados (ex: 10 estratégias), incapazes de capturar nuances.
• Falta de correção estatística: Ausência de correções para comparações múltiplas, aumentando o risco de falsos positivos.
• Questão central: A identificação de estratégias por si só é suficiente para explicar a eficácia da persuasão em contextos de doação caritativa?

2. Metodologia

Os autores propuseram uma abordagem rigorosa baseada em três pilares principais:

A. Taxonomia Hierárquica Refinada

Desenvolveram uma taxonomia de 41 estratégias de persuasão agrupadas em 11 categorias, fundamentada nos princípios de influência de Cialdini (1984) e nas estratégias de obtenção de conformidade de Marwell e Schmitt (1967).

• As categorias incluem: Normas/Moralidade/Valores, Apelo Racional/Impacto, Framing, Influência Emocional, Reciprocidade, Indução de Culpa, entre outras.
• Estratégias coercitivas explícitas (ex: Ameaça/Pressão) são quase inexistentes no corpus (0,2% dos turnos).

B. Anotação com Grandes Modelos de Linguagem (LLMs)

Em vez de anotação humana tradicional (que seria inviável para a escala e granularidade desejada), utilizaram três modelos de código aberto distintos para anotar todos os 10.600 turnos dos persuasores no corpus de 1.017 diálogos:

1. Qwen3:30b: Anotador principal.
2. Mistral-Small-3.2 e Phi-4: Usados como verificações de robustez.

• Processo: Prompting hierárquico (seleção de categoria pai, depois estratégia específica) com temperatura baixa (0,1) para determinismo.
• Anotação de Alvo: Os turnos dos destinatários foram anotados para sentimento (negativo/neutro/positivo) e interesse na doação.
• Validação: A concordância entre modelos foi moderada ($\kappa$ entre 0,38 e 0,54 em nível de estratégia), mas os resultados-chave replicaram-se consistentemente entre os três modelos.

C. Análise Estatística

• Testes de qui-quadrado bivariados com correções de Bonferroni e Benjamini-Hochberg (FDR) para múltiplas comparações.
• Regressão logística multivariada para avaliar efeitos independentes, controlando por sentimento e interesse do alvo.

3. Principais Resultados

A. Limitação das Categorias de Estratégia

• As categorias de estratégia, isoladamente, explicam muito pouca variância no resultado da doação ($R^2$ pseudo $\approx 0,015$).
• Nenhuma das 11 categorias atingiu significância estatística isolada, sugerindo que a simples presença de uma categoria não garante sucesso.

B. O Efeito "Backfire" da Indução de Culpa

• Descoberta Crítica: A estratégia de Indução de Culpa (Guilt Induction) é a única significativamente associada a taxas de doação mais baixas.
• Magnitude: Diálogos com indução de culpa tiveram uma taxa de doação de 32,7%, contra 56,0% nos diálogos sem ela (diferença de -23 pontos percentuais).
• Valor doado: O montante médio doado foi 3,5 vezes menor em diálogos com culpa.
• Robustez: Este efeito negativo replicou-se em todos os três modelos de LLM, apesar das discrepâncias na contagem exata de turnos rotulados.
• Interpretação: Alinhado com a teoria da reação psicológica (Brehm, 1966), a culpa ameaça a autonomia do alvo, gerando resistência em vez de conformidade.

C. Fatores Positivos: Reciprocidade e Compromisso

• Reciprocidade: É o correlato positivo mais robusto. Diálogos com essa estratégia tiveram 72,2% de taxa de doação vs. 52,2% sem ela.
• Compromisso/Consistência: Mostrou associação positiva, embora menos robusta que a reciprocidade.
• Causalidade Reversa: É possível que persuasores usem essas estratégias após o alvo já sinalizar interesse, em vez de causarem o interesse.

D. Predição por Sentimento e Interesse do Alvo

• O sentimento e o interesse expressos pelo alvo são os preditores mais fortes de se uma doação ocorrerá (ambos $p < 0,001$).
• No entanto, o sentimento e o interesse têm correlação fraca ou nula com o montante doado entre os que doaram.
• Em modelos de regressão logística, o sentimento e o interesse do alvo dominam a explicação da variância ($R^2$ sobe de 0,015 para 0,082), reduzindo o impacto de algumas estratégias (como Compromisso) a níveis não significativos.

4. Contribuições Principais

1. Corpus Anotado em Escala: Lançamento de um recurso público com anotações completas para todos os 1.017 diálogos do PersuasionForGood, cobrindo 41 estratégias e sentimentos do alvo.
2. Evidência Empírica Robusta: Demonstração de que a taxonomia de estratégias tem poder preditivo limitado isoladamente e que a indução de culpa é contraproducente em contextos prosociais.
3. Metodologia de Validação com Múltiplos LLMs: Estabelecimento de um padrão para uso de múltiplos modelos de linguagem como anotadores independentes para mitigar viéses de um único modelo, validando a robustez dos achados.

5. Significado e Implicações

• Para Sistemas de Diálogo Prosocial: O design de assistentes virtuais para arrecadação de fundos deve evitar apelos baseados em culpa, pois eles reduzem a probabilidade de doação.
• Para Pesquisa em Persuasão: A identificação de estratégias não é suficiente para prever o sucesso; a dinâmica da conversa, a sequência de estratégias e a resposta emocional do alvo (sentimento/interesse) são fatores mediadores cruciais.
• Para o Uso de LLMs na Ciência Social: O estudo valida o uso de LLMs para anotação de grandes corpora em tarefas complexas, desde que se utilize múltiplos modelos e se reconheça a natureza correlacional (não causal) dos dados observacionais.

Limitações Notadas

• A anotação é correlacional; não se pode estabelecer causalidade definitiva sem experimentos controlados.
• A concordância moderada entre modelos em rótulos finos sugere ruído, embora os efeitos principais sejam robustos.
• A anotação de um único rótulo por turno pode subestimar estratégias co-ocorrentes.