Prosocial Persuasion at Scale? Large Language Models Outperform Humans in Donation Appeals Across Levels of Personalization

1. Il Problema di Ricerca

L'articolo affronta un vuoto nella letteratura scientifica riguardante l'impatto dei Large Language Models (LLM) sulla persuasione prosociale. Mentre la ricerca precedente si è concentrata sui rischi degli LLM (come la generazione di disinformazione su larga scala), il loro potenziale per promuovere comportamenti prosociali costosi (come le donazioni di denaro) è stato poco esplorato.
Le domande centrali sono:

• Gli appelli alle donazioni generati dagli LLM sono efficaci quanto, o più di, quelli scritti da esseri umani?
• La personalizzazione dei messaggi (basata su dati demografici, ideologici e religiosi) aumenta l'efficacia persuasiva degli LLM rispetto ai messaggi generici?
• Esiste un "effetto di penalità" per la personalizzazione falsa (quando i dati non corrispondono al destinatario)?

2. Metodologia

Gli autori hanno condotto due esperimenti online preregistrati con un disegno fattoriale 2x3 all'interno dei soggetti.

• Campioni:
  • Studio 1: N = 658 partecipanti (campione rappresentativo degli USA).
  • Studio 2: N = 642 partecipanti (campione rappresentativo degli USA).
• Design Sperimentale:
  • Fonte del Contenuto: Umano vs. LLM (GPT-4.5-preview).
  • Personalizzazione: Generico vs. Personalizzato (basato su cluster demografici reali) vs. Falsamente Personalizzato (profilo demografico errato).
• Procedura:
  • I partecipanti hanno visualizzato sei post sui social media (simulati come post su X/Twitter) provenienti da diverse organizzazioni di ricerca sul cancro.
  • Ogni partecipante ha valutato la persuasività (scala Likert 1-7), l'engagement (Mi piace/Neutro/Non mi piace) e ha potuto allocare un bonus di $0,10 tra le organizzazioni (misura comportamentale reale di donazione).
• Differenze tra gli studi:
  • Studio 1: I testi umani sono stati scritti da studenti laureati in scienze comportamentali.
  • Studio 2: I testi umani sono stati scritti da "laypeople" (cittadini comuni) degli USA, reclutati dalla stessa popolazione dei partecipanti, con un incentivo finanziario ($10 bonus per i top 10 post più efficaci) e istruiti a scrivere per il proprio stesso gruppo demografico. Questo studio ha testato la robustezza del risultato in condizioni ottimizzate per gli scrittori umani.

3. Risultati Chiave

A. Superiorità degli LLM

In entrambi gli studi, i contenuti generati dagli LLM hanno superato significativamente quelli scritti da esseri umani su tutte le metriche principali:

• Donazioni: Gli LLM hanno generato importi di donazione più elevati (es. Studio 1: 14,2% vs 12,7%; Studio 2: 13,3% vs 10,5%).
• Engagement: I post degli LDM hanno ricevuto più "Mi piace" e interazioni positive.
• Percezione di Persuasività: I partecipanti hanno valutato i messaggi degli LLM come più convincenti e motivanti rispetto a quelli umani, indipendentemente dal tipo di personalizzazione.

B. Effetti della Personalizzazione

• Penalità per la Falsa Personalizzazione: In entrambi gli studi, i messaggi con personalizzazione errata (falsamente personalizzati) hanno ottenuto i risultati peggiori, spesso inferiori ai messaggi generici. Questo effetto è stato particolarmente marcato per i contenuti generati dagli LLM.
• Vantaggio della Personalizzazione Corretta:
  • Studio 1: La personalizzazione corretta non ha mostrato un vantaggio significativo rispetto ai messaggi generici nelle donazioni, sebbene fosse percepita come più persuasiva.
  • Studio 2: Quando gli scrittori umani scrivevano per il proprio gruppo demografico (allineamento massimo), la personalizzazione corretta ha generato donazioni significativamente superiori sia rispetto ai messaggi generici che a quelli falsamente personalizzati.

C. Interazione

Non è stata trovata un'interazione significativa tra Fonte (Umano/LLM) e Personalizzazione per le donazioni, suggerendo che il vantaggio degli LLM è costante indipendentemente dal livello di personalizzazione. Tuttavia, per l'engagement e la persuasività, la "falsa personalizzazione" ha danneggiato più pesantemente i contenuti LLM rispetto a quelli umani.

4. Contributi Principali

1. Prima evidenza empirica diretta: Questo è il primo studio a dimostrare che gli LLM possono promuovere comportamenti prosociali costosi (donazioni reali) in modo più efficace degli esseri umani, superando anche scrittori umani esperti o altamente incentivati.
2. Validazione della scalabilità: Dimostra che gli LLM non sono solo strumenti per la disinformazione, ma possono essere utilizzati per il bene sociale su larga scala.
3. Avvertenza sulla Personalizzazione: Fornisce evidenze cruciali sul fatto che la personalizzazione è un'arma a doppio taglio: se i dati sono inaccurati (falsa personalizzazione), l'efficacia crolla drasticamente, specialmente con l'AI.
4. Confronto Umano vs. AI: Smentisce l'ipotesi che l'empatia e la moralità siano dominio esclusivo umano nella persuasione, suggerendo che gli LLM possono replicare o superare le strategie retoriche umane.

5. Significato e Implicazioni

• Per la Pratica (Fundraising): Le organizzazioni no-profit dovrebbero considerare l'uso degli LLM per generare contenuti di fundraising, poiché possono essere più efficaci degli scrittori umani. Tuttavia, la qualità dei dati è fondamentale: la personalizzazione deve essere basata su informazioni accurate. Se i dati sono incerti, è preferibile usare messaggi generici piuttosto che rischiare una personalizzazione errata che riduce le donazioni.
• Teoria della Persuasione: I risultati supportano l'idea che gli LLM possano imparare e applicare modelli persuasivi complessi (framing emotivo, prove sociali, valori morali) derivati dai loro vasti set di dati di addestramento, forse con una coerenza stilistica superiore a quella umana.
• Limiti e Futuro: Gli autori notano che gli studi sono limitati al contesto USA e alla lingua inglese. L'efficacia potrebbe variare in culture non occidentali o in lingue con meno dati di addestramento. Inoltre, l'effetto potrebbe diminuire se la provenienza AI del testo fosse rivelata ai destinatari (effetto "scoperta"), un fattore che richiede ulteriori indagini.

In conclusione, il paper suggerisce che gli LLM rappresentano una tecnologia promettente per la persuasione prosociale, ma il loro successo dipende criticamente dall'accuratezza dei dati utilizzati per la personalizzazione.