Prosocial Persuasion at Scale? Large Language Models Outperform Humans in Donation Appeals Across Levels of Personalization

Probleemstelling

Hoewel er veel onderzoek is gedaan naar de risico's van Large Language Models (LLMs) bij het genereren van desinformatie, is hun potentieel voor prosociale overreding (het stimuleren van gedrag ten gunste van anderen) onderbelicht. Bestaande literatuur suggereert dat LLMs overtuigende content kunnen genereren, maar het is onduidelijk of ze effectief zijn in het motiveren van kostbaar prosociaal gedrag, zoals het doneren van geld. Menselijke fondsenwervers zijn nog steeds de drijvende kracht in de non-profitsector. Een cruciale vraag is of LLMs hierin kunnen concurreren met of zelfs menselijke schrijvers kunnen overtreffen. Daarnaast is de empirische evidentie voor de effectiviteit van personalisatie (het aanpassen van berichten aan demografische profielen) in de context van LLMs gemengd; sommige studies tonen voordelen, andere niet.

Methodologie

De auteurs voerden twee gepre-registreerde online experimenten uit (Study 1 en Study 2) met een 2 (Contentbron: Mens vs. LLM) × 3 (Personalisatie: Gepersonaliseerd, Generiek, Vals gepersonaliseerd) binnen-subjecten factoriële opzet.

• Deelnemers:
  • Study 1: $N = 658$ (na filtering) deelnemers uit de VS, gerekruteerd via Prolific. Menselijke teksten werden geschreven door academici met een achtergrond in gedragswetenschappen.
  • Study 2: $N = 642$ deelnemers. Menselijke teksten werden geschreven door "laypeople" (gewone burgers) uit de VS die zelf in hetzelfde demografische cluster zaten als de doelgroep en financieel gemotiveerd waren om de meest effectieve teksten te schrijven.
• Stimuli: Deelnemers zagen zes sociale mediaberichten (Twitter/X-achtig) van fictieve kankeronderzoekinstellingen.
  • Contentbron: Teksten werden gegenereerd door GPT-4.5-preview (LLM) of door menselijke schrijvers.
  • Personalisatie:
    • Gepersonaliseerd: Aangepast aan de echte demografie van de deelnemer (leeftijd, geslacht, politieke voorkeur, religieusheid).
    • Generiek: Geen specifieke demografische aanpassing.
    • Vals gepersonaliseerd: De tekst bevatte informatie die niet klopte met de echte demografie van de deelnemer (bijv. een jongere vrouw die een bericht krijgt gericht op een oudere man).
• Maatstaven:
  1. Donatiegedrag: Deelnemers kregen een bonus van $0,10$ en konden dit verdelen over de zes chariteiten.
  2. Betrokkenheid: Reactie via "Like", "Neutraal" of "Dislike".
  3. Overredingskracht: Een schaal van 7 punten over hoe overtuigend het bericht was.
• Analyse: Lineaire mixed-effects modellen met vaste effecten voor contentbron en personalisatie, en willekeurige intercepten voor deelnemers en chariteiten.

Belangrijkste Bijdragen

1. Eerste benchmarking: Dit is een van de eerste studies die LLMs direct vergelijkt met mensen op het gebied van het stimuleren van kostbaar prosociaal gedrag (geld doneren), in plaats van alleen attituden of goedkope gedragingen.
2. Overtuigendheid van LLMs: Het onderzoek levert empirisch bewijs dat LLMs niet alleen gelijkwaardig, maar superieur zijn aan mensen in het genereren van donaties en betrokkenheid.
3. Nuance in personalisatie: Het onderzoek onderscheidt tussen succesvolle personalisatie en "vals gepersonaliseerde" content, en toont aan dat foutieve personalisatie contraproductief werkt, vooral bij LLM-content.

Resultaten

1. Contentbron (LLM vs. Mens)
In beide studies presteerden door LLMs gegenereerde berichten significant beter dan menselijk geschreven berichten op alle drie de uitkomstmaten:

• Donatiebedragen: Deelnemers doneerden meer geld aan LLM-berichten (Study 1: 14,2% vs 12,7%; Study 2: 13,3% vs 10,5%).
• Betrokkenheid: LLM-berichten kregen meer "Likes" en minder "Dislikes".
• Overredingskracht: Deelnemers vonden LLM-berichten overtuigender.
• Opmerking: Dit effect bleef bestaan zelfs in Study 2, waar menselijke schrijvers financieel gemotiveerd waren en schreven voor hun eigen demografische groep.

2. Effect van Personalisatie

• Vals gepersonaliseerd: Dit had consequent een negatief effect. Berichten die vals gepersonaliseerd waren, scoorden lager dan zowel generieke als correct gepersonaliseerde berichten. Dit effect was sterker bij LLM-content.
• Gepersonaliseerd vs. Generiek:
  • Study 1: Er was geen significant verschil in donatiebedragen tussen gepersonaliseerde en generieke berichten.
  • Study 2: Gepersonaliseerde berichten leidden tot significante hogere donaties dan generieke berichten. De auteurs verklaren dit door de betere uitlijning in Study 2 (menselijke schrijvers schreven voor hun eigen groep).

3. Interactie-effecten
Er was een significante interactie tussen contentbron en personalisatie voor betrokkenheid en overredingskracht. Foutieve personalisatie was het meest schadelijk voor LLM-berichten, wat suggereert dat de "perfecte" grammatica en stijl van LLMs kwetsbaar zijn voor inhoudelijke onjuistheden.

Betekenis en Conclusie

De studie concludeert dat LLMs een geschikte technologie zijn voor het genereren van content die prosociaal gedrag stimuleert, en dat ze in deze context menselijke schrijvers kunnen overtreffen. Dit heeft grote implicaties voor de fondsenwervende sector en non-profitorganisaties.

• Schaalbaarheid: LLMs kunnen op grote schaal gepersonaliseerde, overtuigende content genereren die menselijke schrijvers in kwaliteit en effectiviteit overtreft.
• Risico van fouten: De studie waarschuwt dat personalisatie alleen werkt als de data accuraat is. "Vals gepersonaliseerde" berichten (bijv. door data-fouten) leiden tot een "backfire-effect" en verminderen de donaties.
• Toekomstig onderzoek: De auteurs wijzen op beperkingen, zoals de focus op Amerikaanse steekproeven en het ontbreken van transparantie over AI-auteurship (deelnemers wisten niet dat het door AI was geschreven). Toekomstig onderzoek moet kijken naar de effecten van openbaarmaking van AI-auteurship en cross-culturele validatie.

Kortom, LLMs blijken krachtige instrumenten te zijn voor collectief welzijn, mits ze correct worden ingezet met betrouwbare data.