Prosocial Persuasion at Scale? Large Language Models Outperform Humans in Donation Appeals Across Levels of Personalization

Resumen Técnico: Persuasión Prosocial a Escala con Modelos de Lenguaje Grande

1. Planteamiento del Problema

El rápido avance de los Modelos de Lenguaje Grande (LLMs, por sus siglas en inglés) ha generado una intensa investigación sobre su capacidad para generar desinformación y manipular opiniones. Sin embargo, su potencial para fomentar comportamientos prosociales (acciones costosas que benefician a otros, como donaciones a la caridad) sigue siendo un área subexplorada.

El problema central de este estudio es determinar si los LLMs pueden ser tan efectivos, o incluso más, que los humanos para persuadir a las personas a realizar acciones costosas (donar dinero real). Además, se investiga si la personalización de los mensajes (adaptarlos al perfil sociodemográfico del receptor) mejora la persuasión o si, por el contrario, una personalización falsa (datos incorrectos) tiene un efecto negativo.

2. Metodología

Los autores realizaron dos experimentos online preregistrados con un diseño factorial dentro de los sujetos: 2 (Fuente de Contenido: Humano vs. LLM) × 3 (Personalización: Personalizado, Genérico, Falsamente Personalizado).

• Estudio 1:

  • Muestra: $N = 658$ participantes (EE. UU.).
  • Diseño: Los participantes leyeron seis publicaciones de redes sociales (simulando Twitter/X) solicitando donaciones a diferentes organizaciones benéficas.
  • Generación de Estímulos:
    • LLM: Generados con GPT-4.5-preview.
    • Humanos: Escritos por estudiantes de posgrado con formación académica en ciencias del comportamiento.
  • Personalización: Se utilizó la información demográfica de los participantes (edad, género, ideología política, religión) para crear perfiles de 24 grupos objetivo. Los mensajes "falsamente personalizados" asignaban al participante un perfil demográfico opuesto al real.
  • Medidas:
    1. Comportamiento Prosocial: Asignación de un bono de $0.10 USD entre las organizaciones benéficas.
    2. Compromiso (Engagement): Botones de "Me gusta", "Neutral" o "No me gusta".
    3. Percepción de Persuasión: Escala Likert de 7 puntos sobre qué tan convincente era el mensaje.

• Estudio 2:

  • Muestra: $N = 642$ participantes (EE. UU.).
  • Modificación Crítica: Para probar la generalización y maximizar el rendimiento humano, los textos escritos por humanos fueron generados por participantes de la misma población (EE. UU.) que escribían específicamente para su propio grupo demográfico y estaban incentivados económicamente ($10 bonus) para crear el mensaje más persuasivo posible.
  • LLM: Se reutilizaron los mensajes generados por GPT-4.5-preview del Estudio 1.

3. Contribuciones Clave

• Primera comparación directa: Es uno de los primeros estudios que benchmarkea directamente la capacidad de persuasión prosocial de los LLMs frente a humanos en un contexto de donación real (comportamiento costoso), no solo en expresiones de actitud.
• Evaluación de la personalización: Analiza sistemáticamente los efectos de la personalización precisa, genérica y falsa en el contexto de la persuasión asistida por IA.
• Superioridad de la IA: Proporciona evidencia empírica de que los LLMs pueden superar a los humanos en la generación de contenido persuasivo para causas benéficas, desafiando la noción de que la empatía y la conexión humana son insustituibles en la recaudación de fondos.

4. Resultados Principales

A. Efecto de la Fuente (LLM vs. Humano):
En ambos estudios, el contenido generado por LLMs superó consistentemente al contenido escrito por humanos en todas las métricas:

• Donaciones: Los mensajes de LLMs generaron porcentajes de donación significativamente más altos (Estudio 1: 14.2% vs 12.7%; Estudio 2: 13.3% vs 10.5%).
• Compromiso y Persuasión: Los mensajes de LLMs recibieron más "Me gusta", fueron calificados como más persuasivos y generaron mayor interacción.
• Nota: Este resultado se mantuvo incluso cuando los escritores humanos en el Estudio 2 estaban altamente motivados, eran de la misma población objetivo y escribían para su propio perfil demográfico.

B. Efecto de la Personalización:

• Personalización Falsa: Tuvo un efecto negativo consistente ("penalización"). Los mensajes con datos demográficos incorrectos generaron menos donaciones y fueron percibidos como menos persuasivos, especialmente cuando provenían de LLMs.
• Personalización Real:
  • Estudio 1: No hubo diferencia significativa entre mensajes personalizados y genéricos en cuanto a donaciones.
  • Estudio 2: La personalización real sí aumentó las donaciones en comparación con los mensajes genéricos y los falsamente personalizados. Esto sugiere que la alineación entre el creador del mensaje y el receptor (cuando el humano escribe para su propio grupo) es crucial para que la personalización funcione.

C. Interacciones:
No hubo una interacción significativa entre la fuente (LLM/Humano) y el tipo de personalización en cuanto a la cantidad de donaciones, lo que indica que la superioridad de los LLMs es robusta independientemente del nivel de personalización. Sin embargo, la personalización falsa afectó negativamente la percepción de persuasión de los mensajes de LLMs más que a los humanos.

5. Significado e Implicaciones

• Potencial Prosocial de la IA: Los resultados sugieren que los LLMs son herramientas viables y potentes para la persuasión prosocial a escala. Su capacidad para generar textos gramaticalmente fluidos, utilizar marcos emocionales y morales efectivos, y mantener coherencia estilística podría explicar su superioridad sobre los escritores humanos promedio.
• Riesgo de la Personalización Incorrecta: La personalización no es una panacea. Si los datos de entrada son incorrectos (personalización falsa), el efecto es contraproducente, reduciendo la confianza y la disposición a donar.
• Recomendaciones Prácticas:
  • Para recaudadores de fondos y organizaciones, el uso de LLMs puede optimizar la generación de contenido persuasivo.
  • La precisión de los datos demográficos es crítica. Si la calidad de los datos es dudosa, es preferible usar mensajes genéricos en lugar de arriesgarse a una personalización errónea.
• Limitaciones y Futuro:
  • Los estudios se limitaron a muestras de EE. UU. y al idioma inglés. La efectividad podría variar en culturas no occidentales (sociedades WEIRD) debido a sesgos en los datos de entrenamiento de los LLMs.
  • La autoría de los mensajes no fue revelada a los participantes. Futuras investigaciones deben examinar si la ventaja de los LLMs persiste cuando los usuarios saben que el contenido fue generado por IA (efecto de "etiquetado de IA").

Conclusión Final:
El estudio demuestra que, en el contexto actual, los LLMs pueden superar a los humanos en la persuasión para comportamientos prosociales costosos. Sin embargo, la implementación de la personalización debe ser rigurosa y basada en datos precisos para evitar efectos negativos.