Large Language Model Chatbot Conversations vs Public Health Materials and Parental HPV Vaccination Intentions: A Randomized Clinical Trial

Resumen Técnico: Conversaciones Breves de Chatbots Basados en Grandes Modelos de Lenguaje y las Intenciones Parentales para la Vacunación contra el VPH

Planteamiento del Problema
A pesar de la alta eficacia de la vacuna contra el Virus del Papiloma Humano (VPH) para prevenir aproximadamente el 90% de los cánceres asociados al VPH, las tasas de vacunación entre los adolescentes siguen siendo subóptimas a nivel mundial, particularmente en los Estados Unidos, donde las tasas se han estancado alrededor del 60%. La reticencia de los padres es una barrera principal. Si bien los sistemas de salud están explorando cada vez más los chatbots basados en Grandes Modelos de Lenguaje (LLM, por sus siglas en inglés) para moldear creencias y la toma de decisiones a escala, la evidencia existente sobre su capacidad para mejorar resultados conductuales duraderos y relevantes más allá de los materiales de salud pública estándar es limitada. Muchos estudios previos dependen de condiciones de control débiles o se centran en cambios de actitud inmediatos en lugar de la intención conductual o la captación a largo plazo.

Metodología
Los autores realizaron un ensayo clínico aleatorizado (ECA) preregistrado entre marzo y abril de 2025 que involucró a 1,297 padres de niños no vacunados o con estado de vacunación desconocido (edades de 11 a 17 años en EE. UU./Canadá; 12 a 17 en el Reino Unido) residentes en los Estados Unidos, Canadá y el Reino Unido. Los participantes fueron reclutados a través de plataformas en línea (Prolific y CloudResearch Connect).

Diseño de la Intervención e Intervenciones:
Los participantes fueron asignados aleatoriamente a cuatro brazos:

1. Control Sin Mensaje: Sin intervención.
2. Control Fuerte (Materiales de Salud Pública): Los participantes leyeron materiales de vacunación contra el VPH emitidos por el gobierno (CDC, NHS o la Agencia de Salud Pública de Canadá) adaptados a su país, con un tiempo de exposición mínimo de tres minutos.
3. Chatbot por Defecto: Una interacción de múltiples turnos de 3 minutos con un LLM (GPT-4o) con el objetivo de fomentar la vacunación utilizando un estilo de salida estándar (párrafos y viñetas).
4. Chatbot Conversacional: Una interacción de múltiples turnos de 3 minutos con GPT-4o, instado a utilizar un tono conversacional, limitando sus respuestas a tres frases por mensaje para mejorar la presencia social.

Crucialmente, los chatbots recibieron la razón principal de no vacunación (calificada por el participante en una encuesta inicial) para personalizar la interacción. No se utilizó ajuste fino (fine-tuning) ni guiones basados en reglas.

Resultados y Análisis:
El resultado primario fue la probabilidad autoinformada de vacunar al niño dentro de los próximos 12 meses (escala de 0 a 100) medida inmediatamente después de la intervención. Los resultados secundarios incluyeron la intención de vacunación a los 15 y 45 días, la captación de vacunación autoinformada y otras métricas conductuales secundarias (por ejemplo, disposición a donar, tasas de clics). El análisis siguió un marco de intención de tratar (ITT) con imputación múltiple para datos faltantes. Los métodos estadísticos incluyeron regresión lineal de tipo ANCOVA con errores estándar robustos HC2, regresión logística fraccional para resultados acotados e imputación por probabilidad inversa para el análisis de sensibilidad.

Resultados Clave

• Intención Inmediata: Todas las intervenciones activas aumentaron significativamente la intención inmediata de vacunación en comparación con el control sin mensaje. Los materiales de salud pública gubernamentales produjeron el mayor efecto (Cohen's d = 0.53), seguidos de cerca por el chatbot por defecto (d = 0.48) y el chatbot conversacional (d = 0.33).
• Durabilidad: Los efectos de las intervenciones de los chatbots no fueron duraderos. A los 45 días, ninguna variante de chatbot mantuvo un aumento estadísticamente significativo en la intención en relación con el control. En contraste, los materiales de salud pública mantuvieron un efecto modesto pero significativo (d = 0.17) a los 45 días.
• Captación Conductual: Ninguna intervención aumentó la captación de vacunación contra el VPH autoinformada a los 15 o 45 días.
• Dinámica del Chatbot: Los participantes en los brazos de los chatbots pasaron más tiempo interactuando con la intervención (un promedio de 69 segundos más que el grupo de salud pública) pero mostraron menores tasas de finalización del resultado primario en comparación con el brazo sin mensaje, lo que sugiere una mayor deserción o desinterés durante la interacción.
• Percepción: Los participantes calificaron al chatbot por defecto como más empático que los materiales de salud pública, pero el chatbot conversacional fue calificado como menos efectivo en una escala estándar de efectividad de mensajes.
• Análisis Exploratorio: El análisis de contenido de los diálogos de los chatbots sugirió que las estrategias que enfatizaban la validación externa y los beneficios colectivos (por ejemplo, inmunidad de rebaño, expertos de confianza) estaban asociadas con una mayor intención post-intervención, mientras que los intercambios altamente personalizados y centrados en la empatía se asociaron con una menor intención.

Contribuciones Clave

1. Comparación Rigurosa: Este estudio proporciona una comparación aleatorizada directa entre las interacciones breves de LLM y los materiales de salud pública gubernamentales de alta calidad ya existentes, una condición de control que suele faltar en la literatura de persuasión por IA.
2. Evaluación de la Durabilidad: A diferencia de muchos estudios que solo miden efectos inmediatos, este ensayo evaluó los resultados durante un período de 45 días, revelando que las ganancias iniciales de las interacciones con los chatbots no persistieron.
3. Restricciones del Mundo Real: El estudio evaluó los LLM bajo restricciones realistas (límite de interacción de 3 minutos, sin ajuste fino) en lugar de sistemas de entrega de servicios idealizados y de múltiples componentes.
4. Endpoints Conductuales: La inclusión de la captación de vacunación autoinformada resalta la brecha entre los cambios de actitud y el cambio conductual real en el contexto de la vacunación contra el VPH.

Significado y Reivindicaciones
El artículo concluye que, si bien las breves conversaciones con chatbots de LLM pueden aumentar las intenciones parentales de vacunación a corto plazo, ofrecen una ventaja limitada sobre los mensajes de salud pública bien diseñados y no logran producir efectos duraderos o cambios de comportamiento. Los autores argumentan que los materiales de salud pública bien diseñados pueden igualar o incluso superar el impacto de las interacciones cortas con chatbots para la promoción de la vacuna contra el VPH.

La importancia de estos hallazgos radica en moderar las expectativas sobre la comunicación de salud impulsada por la IA. Los autores sugieren que, si bien los chatbots pueden servir como recursos suplementarios para responder preguntas o reforzar la orientación, no deben verse como un reemplazo superior de las estrategias de comunicación establecidas, particularmente cuando las barreras estructurales para la vacunación (por ejemplo, la programación de citas, el acceso) permanecen sin abordar. El estudio subraya la necesidad de que la investigación futura integre las interacciones de IA personalizadas con intervenciones estructurales para abordar eficazmente la reticencia profunda a la vacunación.