Large Language Model Chatbot Conversations vs Public Health Materials and Parental HPV Vaccination Intentions: A Randomized Clinical Trial

Sintesi Tecnica: Conversazioni Brevi con Chatbot Basati su Grandi Modelli Linguistici e Intenzioni Genitoriali per la Vaccinazione HPV

Problema
Nonostante l'elevata efficacia del vaccino contro l'Human Papillomavirus (HPV) nel prevenire circa il 90% dei tumori associati all'HPV, i tassi di vaccinazione tra gli adolescenti rimangono subottimali a livello globale, in particolare negli Stati Uniti, dove i tassi sono stagnanti intorno al 60%. L'esitazione genitoriale rappresenta una barriera primaria. Sebbene i sistemi sanitari stiano esplorando sempre più l'uso di chatbot basati su Grandi Modelli Linguistici (LLM) per plasmare credenze e processi decisionali su larga scala, le prove esistenti riguardanti la loro capacità di migliorare risultati comportamentali duraturi e rilevanti, oltre i materiali standard di sanità pubblica, sono limitate. Molti studi precedenti si basano su condizioni di controllo deboli o si concentrano su cambiamenti attitudinali immediati piuttosto che sull'intento o l'adesione comportamentale a lungo termine.

Metodologia
Gli autori hanno condotto un trial clinico randomizzato (RCT) preregistrato tra marzo e aprile 2025, coinvolgendo 1.297 genitori di bambini non vaccinati o con stato vaccinale sconosciuto (età compresa tra 11 e 17 anni negli USA/Canada; 12-17 negli UK) residenti negli Stati Uniti, in Canada e nel Regno Unito. I partecipanti sono stati reclutati tramite piattaforme online (Prolific e CloudResearch Connect).

Disegno dello Studio e Interventi:
I partecipanti sono stati assegnati casualmente a quattro bracci:

1. Controllo Senza Messaggio: Nessun intervento.
2. Controllo Forte (Materiali di Sanità Pubblica): I partecipanti hanno letto materiali sulla vaccinazione HPV emessi dai governi (CDC, NHS o Public Health Agency of Canada) corrispondenti al proprio paese, con un tempo di esposizione minimo di tre minuti.
3. Chatbot Default: Un'interazione multi-turno di 3 minuti con un LLM (GPT-4o) istruito per incoraggiare la vaccinazione utilizzando uno stile di output standard (paragrafi ed elenchi puntati).
4. Chatbot Conversazionale: Un'interazione multi-turno di 3 minuti con GPT-4o istruito per utilizzare un tono conversazionale, limitando le risposte a tre frasi per messaggio per aumentare la presenza sociale.

Fondamentalmente, ai chatbot è stata fornita la ragione principale di non vaccinazione indicata dal partecipante durante un sondaggio basale per personalizzare l'interazione. Non è stato utilizzato alcun fine-tuning o scripting basato su regole.

Risultati e Analisi:
L'outcome primario è stata la probabilità auto-riferita di vaccinare il figlio entro 12 mesi (scala 0–100) misurata immediatamente dopo l'intervento. Gli outcome secondari includevano l'intento vaccinale a 15 e 45 giorni, l'adesione alla vaccinazione auto-riferita e altri parametri comportamentali secondari (ad es. disponibilità a donare, tassi di click-through). L'analisi ha seguito un framework di intenzione al trattamento (ITT) con imputazione multipla per i dati mancanti. I metodi statistici hanno incluso una regressione lineare di tipo ANCOVA con errori standard robusti HC2, regressione logistica frazionaria per esiti limitati e ponderazione della probabilità inversa per l'analisi di sensibilità.

Risultati Chiave

• Intento Immediato: Tutti gli interventi attivi hanno aumentato significativamente l'intento vaccinale immediato rispetto al controllo senza messaggio. I materiali di sanità pubblica governativi hanno prodotto l'effetto maggiore (Cohen's d = 0,53), seguiti da vicino dal chatbot default (d = 0,48) e dal chatbot conversazionale (d = 0,33).
• Durata: Gli effetti degli interventi con chatbot non sono stati duraturi. Al giorno 45, nessuna delle varianti chatbot manteneva un aumento statisticamente significativo dell'intento rispetto al controllo. Al contrario, i materiali di sanità pubblica hanno mantenuto un effetto modesto ma significativo (d = 0,17) a 45 giorni.
• Adesione Comportamentale: Nessun intervento ha aumentato l'adesione alla vaccinazione HPV auto-riferita a 15 o 45 giorni.
• Dinamiche del Chatbot: I partecipanti nei bracci del chatbot hanno trascorso più tempo a interagire con l'intervento (in media 69 secondi in più rispetto al gruppo di sanità pubblica), ma hanno mostrato tassi di completamento dell'outcome primario inferiori rispetto al braccio senza messaggio, suggerendo un maggiore tasso di abbandono o disimpegno durante l'interazione.
• Percezione: I partecipanti hanno valutato il chatbot default come più empatico rispetto ai materiali di sanità pubblica, ma il chatbot conversazionale è stato valutato come meno efficace su una scala standard di efficacia del messaggio.
• Analisi Esplorativa: L'analisi del contenuto dei dialoghi con il chatbot ha suggerito che le strategie che enfatizzano la validazione esterna e i benefici collettivi (ad es. immunità di gregge, esperti affidabili) erano associate a un maggiore intento post-intervento, mentre gli scambi altamente personalizzati e focalizzati sull'empatia erano associati a un intento inferiore.

Contributi Chiave

1. Confronto Rigoroso: Questo studio fornisce un confronto diretto e randomizzato tra brevi interazioni con LLM e l'esistente, alta qualità dei materiali di sanità pubblica governativi, una condizione di controllo spesso assente nella letteratura sulla persuasione tramite IA.
2. Valutazione della Durata: A differenza di molti studi che misurano solo gli effetti immediati, questo trial ha valutato gli esiti su un periodo di 45 giorni, rivelando che i guadagni iniziali delle interazioni con i chatbot non persistevano.
3. Vincoli del Mondo Reale: Lo studio ha valutato gli LLM sotto vincoli realistici (limite di interazione di 3 minuti, nessun fine-tuning) piuttosto che in sistemi di erogazione di servizi idealizzati e multi-componente.
4. Endpoint Comportamentali: L'inclusione dell'adesione alla vaccinazione auto-riferita evidenzia il divario tra i cambiamenti attitudinali e il reale cambiamento comportamentale nel contesto della vaccinazione HPV.

Significato e Rivendicazioni
L'articolo conclude che, sebbene brevi conversazioni con chatbot basati su LLM possano aumentare l'intento vaccinale dei genitori nel breve termine, esse offrono un vantaggio limitato rispetto ai messaggi di sanità pubblica ben progettati e non riescono a produrre effetti duraturi o cambiamenti comportamentali. Gli autori sostengono che i materiali di sanità pubblica ben progettati possono eguagliare o superare l'impatto delle brevi interazioni con i chatbot per la promozione della vaccinazione HPV.

Il significato di questi risultati risiede nel temperare le aspettative riguardo alla comunicazione sanitaria guidata dall'IA. Gli autori suggeriscono che, sebbene i chatbot possano servire come risorse supplementari per rispondere alle domande o rafforzare le linee guida, non dovrebbero essere visti come un sostituto superiore delle strategie di comunicazione consolidate, specialmente quando rimangono irrisolte le barriere strutturali alla vaccinazione (ad es. programmazione, accesso). Lo studio sottolinea la necessità per la ricerca futura di integrare le interazioni personalizzate con l'IA con interventi strutturali per affrontare efficacemente l'esitazione vaccinale radicata.