Large Language Model Chatbot Conversations vs Public Health Materials and Parental HPV Vaccination Intentions: A Randomized Clinical Trial

Resumo Técnico: Conversas Breves de Chatbots Baseados em Grandes Modelos de Linguagem e Intenções Parentais para a Vacinação contra o HPV

Definição do Problema
Apesar da alta eficácia da vacina contra o Papilomavírus Humano (HPV) na prevenção de aproximadamente 90% dos cânceres associados ao HPV, as taxas de vacinação entre adolescentes permanecem abaixo do ideal globalmente, particularmente nos Estados Unidos, onde as taxas estagnaram em torno de 60%. A hesitação parental é uma barreira primária. Embora os sistemas de saúde estejam explorando cada vez mais chatbots baseados em Grandes Modelos de Linguagem (LLM) para moldar crenças e processos de decisão em escala, as evidências existentes sobre sua capacidade de melhorar resultados comportamentais duráveis e relevantes, além dos materiais de saúde pública padrão, são limitadas. Muitos estudos anteriores dependem de condições de controle fracas ou focam em mudanças imediatas de atitude, em vez de intenção ou adesão comportamental de longo prazo.

Metodologia
Os autores realizaram um ensaio clínico randomizado (RCT) pré-registrado entre março e abril de 2025, envolvendo 1.297 pais de crianças não vacinadas ou com status desconhecido (idades de 11 a 17 anos nos EUA/Canadá; 12 a 17 no Reino Unido) residentes nos Estados Unidos, Canadá e Reino Unido. Os participantes foram recrutados por meio de plataformas online (Prolific e CloudResearch Connect).

Desenho do Estudo e Intervenções:
Os participantes foram randomizados em quatro braços:

1. Controle Sem Mensagem: Nenhuma intervenção.
2. Controle Forte (Materiais de Saúde Pública): Os participantes leram materiais governamentais de vacinação contra o HPV (CDC, NHS ou Agência de Saúde Pública do Canadá) correspondentes ao seu país, com um tempo de exposição mínimo de três minutos.
3. Chatbot Padrão (Default): Uma interação de 3 minutos, de múltiplos turnos, com um LLM (GPT-4o) instruído a incentivar a vacinação usando um estilo de saída padrão (parágrafos e tópicos).
4. Chatbot Conversacional: Uma interação de 3 minutos, de múltiplos turnos, com o GPT-4o instruído a usar um tom conversacional, limitando as respostas a três frases por mensagem para aumentar a presença social.

Crucialmente, os chatbots foram fornecidos com o principal motivo de não vacinação de cada participante, obtido através de um questionário basal, para personalizar a interação. Não houve ajuste fino (fine-tuning) ou roteirização baseada em regras.

Resultados e Análise:
O desfecho primário foi a probabilidade autorrelatada de vacinar a criança dentro de 12 meses (escala de 0 a 100) medida imediatamente após a intervenção. Os desfechos secundários incluíram a intenção de vacinação em 15 e 45 dias, a adesão à vacinação autorrelatada e métricas comportamentais secundárias (ex: disposição para doar, taxas de clique). A análise seguiu um framework de intenção de tratar (ITT) com imputação múltipla para dados ausentes. Os métodos estatísticos incluíram regressão linear do tipo ANCOVA com erros padrão robustos HC2, regressão logística fracionária para resultados limitados e ponderação por probabilidade inversa para análise de sensibilidade.

Principais Resultados

• Intenção Imediata: Todas as intervenções ativas aumentaram significadamente a intenção imediata de vacinação em comparação com o controle sem mensagem. Os materiais de saúde pública governamentais produziram o maior efeito (Cohen's d = 0,53), seguidos de perto pelo chatbot padrão (d = 0,48) e pelo chatbot conversacional (d = 0,33).
• Durabilidade: Os efeitos das intervenções de chatbot não foram duráveis. Aos 45 dias, nenhum dos dois variantes de chatbot manteve um aumento estatisticamente significativo na intenção em relação ao controle. Em contraste, os materiais de saúde pública mantiveram um efeito modesto, mas significativo (d = 0,17), aos 45 dias.
• Adesão Comportamental: Nenhuma intervenção aumentou a adesão à vacinação contra o HPV autorrelatada aos 15 ou 45 dias.
• Dinâmica do Chatbot: Os participantes nos braços de chatbot passaram mais tempo interagindo com a intervenção (média de 69 segundos a mais que o grupo de saúde pública), mas apresentaram menores taxas de conclusão para o desfecho primário em comparação com o braço sem mensagem, sugerindo maior atrito ou desengajamento durante a interação.
• Percepção: Os participantes avaliaram o chatbot padrão como mais empático do que os materiais de saúde pública, mas o chatbot conversacional foi avaliado como menos eficaz em uma escala padrão de eficácia de mensagens.
• Análise Exploratória: A análise de conteúdo dos diálogos dos chatbots sugeriu que estratégias que enfatizavam a validação externa e benefícios coletivos (ex: imunidade de rebanho, especialistas de confiança) estavam associadas a uma maior intenção pós-intervenção, enquanto trocas altamente personalizadas e focadas em empatia estavam associadas a uma menor intenção.

Principais Contribuições

1. Comparação Rigorosa: Este estudo fornece uma comparação direta e randomizada entre interações breves de LLM e materiais de saúde pública governamentais de alta qualidade já existentes, uma condição de controle frequentemente ausente na literatura de persuasão por IA.
2. Avaliação de Durabilidade: Diferente de muitos estudos que medem apenas efeitos imediatos, este ensaio avaliou desfechos ao longo de um período de 45 dias, revelando que os ganhos iniciais das interações de chatbot não persistiram.
3. Restrições do Mundo Real: O estudo avaliou LLMs sob restrições realistas (limite de interação de 3 minutos, sem ajuste fino) em vez de sistemas de entrega de serviços idealizados e multicomponentes.
4. Desfechos Comportamentais: A inclusão da adesão à vacinação autorrelatada destaca a lacuna entre mudanças de atitude e mudança comportamental real no contexto da vacinação contra o HPV.

Significância e Alegações
O artigo conclui que, embora conversas breves com chatbots de LLM possam aumentar as intenções parentais de vacinação a curto prazo, elas oferecem vantagem limitada sobre as mensagens de saúde pública bem desenhadas e não produzem efeitos duradouros ou mudanças comportamentais. Os autores argumentam que materiais de saúde pública bem projetados podem igualar ou exceder o impacto de interações curtas de chatbot para a promoção da vacina contra o HPV.

A significância desses achados reside em moderar as expectativas para a comunicação de saúde impulsionada por IA. Os autores sugerem que, embora os chatbots possam servir como recursos suplementares para responder perguntas ou reforçar orientações, eles não devem ser vistos como um substituto superior para as estratégias de comunicação estabelecidas, particularmente quando barreiras estruturais à vacinação (ex: agendamento, acesso) permanecem não resolvidas. O estudo ressalta a necessidade de pesquisas futuras que integrem interações de IA personalizadas com intervenções estruturais para abordar efetivamente a hesitação vacinal profundamente enraizada.