Large Language Models for Pulmonary Embolism Health Education: A Four- Model Comparison of Reliability, Quality, and Readability

Resumo Técnico: Grandes Modelos de Linguagem para Educação em Saúde sobre Embolia Pulmonar

Problema
A embolia pulmonar (EP) é uma condição potencialmente fatal que exige informações públicas oportunas, confiáveis e compreensíveis. Embora os Grandes Modelos de Linguagem (LLMs) sejam cada vez mais utilizados para consultas de saúde, o desempenho deles na geração de educação específica para pacientes com EP não foi comparado sistematicamente entre múltiplos modelos. A literatura existente destaca preocupações com "alucinações", excesso de confiança, falta de transparência de fontes e o uso de linguagem que excede os níveis de literacia em saúde recomendados. Há uma necessidade crítica de avaliar se os LLMs convencionais podem fornecer simultaneamente conteúdo confiável, rastreabilidade de fontes e texto acessível ao público em geral (especificamente em um nível de leitura de sexto ano).

Metodologia
Este estudo transversal comparou quatro LLMs baseados na web e acessíveis ao público: ChatGPT (GPT-5.5), Gemini (3.5 Flash), Microsoft Copilot e Perplexity AI. O estudo aderiu à diretriz de relatório CHART (Chatbot Assessment Reporting Tool).

• Coleta de Dados: Trinta e uma consultas de alta frequência relacionadas à EP foram selecionadas a partir de dados globais do Google Trends (17 de julho de 2021 – 17 de julho de 2026) após mapeamento para Medical Subject Headings (MeSH) e triagem de relevância. Estas consultas cobriram sintomas, fatores de risco, diagnóstico, tratamento, prognóstico e populações especiais.
• Desenho Experimental: Cada consulta foi enviada uma vez para cada um dos quatro modelos em uma sessão de turno único e zero-shot, utilizando configurações padrão e históricos de navegação limpos para minimizar a personalização. Isso resultou em 124 respostas totais.
• Métricas de Avaliação:
  • Confiabilidade e Qualidade: Avaliadas usando DISCERN (16 itens, escala 16–75), EQIP (20 itens, 0–100%), Critérios de Referência JAMA (4 itens para transparência de fontes) e a Escala de Qualidade Global (GQS, 1–5).
  • Legibilidade: Avaliada por meio de seis índices: Índice de Legibilidade Automatizada (ARI), Pontuação de Facilidade de Leitura de Flesch (FRES), Nível de Escolaridade Flesch-Kincaid (FKGL), Índice de Gunning Fog (GFI), Índice de Coleman-Liau (CLI) e Medida Simples de Gobbledygook (SMOG).
• Análise Estatística: Dois pesquisadores clínicos independentes pontuaram todas as respostas. As diferenças entre os modelos foram analisadas por meio de testes de Kruskal-Wallis com tamanhos de efeito epsilon-squared, seguidos de comparações post hoc de Dunn-Bonferroni. A legibilidade foi comparada com o parâmetro de sexto ano usando testes de postos sinalizados de Wilcoxon.

Principais Resultados

• Conclusão das Respostas: Todos os quatro modelos responderam a todas as consultas sem recusas ou saídas em branco.
• Qualidade e Confiabilidade:
  • DISCERN: Copilot e Perplexity alcançaram pontuações medianas de 41 ("qualidade razoável"), superando significativamente o ChatGPT (35) e o Gemini (33), ambos situados na faixa "pobre" ($P < 0,001$). Nenhum modelo atingiu o limiar de "boa" qualidade (51+).
  • EQIP: Todos os modelos pontuaram geralmente na faixa de "boa com problemas menores" (55–75%), com Copilot (75) e Perplexity (70) pontuando acima de ChatGPT (60) e Gemini (55).
  • Referência JAMA: Copilot e Perplexity demonstraram transparência de fontes significativamente melhor (mediana 1,0) em comparação ao ChatGPT e Gemini (mediana 0,0), impulsionados pela exibição de citações ($P < 0,001$).
  • GQS: Não houve diferença significativa nas classificações de qualidade global entre os modelos (mediana 4,0 para todos, $P = 0,652$).
• Legibilidade:
  • Falha em Atender aos Padrões: Nenhum modelo atingiu o nível de leitura recomendado de sexto ano em nenhum dos seis índices de legibilidade.
  • Níveis de Escolaridade: As medianas dos índices de nível de escolaridade variaram aproximadamente de 9 a 16. O ChatGPT produziu o texto mais legível (mediana FKGL ~9, FRES ~47,9), enquanto o Copilot produziu o texto mais complexo (mediana FKGL ~11, FRES ~34,8).
  • Variabilidade: Houve variação significativa na legibilidade e qualidade dentro de cada modelo dependendo da consulta específica (ex: diretrizes e tópicos de gravidez foram mais técnicos).

Principais Contribuições

1. Benchmarking Comparativo: Este estudo fornece a primeira comparação multi-modelo de LLMs especificamente para educação em EP, utilizando um conjunto padronizado de consultas de busca do mundo real.
2. Diferenciação entre Fluência vs. Confiabilidade: Os achados demonstram que pontuações altas na Escala de Qualidade Global (GQS) (fluência e organização) não se correlacionam com a transparência de fontes (JAMA) ou confiabilidade estrutural (DISCERN). Modelos que exibiram citações (Copilot, Perplexity) pontuaram mais alto em transparência, mas não produziram necessariamente textos mais legíveis.
3. Lacuna de Legibilidade: O estudo quantifica a lacuna persistente entre a produção de LLMs e os padrões de literacia em saúde, mostrando que mesmo os modelos de melhor desempenho geram textos significativamente acima do nível de sexto ano recomendado pela American Medical Association.
4. Variabilidade por Consulta: A análise destaca que o desempenho do modelo não é uniforme; um modelo pode fornecer uma resposta de alta qualidade para uma consulta, enquanto falha em outra, particularmente em relação à complexidade técnica e comunicação de risco.

Significância e Alegações
O artigo conclui que, embora os LLMs convencionais possam gerar educação em saúde sobre EP fluente e amplamente estruturada, nenhum modelo atual combina conteúdo confiável, transparência de fontes e legibilidade adequada.

• Papel Suplementar: Os autores afirmam que os LLMs devem servir apenas como um suplemento, e não como um substituto para o julgamento médico profissional. Eles são adequados para tarefas explicativas de baixo risco (ex: definições gerais, orientação de estilo de vida), mas são inseguros para diagnóstico independente, estratificação de risco ou seleção de tratamento.
• Governança e Design: O estudo pede que os desenvolvedores de modelos integrem a recuperação de evidências autoritativas, ofereçam versões de linguagem adaptadas à literacia em saúde e implementem ciclos de revisão humana.
• Segurança Clínica: Os autores enfatem que, em condições de alto risco como a EP, a prosa confiante pode obscurecer a fragilidade da transparência das evidências. Portanto, instituições clínicas que utilizam IA para materiais de pacientes devem adotar um fluxo de trabalho de "geração por máquina – revisão profissional – teste com o paciente" para garantir segurança, precisão e clareza.

O estudo reconhece limitações, incluindo a natureza dinâmica dos LLMs (os resultados são específicos de um tempo determinado), o uso exclusivo de consultas em inglês e a dependência de fórmulas de legibilidade em vez de testes diretos de compreensão do paciente. Consequentemente, os achados são apresentados como um recorte exploratório do desempenho dos modelos, e não como um ranking universal definitivo.