Large Language Models in Healthcare Simulation Education: A Bibliometric Analysis with AI-Assisted Screening

Resumo Técnico: Modelos de Linguagem de Grande Escala na Educação em Simulação de Saúde

Problema
A rápida emergência dos Modelos de Linguagem de Grande Escala (LLMs) após o lançamento público do ChatGPT no final de 2022 desencadeou uma expansão sem precedentes na educação em saúde e no treinamento baseado em simulação, particularmente no que diz respeito às habilidades não técnicas (NTS). No entanto, o volume da literatura cresceu em um ritmo que torna impraticáveis as revisões narrativas tradicionais e a síntese sistemática. Consequentemente, não existe um mapeamento quantitativo abrangente deste cenário de pesquisa. Questões críticas permanecem sem resposta em relação à distribuição da pesquisa entre os domínios de NTS (ex: comunicação vs. trabalho em equipe), à dominância de modelos proprietários específicos versus alternativas de código aberto, à prevalência de diferentes modalidades de simulação e à extensão do engajamento específico por especialidade, particularmente em campos como a urologia, que possui infraestruturas de simulação estabelecidas. Além disso, a escala massiva da literatura inicial (mais de 100.000 registros) apresenta um gargalo metodológico para a triagem conduzida por humanos, necessitando de abordagens escaláveis e reprodutíveis para a síntese de evidências.

Metodologia
Este estudo empregou um design de análise bibliométrica aderindo às diretrizes PRISMA 2020 e ao checklist PRISMA-trAIce para relatórios transparentes de IA. A metodologia foi definida por dois princípios centrais: rigor analítico e reprodutibilidade total utilizando exclusivamente fontes de dados de acesso aberto.

• Fontes de Dados e Estratégia de Busca: Sete bases de dados de acesso aberto (OpenAlex, PubMed, Europe PMC, Crossref, Semantic Scholar, CORE, DODOI) foram consultadas para publicações em língua inglesa entre janeiro de 2020 e março de 2026. A busca resultou em 100.277 registros iniciais.
• Pipeline de Triagem: Uma abordagem de triagem híbrida foi utilizada para gerenciar o volume:
  1. Funil de Palavras-Chave Determinístico: Um filtro sequencial de três estágios reduziu o corpus de 86.635 registros únicos para 5.725 e, subsequentemente, para 830 candidatos. Os filtros exigiram a presença de terminologia de LLM/IA, contexto de saúde/educação e termos específicos de simulação. Um segundo filtro aplicou critérios mais rigorosos, incluindo modelos nomeados específicos e palavras-chave médicas nos títulos.
  2. Verificação Assistida por IA: Os 830 artigos candidatos foram triados por 83 instâncias independentes do agente de IA Claude Sonnet 4.6. Cada agente aplicou critérios de inclusão/exclusão pré-especificados aos dados de título e resumo, retornando decisões binárias, classificações de confiança e classificações de nível (tier).
  3. Validação: Um pesquisador principal revisou independentemente 180 artigos (22% do pool de candidatos). A confiabilidade inter-avaliador entre os agentes de IA e o revisor humano rendeu um kappa de Cohen de 0,86 pré-reconciliação e 1,0 pós-reconciliação, excedendo o kappa médio humano-humano de 0,82 relatado na literatura existente.
• Análise: O corpus final de 551 artigos passou por análise bibliométrica, incluindo análise de tendência de publicação (CAGR), métricas de citação (índice h, índice g), produtividade de autores (Lei de Lotka), concentração de periódicos (Lei de Bradford) e distribuição geográfica. O mapeamento temático foi realizado via redes de coocorrência de palavras-chave e detecção de comunidades (algoritmo de Louvain). Os domínios de NTS foram classificados usando correspondência de padrões de expressão regular através de nove competências específicas.

Principais Contribuições

• Primeiro Mapeamento Abrangente: Este estudo fornece a primeira análise bibliométrica mapeando especificamente a interseção entre LLMs, simulação de saúde e treinamento de habilidades não técnicas.
• Pipeline de Triagem de IA Validado: Os autores demonstram um pipeline replicável de acesso aberto para síntese de evidências em larga escala usando múltiplos agentes de IA independentes. A metodologia alcançou alta confiabilidade (kappa de Cohen > 0,86) e oferece uma alternativa escalável para a triagem tradicional de múltiplos revisores em campos de rápida evolução.
• Estratificação Granular: O corpus foi estratificado em três níveis: Nível 1 (LLMs na educação em saúde de forma ampla), Nível 2 (LLMs na simulação de saúde) e Nível 3 (LLMs na simulação de saúde com NTS), permitindo uma análise matizada da profundidade da pesquisa.
• Ciência Aberta: Todo o pipeline, incluindo código, dados e prompts de IA, está disponível publicamente no GitHub, permitindo a replicação e atualizações longitudinais sem assinaturas de bases de dados institucionais.

Resultados

• Trajetória de Crescimento: O campo exibe um crescimento explosivo com uma Taxa de Crescimento Anual Composta (CAGR) de 109%. O volume de publicações é quase inteiramente pós-ChatGPT (99% publicados de 2023 em diante), sendo 2025 o ano de pico (52% da produção total).
• Cenário de Modelos: O ecossistema de pesquisa está fortemente concentrado em um único modelo proprietário. O ChatGPT aparece em 46,5% dos artigos. Outros modelos proprietários (GPT-4, Gemini, Claude) representam cerca de 15% adicionais. Modelos de código aberto são virtualmente ausentes, aparecendo em apenas 0,7% dos artigos (4 artigos mencionando Llama).
• Modalidades de Simulação: Chatbots de pacientes virtuais são a modalidade dominante (19% do corpus), refletindo o alinhamento natural entre a IA conversacional e a interação com o paciente. Simulação baseada em cenários (13%) e VR/XR (9,4%) seguem-se. Simulações baseadas em manequins e de alta fidelidade são marcadamente sub-representadas (1,1%).
• Distribuição de Habilidades Não Técnicas (NTS): A pesquisa é fortemente inclinada para competências individuais. Comunicação (26,3%) e Tomada de Decisão (24,5%) dominam. Habilidades baseadas em equipe e orientadas a crises são criticamente sub-representadas: Trabalho em Equipe (5,8%), Liderança (3,4%), Consciência Situacional (0,9%) e Gestão de Recursos de Crise (CRM) são pouco estudadas.
• Geografia e Autoria: As contribuições vêm de 58 países, com os EUA (20,2%) e a China (18,8%) liderando. A África (1,1%) e a América do Sul (3,9%) são significativamente sub-representadas. A produtividade dos autores segue uma distribuição acentuada da Lei de Lotka (expoente 3,7), com 88,7% dos autores contribuindo com apenas um artigo.
• Subanálise de Urologia: Apenas 6 artigos (1,1%) abordaram a interseção de LLMs, simulação e urologia. Nenhum examinou a integração de LLMs dentro de formatos de treinamento de "boot camp" estabelecidos, apesar da robusta infraestrutura de simulação da especialidade.

Significância e Alegações
O artigo alega que o campo de LLMs na simulação de saúde está em uma fase de "inflexão", caracterizada por um crescimento rápido de volume, mas com desequilíbrios estruturais significativos.

• Lacunas de Pesquisa: Os autores identificam pontos cegos críticos onde a pesquisa fica aquém da necessidade clínica. Especificamente, a falta de foco em habilidades baseadas em equipe (trabalho em equipe, liderança, CRM) sugere que as aplicações atuais de LLM podem estar reforçando competências individuais enquanto negligenciam a dinâmica colaborativa essencial para a segurança do paciente.
• Dependência de Modelo: A dependência esmagadora de um único modelo proprietário (ChatGPT) levanta preocupações sobre reprodutibilidade, acessibilidade para instituições de poucos recursos e a generalização dos achados entre diferentes arquiteturas de IA.
• Negligência de Especialidade: A quase ausência de pesquisa específica em urologia no contexto de simulação destaca uma oportunidade perdida de alavancar estruturas de treinamento estabelecidas (ex: boot camps) para o aumento por IA.
• Viabilidade Metodológica: O estudo afirma que a triagem assistida por IA usando agentes independentes é um método viável, confiável e escalável para mapear campos de pesquisa em rápida evolução, oferecendo um caminho para "análises bibliométricas vivas" que podem ser atualizadas em tempo quase real.

Os autores concluem que, embora a amplitude da pesquisa seja notável, o campo carece do equilíbrio temático, da profundidade específica por especialidade e da avaliação rigorosa (ex: ensaios clínicos randomizados) necessária para guiar confiavelmente a integração de LLMs no treinamento de NTS baseado em simulação. Eles convocam pesquisas futuras para abordar as lacunas identificadas em habilidades baseadas em equipe, avaliação de modelos de código aberto e aplicações específicas de especialidades.