Large Language Models in Healthcare Simulation Education: A Bibliometric Analysis with AI-Assisted Screening

Resumen Técnico: Modelos de Lenguaje Extensos en la Educación de Simulación en Salud

Planteamiento del Problema
La rápida aparición de los Modelos de Lenguaje Extensos (LLM, por sus siglas en inglés) tras el lanzamiento público de ChatGPT a finales de 2022 ha desencadenado una expansión sin precedentes en la educación sanitaria y la formación basada en simulación, particularmente en lo que respecta a las habilidades no técnicas (NTS). Sin embargo, el volumen de literatura ha crecido a un ritmo que hace que las revisiones narrativas tradicionales y la síntesis sistemática sean impracticables. En consecuencia, no existe un mapa cuantitativo exhaustivo de este panorama de investigación. Persisten preguntas críticas sin respuesta sobre la distribución de la investigación entre los dominios de las NTS (por ejemplo, comunicación frente a trabajo en equipo), la dominancia de modelos propietarios específicos frente a alternativas de código abierto, la prevalencia de diferentes modalidades de simulación y el grado de compromiso específico por especialidad, particularmente en campos como la urología con infraestructuras de simulación establecidas. Además, la magnitud de la literatura inicial (más de 100,000 registros) presenta un cuello de botella metodológico para el cribado dirigido por humanos, lo que requiere enfoques escalables y reproducibles para la síntesis de evidencia.

Metodología
Este estudio empleó un diseño de análisis bibliométrico siguiendo las directrices PRISMA 2020 y la lista de verificación PRISMA-trAIce para la notificación transparente de la IA. La metodología se definió por dos principios fundamentales: rigor analítico y plena reproducibilidad utilizando exclusivamente fuentes de datos de acceso abierto.

• Fuentes de Datos y Estrategia de Búsqueda: Se consultaron siete bases de datos de acceso abierto (OpenAlex, PubMed, Europe PMC, Crossref, Semantic Scholar, CORE, DOAJ) para publicaciones en inglés entre enero de 2020 y marzo de 2026. La búsqueda arrojó 100,277 registros iniciales.
• Pipeline de Cribado: Se utilizó un enfoque de cribado híbrido para gestionar el volumen:
  1. Embudo de Palabras Clave Determinista: Un filtro secuencial de tres etapas redujo el corpus de 86,635 registros únicos a 5,725, y posteriormente a 830 candidatos. Los filtros requirieron la presencia de terminología de LLM/IA, contexto de salud/educación y términos específicos de simulación. Un segundo pase de filtrado impuso criterios más estrictos, incluyendo modelos con nombre específico y palabras clave médicas en los títulos.
  2. Verificación Asistida por IA: Los 830 artículos candidatos fueron cribados por 83 instancias independientes del agente de IA Claude Sonnet 4.6. Cada agente aplicó criterios de inclusión/exclusión preespecificados a los datos de título y resumen, devolviendo decisiones binarias, calificaciones de confianza y clasificaciones de nivel.
  3. Validación: Un investigador principal revisó independientemente 180 artículos (el 22% del grupo de candidatos). La fiabilidad inter-evaluador entre los agentes de IA y el revisor humano arrojó un kappa de Cohen de 0.86 pre-reconciliación y 1.0 post-reconciliación, superando el kappa medio humano-humano de 0.82 reportado en la literatura existente.
• Análisis: El corpus final de 551 artículos se sometió a un análisis bibliométrico que incluyó análisis de tendencia de publicación (CAGR), métricas de citación (índice h, índice g), productividad de autores (ley de Lotka), concentración de revistas (ley de Bradford) y distribución geográfica. El mapeo temático se realizó mediante redes de co-ocurrencia de palabras clave y detección de comunidades (algoritmo de Louvain). Los dominios de NTS se clasificaron mediante el emparejamiento de patrones de expresiones regulares a través de nueve competencias específicas.

Contribuciones Clave

• Primer Mapa Exhaustivo: Este estudio proporciona el primer análisis bibliométrico que mapea específicamente la intersección de los LLM, la simulación en salud y el entrenamiento de habilidades no técnicas.
• Pipeline de Cribado de IA Validado: Los autores demuestran un pipeline replicable y de acceso abierto para la síntesis de evidencia a gran escala utilizando múltiples agentes de IA independientes. La metodología alcanzó una alta fiabilidad (kappa de Cohen > 0.86) y ofrece una alternativa escalable al cribado tradicional de múltiples revisores para campos de rápida evolución.
• Estratificación Granular: El corpus se estratificó en tres niveles: Nivel 1 (LLM en la educación sanitaria en sentido amplio), Nivel 2 (LLM en la simulación sanitaria) y Nivel 3 (LLM en la simulación sanitaria con NTS), permitiendo un análisis matizado de la profundidad de la investigación.
• Ciencia Abierta: Todo el pipeline, incluyendo el código, los datos y los prompts de la IA, está disponible públicamente en GitHub, lo que permite la replicación y actualizaciones longitudinales sin suscripciones a bases de datos institucionales.

Resultados

• Trayectoria de Crecimiento: El campo exhibe un crecimiento explosivo con una Tasa de Crecimiento Anual Compuesta (CAGR) del 109%. El volumen de publicaciones es casi totalmente posterior a ChatGPT (99% publicados de 2023 en adelante), siendo 2025 el año pico (52% de la producción total).
• Panorama de Modelos: El ecosistema de investigación está fuertemente concentrado en un único modelo propietario. ChatGPT aparece en el 46.5% de los artículos. Otros modelos propietarios (GPT-4, Gemini, Claude) representan un ~15% adicional. Los modelos de código abierto están virtualmente ausentes, apareciendo en solo el 0.7% de los artículos (4 artículos mencionan Llama).
• Modalidades de Simulación: Los chatbots de pacientes virtuales son la modalidad dominante (19% del corpus), reflejando la alineación natural entre la IA conversacional y la interacción con el paciente. La simulación basada en escenarios (13%) y VR/XR (9.4%) le siguen. La simulación basada en maniquíes y de alta fidelidad está notablemente subrepresentada (1.1%).
• Distribución de Habilidades No Técnicas (NTS): La investigación está fuertemente sesgada hacia las competencias individuales. La comunicación (26.3%) y la toma de decisiones (24.5%) predominan. Las habilidades basadas en equipos y orientadas a crisis están críticamente subrepresentadas: el trabajo en equipo (5.8%), el liderazgo (3.4%), la conciencia situacional (0.9%) y la gestión de recursos de crisis (CRM) apenas han sido estudiadas.
• Geografía y Autoría: Las contribuciones provienen de 58 países, con EE. UU. (20.2%) y China (18.8%) a la cabeza. África (1.1%) y América del Sur (3.9%) están significativamente subrepresentadas. La productividad de los autores sigue una distribución estricta de la ley de Lotka (exponente 3.7), con un 88.7% de los autores contribuyendo con un solo artículo.
• Sub-análisis de Urología: Solo 6 artículos (1.1%) abordaron la intersección de los LLM, la simulación y la urología. Ninguno examinó la integración de los LLM dentro de los formatos de entrenamiento de "boot camp" establecidos, a pesar de la robusta infraestructura de simulación de la especialidad.

Significancia y Reivindicaciones
El artículo sostiene que el campo de los LLM en la simulación sanitaria se encuentra en una fase de "inflexión", caracterizada por un rápido crecimiento de volumen pero con desequilibrios estructurales significativos.

• Brechas de Investigación: Los autores identifican puntos ciegos críticos donde la investigación se queda atrás respecto a la necesidad clínica. Específicamente, la falta de enfoque en las habilidades basadas en equipos (trabajo en equipo, liderazgo, CRM) sugiere que las aplicaciones actuales de los LLM pueden estar reforzando las competencias individuales mientras descuidan la dinámica colaborativa esencial para la seguridad del paciente.
• Dependencia de Modelos: La abrumadora dependencia de un único modelo propietario (ChatGPT) plantea preocupaciones sobre la reproducibilidad, la accesibilidad para instituciones con pocos recursos y la generalizabilidad de los hallazgos a través de diferentes arquitecturas de IA.
• Negligencia de Especialidad: La casi total ausencia de investigación específica en urología en contextos de simulación destaca una oportunidad perdida para aprovechar los marcos de entrenamiento establecidos (por ejemplo, boot camps) para el aumento por IA.
• Viabilidad Metodológica: El estudio afirma que el cribado asistido por IA utilizando agentes independientes es un método factible, fiable y escalable para mapear campos de investigación de rápida evolución, ofreciendo una vía para "análisis bibliométricos vivos" que puedan actualizarse en tiempo casi real.

Los autores concluyen que, si bien la amplitud de la investigación es notable, el campo carece del equilibrio temático, la profundidad específica de la especialidad y la evaluación rigurosa (por ejemplo, ensayos controlados aleatorios) requeridas para guiar con confianza la integración de los LLM en el entrenamiento de NTS basado en simulación. Instan a que la investigación futura aborde las brechas identificadas en las habilidades basadas en equipos, la evaluación de modelos de código abierto y las aplicaciones específicas de cada especialidad.