Resumen Técnico: Un Pipeline para la Generación de Notas Clínicas Longitudinales Sintéticas mediante Modelos de Lenguaje de Gran Escala

Planteamiento del Problema

El desarrollo y la evaluación de sistemas de IA clínica —como herramientas de resumen, soporte diagnóstico y modelos de codificación automatizada— se ven obstaculizados por el acceso restringido a datos de pacientes reales debido a estrictos requisitos regulatorios y éticos. Aunque existen técnicas de mejora de la privacidad como la anonimización, estas a menudo no logran satisfacer los procesos de aprobación institucional o mitigar plenamente los riesgos de privacidad. En consecuencia, existe una necesidad crítica de datos clínicos sintéticos de alta calidad que imiten la estructura, el contenido y la consistencia longitudinal de los registros reales de pacientes sin contener información de pacientes genuinos. Los enfoques actuales de datos sintéticos suelen tener dificultades para equilibrar la consistencia interna a lo largo de la trayectoria de un paciente con la variación necesaria en los estilos de escritura, las estructuras de las notas y los detalles clínicos que se encuentran en entornos del mundo real.

Metodología

Los autores presentan un pipeline modular de cinco etapas diseñado para generar notas clínicas sintéticas con consistencia longitudinal. El pipeline prioriza la velocidad y la privacidad, utilizando Modelos de Lenguaje de Gran Escala (LLM) para la generación de datos semiestructurados y no estructurados, complementados con datos estructurados del simulador de código abierto Synthea.

1. Generación de Pacientes

El pipeline comienza generando la demografía de los pacientes utilizando Synthea UK, una versión modificada de Synthea adaptada para alinearse con la demografía y las direcciones de la población del Reino Unido. Se emplea un LLM (GPT-4o) para generar detalles adicionales, como la información de contacto del pariente más cercano. Para asegurar la diversidad y el realismo, el pipeline refina iterativamente los prompts basándose en la retroalimentación clínica; por ejemplo, ahora muestrea aleatoriamente las alergias basándose en la prevalencia nacional en lugar de recurrir por defecto a alucinaciones comunes como las alergias a la penicilina. Todos los resultados se formatean estrictamente como JSON, con funciones de limpieza automatizadas (usando regex y llamadas secundarias al LLM) para manejar errores de análisis.

2. Generación de Admisiones

El sistema genera dos tipos de admisiones: electivas y de emergencia. Los motivos de admisión se muestrean de una tabla curada de motivos comunes estratificados por sexo y edad, aunque la arquitectura permite la integración con conjuntos de datos codificados con SNOMED o ICD. El LLM genera los detalles de la admisión, incluyendo especialidad, ubicación de la sala, medicamentos actuales e historial médico previo, seguido de una estimación de la duración de la estancia.

3. Simulación de la Trayectoria del Paciente

Esta etapa construye una línea de tiempo longitudinal de eventos desde la admisión hasta la pre-alta.

• Generación Inicial: Primero se genera un recorrido "simple", que contiene tipos de eventos (por ejemplo, admisión, rondas de guardia, operaciones), marcas de tiempo y resúmenes breves.
• Inyección de Complejidad: Una vez completado el recorrido simple, se añade complejidad a cada evento, incluyendo asignaciones de personal, descripciones detalladas y decisiones de próximos pasos.
• Bucle de Validación: Un validador LLM evalúa el realismo del recorrido. Si un recorrido se termina prematuramente o se considera poco realista, el pipeline entra en un bucle para reescribir secciones o extender la línea de tiempo.
• Filtrado: Se filtran los eventos no deseados, como el evento de alta (para evitar la generación prematura de resúmenes de alta).

4. Generación de Notas Clínicas

Para cada evento en la trayectoria, se genera una nota clínica específica utilizando GPT-4o.

• Prompting Contextual: Los prompts incluyen la demografía del paciente, el historial completo de eventos hasta ese momento y formatos de salida esperados diseñados con la intervención de clínicos.
• Personas Clínicas: Para introducir una variación realista en el estilo de escritura, se asignan "personas" aleatorias al personal (por ejemplo, Conciso, Narrativo, Viñetas, Nota, ABCDE). Esto asegura una variación estilística constante a lo largo de la trayectoria del paciente.
• Contenido Dinámico: El pipeline selecciona dinámicamente los síntomas de "bandera roja" apropiados para verificar, basándose en el motivo de la admisión, y determina los exámenes legales necesarios.

5. Aumentación y Validación

• Validación por LLM: Un LLM validador comprueba la fidelidad de las notas generadas con respecto a la trayectoria del paciente y el contexto, asegurando que no se omitan ni alteren detalles críticos. Este paso opera en un bucle para mejorar iterativamente la calidad de la salida.
• Inyección de Ruido: El pipeline añade ruido realista, incluyendo:
  • Abreviaturas: Un LLM inserta inteligentemente abreviaturas clínicas en las oraciones en lugar de utilizar un simple reemplazo de texto.
  • Errores Tipográficos: El paquete python-typo simula errores de mecanografía realistas (intercambio de caracteres, omisiones, espacios dobles), con tasas de error individuales asignadas aleatoriamente a cada miembro del personal.
  • Firmas: Se añaden firmas del personal a las notas.

Contribuciones Clave

1. Un Pipeline Modular: Un pipeline configurable para generar notas clínicas sintéticas que mantiene la consistencia longitudinal a través de los registros de los pacientes, capturando al mismo tiempo la variación en el estilo de escritura y el detalle clínico.
2. El Conjunto de Datos Sintético: Un conjunto de datos publicado que comprende 70 pacientes sintéticos, cada uno con 20–50 notas clínicas que abarcan una trayectoria hospitalaria completa. El conjunto de datos se proporciona en múltiples niveles de validación:
   • Silver (Publicado): Generado mediante el pipeline validado y el LLM sin revisión clínica.
   • Gold (Planificado): Incluye revisión y validación adicional por parte de clínicos.
   • Bronze (Planificado): Generado con pipelines validados pero potencialmente con diferentes LLMs y sin validación adicional.
3. Marco de Evaluación: Una suite de evaluación integrada que mide el realismo, la consistencia y la variación utilizando tanto métricas tradicionales como jueces basados en LLM.

Resultados y Evaluación

El documento detalla un pipeline de evaluación utilizado para mejorar iterativamente el sistema durante su desarrollo:

• Legibilidad: Medida mediante las puntuaciones de Flesch Reading Ease y Dale Chall para asegurar que las diferentes personas clínicas produzcan notas con niveles de legibilidad variados pero apropiados.
• LLM-as-a-Judge (LLM como Juez): Los LLM califican las notas generadas en cuanto a Fluidez (gramática y coherencia), Fundamentación (alineación con los hechos de la trayectoria del paciente) y Relevancia (inclusión de información vital). Las puntuaciones oscilan entre 1 y 5.
• Coherencia Temporal: Una verificación binaria asegura que todos los eventos de un paciente ocurran en orden cronológico.
• Evaluación Humana: La retroalimentación clínica identificó problemas específicos (por ejemplo, falta de documentación de banderas rojas, abreviaturas poco realistas, notas verbosas), que fueron abordados posteriormente mediante ingeniería de prompts y modificaciones del pipeline.

El conjunto de datos respalda el desarrollo de herramientas de IA para el resumen, la codificación, el soporte de decisiones y las pruebas de sesgo (mediante una capacidad de intercambio de género).

Significado y Reivindicaciones

Los autores afirman que este trabajo proporciona una solución práctica para desarrollar y probar sistemas de IA clínica sin depender de datos reales de pacientes, evitando así los procesos de aprobación institucional, que suelen ser lentos y con frecuencia infructuosos, asociados con los datos del mundo real.

El documento enfatiza que, si bien el pipeline genera trayectorias y notas clínicas de alta calidad, no es una réplica perfecta de la complejidad del mundo real. Los autores reconocen modestamente las limitaciones, que incluyen:

• Pérdida de Complejidad del Mundo Real: La incapacidad de capturar plenamente la riqueza de las observaciones conflictivas, los problemas de disponibilidad del personal y la toma de decisiones dependiente del contexto.
• Subrepresentación de Casos Límite: Una tendencia a reflejar casos "promedio" en lugar de la larga cola de eventos raros o adversos.
• Sesgo y Alucinación: El riesgo de que los datos sintéticos hereden sesgos del LLM subyacente o introduzcan información clínica plausible pero factualmente incorrecta.

La importancia del trabajo reside en proporcionar un conjunto de datos escalable y que preserva la privacidad, que permite probar herramientas de IA (incluyendo la detección de sesgos y la predicción multimodal) cumpliendo al mismo tiempo con las restricciones éticas. El código está disponible en GitHub y los datos se alojan en Hugging Face.