A French OSCE Dialogue Dataset and Controllable Virtual Patient System for Clinical Training

Resumen Técnico: Un conjunto de datos de diálogos OSCE en francés y un sistema de Paciente Virtual controlable para la formación clínica

Declaración del problema
Los Exámenes Clínicos Objetivos Estructurados (OSCE, por sus siglas en inglés) son el estándar para evaluar el razonamiento clínico y las habilidades de comunicación de los estudiantes de medicina en Francia. Estos exámenes dependen de interacciones con Pacientes Estandarizados (SPs) humanos. Sin embargo, la formación se ve limitada por la escasez de SPs humanos y evaluadores, lo que genera problemas de escalabilidad y costes. Aunque se han propuesto soluciones de Paciente Virtual (VP), las soluciones existentes suelen depender de guiones basados en reglas o carecen de la capacidad de control necesaria para adherirse estrictamente a los escenarios clínicos predefinidos. Además, existe una falta significativa de conjuntos de datos de diálogos OSCE en lengua francesa y de marcos de evaluación estandarizados y reproducibles para sistemas VP basados en LLM.

Metodología
Los autores proponen una solución integral que comprende un nuevo conjunto de datos, un flujo de generación controlable y un marco de evaluación multinivel.

1. Construcción del conjunto de datos:

   • Datos grabados: Los autores recopilaron 240 diálogos de formación OSCE grabados y transcritos que involucran a 99 estudiantes de medicina de sexto año en 23 estaciones distintas (de un total de 192 estaciones recopiladas) que cubren más de 10 especialidades médicas. Las grabaciones fueron anotadas manualmente con etiquetas de especialidad, tipo de consulta y objetivos. La transcripción automática se realizó mediante faster-whisper, logrando una Tasa de Error de Palabra (WER) del 7,7% en un subconjunto corregido manualmente.
   • Datos generados: Utilizando el flujo de trabajo descrito a continuación, se generaron 792 diálogos sintéticos a partir de 11 de las estaciones grabadas.

2. Flujo de trabajo basado en LLM controlable:
   El sistema genera diálogos en dos modos: interactivo (el estudiante entrena como médico) y automático (tanto el médico como el paciente son generados por LLM). La arquitectura emplea hasta cuatro instancias distintas de LLM para roles específicos:

   • Anclaje de entrada (Input Grounding): El sistema utiliza tres documentos: la Ficha del Paciente (identidad, antecedentes, síntomas), la Ficha del Médico (contexto, objetivos) y la Ficha de Evaluación (criterios a cumplir).
   • Guionización del diálogo: En el modo automático, los criterios se reordenan en fases (Apertura, Recolección de información, Evaluación, Plan/Conclusión) para guiar al generador del médico.
   • Generador de Paciente: Produce respuestas basadas en la ficha del paciente y el historial del diálogo. Puede ser aumentado por un Módulo de Recuperación (Retrieval Module) para seleccionar el contexto relevante de la ficha del paciente.
   • Bucle de Control: Un Módulo Controlador evalúa las respuestas generadas del paciente en cuanto a su fidelidad respecto a la ficha del paciente, asignando una puntuación (0–10). Las respuestas que puntúan por debajo de 8/10 se envían a un Módulo de Corrección para abordar las inconsistencias identificadas. Esto forma un Bucle de Reflexión que mejora iterativamente la fidelidad del paciente.

3. Marco de Evaluación (LLM como Juez):
   Los autores utilizan GPT-4o-mini como juez para evaluar los diálogos en tres dimensiones:

   • Calidad de la Simulación del Paciente: Medida por la Recuperación de Información (proporción de elementos de la ficha del paciente mencionados) y la Relevancia de la Respuesta.
   • Desempeño del Médico: Medido por la Evaluación OSCE (porcentaje de criterios abordados) y la Adherencia al Rol.
   • Calidad Lingüística: Medida por la Naturalidad, Fluidez y Coherencia.

Contribuciones Clave

• Conjunto de Datos OSCE en Francés: La publicación de un conjunto de datos que contiene 240 diálogos de formación grabados y 792 diálogos generados, abordando la escasez de recursos de diálogos médicos en francés.
• Flujo de Trabajo de Generación Controlable: Un sistema modular que integra el anclaje basado en recuperación y un bucle de reflexión (controlador-corrector) para asegurar la fidelidad del paciente y la coherencia en los diálogos sintéticos de OSCE.
• Evaluación Multinivel: Un marco estructurado que evalúa la simulación del paciente, el desempeño del estudiante y la calidad lingüística, validado contra anotaciones humanas siempre que ha sido posible.

Resultados

• Generado vs. Grabado: Los diálogos generados superaron consistentemente a las interacciones grabadas en métricas de simulación de paciente (p. ej., Recuperación de Información: 52,24% para Claude-Haiku-4.5 frente al 43,58% de los grabados) y en calidad lingüística. Los autores señalan que esta brecha se debe en parte a la variabilidad y la cobertura incompleta de criterios en las interacciones reales de los estudiantes, así como a posibles sesgos en el LLM-como-Juez que favorecen el texto estructurado.
• Impacto de los Módulos de Control: El bucle de reflexión mejoró consistentemente las métricas de simulación del paciente (p. ej., aumentando la Recuperación de Información del 52,24% al 54,29% con reflexión, y al 56,62% con reflexión + recuperación) manteniendo una calidad lingüística estable. El proceso de corrección se activó solo en el 3,6% de los turnos, pero mejoró la puntuación del controlador en el 79,5% de esos casos.
• Robustez: El sistema VP se mantuvo robusto ante el desempeño degradado del médico (simulando estudiantes que abordan solo el 50% o el 25% de los criterios), manteniendo una alta relevancia de respuesta, particularmente cuando se utilizaba el flujo de reflexión y recuperación.
• Acuerdo Humano-LLM: El acuerdo inter-anotador entre humanos fue débil para los criterios lingüísticos. El acuerdo entre los evaluadores humanos y el LLM-como-Juez fue moderado para la puntuación de la lista de verificación OSCE, pero más fuerte para las estaciones exclusivas de paciente sin análisis de documentos.

Significancia y Reivindicaciones
El artículo afirma abordar la escasez de recursos de diálogos médicos en francés y la falta de control en los sistemas actuales de VP basados en LLM. Los autores postulan que su flujo de trabajo modular, fundamentado en datos reales de OSCE y mejorado por bucles de reflexión, ofrece una vía viable hacia herramientas de formación clínica escalables y realistas. Enfatizan que su sistema permite la generación de diálogos diversos y de alta fidelidad, y proporciona un mecanismo de retroalimentación automática para los estudiantes.

Sin embargo, los autores mantienen una postura modesta respecto a sus afirmaciones. Reconocen que:

• El conjunto de datos cubre solo un subconjunto de las estaciones recopiladas (11 de 192 utilizadas para la generación).
• La evaluación depende en gran medida de un único LLM-como-Juez sin una validación humana extensa para todas las métricas.
• El flujo de trabajo aún no ha sido probado en condiciones de formación real con estudiantes de medicina, por lo que su efectividad pedagógica permanece sin evaluar.
• La dependencia del sistema en múltiples llamadas de LLM plantea preocupaciones sobre el coste y la reproducibilidad.

El trabajo futuro se identifica como la extensión del flujo de trabajo a estaciones basadas en documentos, la mejora de la controlabilidad y la validación del sistema en escenarios de formación del mundo real.