Importance of Prompt Optimisation for Error Detection in Medical Notes Using Language Models

1. Definición del Problema

Los errores en el texto médico pueden provocar retrasos en el tratamiento o, en casos graves, tratamientos incorrectos que resultan en morbilidad y mortalidad. Se estima que en Inglaterra ocurren 237 millones de errores de medicación anuales, con un coste significativo para el sistema de salud y la seguridad del paciente.

Aunque los Modelos de Lenguaje Grandes (LLM) han mostrado potencial para detectar errores automáticamente, enfrentan desafíos específicos en el dominio médico:

• Privacidad: Los LLM comerciales en línea a menudo no son adecuados debido a la confidencialidad de los datos de los pacientes.
• Rendimiento: Incluso los modelos de vanguardia (frontier models) luchan con la detección de errores en textos médicos, especialmente en conjuntos de datos no vistos (fuera de distribución), como se demostró en el benchmark MEDEC.
• Limitaciones de la Sintonización Fina (Fine-tuning): Entrenar modelos desde cero es costoso, requiere grandes conjuntos de datos etiquetados y plantea problemas de gobernanza y auditabilidad.

El objetivo del trabajo es mejorar la capacidad de detección de errores de modelos de lenguaje (tanto grandes como pequeños) mediante la optimización automática de prompts, evitando la necesidad de reentrenamiento costoso y manteniendo la auditabilidad del sistema.

2. Metodología

Los autores proponen un enfoque basado en la optimización de prompts utilizando el algoritmo Genetic-Pareto (GEPA), implementado a través del framework DSPy.

A. Datos y Tarea

• Dataset: Se utiliza el conjunto de datos MEDEC (Ben Abacha et al., 2025), que consta de dos subconjuntos:
  • MS (Microsoft): Escenarios derivados de exámenes médicos con errores inyectados (usado para entrenamiento y validación).
  • UW (University of Washington): Notas clínicas reales desidentificadas con errores manuales (usado como prueba fuera de distribución para evaluar la generalización).
• Tarea: Clasificación binaria para determinar si una nota clínica contiene exactamente un error médico o es completamente correcta.

B. Modelos Evaluados

Se evaluaron 7 modelos diferentes en 28 configuraciones:

• Modelos Comerciales (API): GPT-5, Grok-4, Gemini-2.5-Pro, Claude-Sonnet-4.
• Modelos de Código Abierto (SLM - Small Language Models): Familia Qwen3 (versiones de 32B, 14B, 8B, 4B, 1.7B y 0.6B parámetros), ejecutados localmente en hardware GPU (NVIDIA A100).

C. Proceso de Optimización (GEPA)

El flujo de trabajo (Figura 1 del artículo) se basa en un paradigma de Inferencia-Reflexión:

1. Modelo de Inferencia: El modelo que finalmente se despliega para analizar las notas clínicas.
2. Modelo Reflector: Un modelo (puede ser el mismo o más potente) que analiza los errores de predicción, recibe retroalimentación textual y numérica, y genera revisiones del prompt.
3. Mecanismo GEPA:
   • Alterna entre ejecutar el prompt actual en mini-lotes y usar las trazas resultantes para generar revisiones reflexivas.
   • Utiliza una frontera de Pareto para seleccionar candidatos de prompts que maximizan el rendimiento sin caer en mínimos locales.
   • La retroalimentación incluye explicaciones naturales sobre por qué una predicción fue incorrecta (ej. "falso positivo") y la corrección médica específica, permitiendo al modelo inferir lagunas en el razonamiento clínico.
4. Desacoplamiento: Permite usar un modelo comercial potente (como GPT-5) como "reflector" para optimizar prompts para modelos pequeños locales (como Qwen3-4B), eliminando la necesidad de usar el modelo costoso en producción.

3. Contribuciones Clave

1. Evaluación Comparativa: Se evalúa el rendimiento de modelos de vanguardia frente a modelos locales (SLM) para la detección de errores en notas médicas.
2. Optimización Automatizada: Se demuestra que la ingeniería de prompts automatizada (GEPA) mejora significativamente la detección de errores sin necesidad de fine-tuning.
3. Eficiencia y Privacidad: Se muestra que los modelos pequeños locales pueden alcanzar un rendimiento cercano al de los modelos grandes cuando se les optimiza con prompts generados por modelos más potentes, facilitando el despliegue seguro dentro de redes hospitalarias.
4. Estado del Arte (SOTA): Se logra el mejor rendimiento reportado en el benchmark MEDEC, superando a las líneas base originales y acercándose al rendimiento de médicos humanos.

4. Resultados Principales

Los experimentos se realizaron en los conjuntos de prueba MS y UW.

• Mejoras de Rendimiento:

  • GPT-5: La precisión aumentó de 0.669 (prompt base) a 0.785 (optimizado con GEPA) en la combinación de pruebas MS+UW.
  • Qwen3-32B: La precisión mejoró de 0.578 a 0.690.
  • Generalización: Las mejoras observadas en el conjunto de entrenamiento MS se transfirieron exitosamente al conjunto de prueba UW (fuera de distribución), demostrando que los prompts aprendidos generalizan bien a diferentes estilos de documentación clínica.

• Comparación con Humanos y SOTA:

  • El modelo GPT-5 optimizado (0.785) superó a uno de los dos médicos de referencia del estudio original (Doctor #1: 0.796 en MS, pero 0.716 en UW; el promedio combinado del modelo optimizado es superior a la mayoría de las líneas base de modelos anteriores).
  • Superó a sistemas específicos previos como MediFact (0.737) y enfoques de debate multi-agente que requieren múltiples llamadas al modelo.

• Análisis de Comportamiento:

  • Los modelos base tendían a tener altas tasas de falsos positivos (sobredetectar errores).
  • Tras la optimización con GEPA, los modelos se volvieron más equilibrados, mejorando significativamente la especificidad (identificar correctamente textos sin errores) con una ligera reducción en la sensibilidad, lo cual es clínicamente deseable para evitar alarmas innecesarias.
  • Los prompts optimizados aprendieron a ser más conservadores y a incorporar ejemplos médicos específicos (ej. patógenos esperados) para desambiguar casos.

5. Significado e Impacto

• Viabilidad Clínica y Gobernanza: A diferencia del fine-tuning, los prompts optimizados son cortos, explícitos y totalmente auditables. Esto cumple con las directrices de la Sociedad Europea de Oncología Médica (ELCAP) para sistemas de IA de "Tipo 3" (monitoreo continuo), permitiendo a los clínicos revisar y auditar la lógica del sistema antes del despliegue.
• Despliegue Seguro: La capacidad de usar modelos pequeños (SLM) locales con prompts optimizados por modelos grandes permite implementar sistemas de detección de errores dentro de redes hospitalarias seguras, resolviendo problemas de privacidad de datos.
• Eficiencia de Costos: La optimización de prompts es mucho más ligera y rápida que el entrenamiento de modelos, ofreciendo una ruta práctica para mejorar el rendimiento de la IA en entornos clínicos sin grandes inversiones computacionales.

En conclusión, el artículo demuestra que la optimización automática de prompts es una estrategia crítica y efectiva para desbloquear el potencial de los modelos de lenguaje en la seguridad del paciente, logrando un rendimiento comparable al de expertos humanos y estableciendo un nuevo estándar en el benchmark MEDEC.