Prompt engineering does not universally improve Large Language Model performance across clinical decision-making tasks

Resumen Técnico: Ingeniería de Prompts en la Toma de Decisiones Clínicas

Planteamiento del Problema
Aunque los Modelos de Lenguaje de Gran Escala (LLM) han demostrado un rendimiento de nivel experto en evaluaciones estandarizadas de conocimientos médicos (p. ej., USMLE, MedQA), su eficacia en la toma de decisiones clínicas del mundo real sigue siendo incierta. El razonamiento clínico en el mundo real implica integrar datos específicos del paciente, priorizar bajo incertidumbre y secuenciar intervenciones diagnósticas y terapéuticas; tareas que son distintas de la recuperación de conocimientos estáticos. Además, aunque las estrategias de ingeniería de prompts como la Cadena de Pensamiento (CoT) y el aprendizaje de pocos disparos (exemplificado por el marco MedPrompt) han mejorado el rendimiento de los LLM en exámenes médicos, su generalizabilidad a través de diferentes arquitecturas de modelos y el espectro completo de flujos de trabajo clínicos secuenciales no ha sido evaluada sistemáticamente. Existe una brecha crítica en la comprensión de si la ingeniería de prompts mejora universalmente el razonamiento clínico o si sus efectos dependen de la tarea y del modelo.

Metodología
El estudio evaluó tres LLM de vanguardia: ChatGPT-4o (OpenAI), Gemini 2.5 Flash (Google) y Llama 3.3 70B (Meta). La evaluación utilizó 36 viñetas clínicas extraídas del Manual Clínico de Merck Sharpe & Dohme (MSD), diseñadas para reflejar encuentros reales con pacientes.

El flujo de trabajo clínico se estructuró en cinco tareas secuenciales de toma de decisiones:

1. Diagnóstico Diferencial
2. Pasos Inmediatos Esenciales
3. Pruebas Diagnósticas Relevantes
4. Diagnóstico Final
5. Recomendaciones de Tratamiento

Diseño Experimental:

• Evaluación de Línea Base: Los modelos fueron probados utilizando prompts básicos sin estrategias de ingeniería. Los inputs fueron enriquecidos progresivamente: las tareas iniciales recibieron la Historia de la Enfermedad Actual (HPI), la Revisión por Sistemas (ROS) y el Examen Físico (PE); las tareas subsecuentes incluyeron las respuestas de la verdad de campo (ground truth) de todos los pasos previos.
• Análisis de Temperatura: El rendimiento se comparó entre la configuración de temperatura por defecto de cada modelo y una configuración de temperatura cero para evaluar la variabilidad de la salida.
• Evaluación de la Ingeniería de Prompts: El estudio aplicó el marco MedPrompt, que integra el razonamiento CoT autogenerado, la permutación de opciones de respuesta y el aprendizaje de pocos disparos (few-shot learning) dinámico. Se probaron dos variantes de la selección de pocos disparos:
  1. KNN (K-Vecinos más Cercanos): Selección de ejemplos basados en la similitud semántica con la pregunta de prueba.
  2. Aleatorio: Selección de ejemplos aleatorios del conjunto de entrenamiento.
• Partición de Datos: Aproximadamente el 30% de los casos por tarea se utilizaron para generar un conjunto de entrenamiento (que contenía ejemplos de CoT autogenerados que coincidían con la verdad de campo), mientras que el 70% restante sirvió como conjunto de prueba.
• Métricas: El rendimiento se midió utilizando precisión basada en el solapamiento (recall), precisión (precision) y puntuación F1 (F1-score). Para tareas con múltiples respuestas correctas (p. ej., diagnóstico diferencial), se otorgó crédito parcial basado en la proporción de opciones identificadas correctamente. La significancia estadística se evaluó mediante la prueba de rango con signo de Wilcoxon pareada.

Resultados Clave

1. Rendimiento de Línea Base Dependiente de la Tarea: Los LLM exhibieron una variabilidad significativa entre las tareas. Todos los modelos alcanzaron una precisión casi perfecta para el Diagnóstico Final (probablemente debido a la disponibilidad de información completa y la verdad de campo de los pasos previos). Por el contrario, Pruebas Diagnósticas Relevantes fue la tarea más desafiante en la línea base, con la precisión más baja en todos los modelos.
2. Insensibilidad a la Temperatura: Las diferencias de rendimiento entre la temperatura por defecto y la configuración de temperatura cero no fueron estadísticamente significativas para ningún modelo o tarea, aunque tendencias sutiles sugirieron que Gemini 2.5 Flash funcionó ligeramente mejor a temperatura cero.
3. Efectos Mixtos de la Ingeniería de Prompts:
   • Pruebas Diagnósticas: La ingeniería de prompts mejoró significamente el rendimiento en la tarea más difícil de la línea base (Pruebas Diagnósticas Relevantes). Por ejemplo, la precisión de ChatGPT-4o en esta tarea aumentó del 30.8% al 50.7% usando MedPrompt con el prompting de pocos disparos tipo KNN.
   • Efectos Adversos: La ingeniería de prompts produjo resultados mixtos o contraproducentes para otras tareas. Específicamente, provocó descensos consistentes en el rendimiento en el Diagnóstico Diferencial y las Recomendaciones de Tratamiento para la mayoría de los modelos. Por ejemplo, la precisión del diagnóstico diferencial de ChatGPT-4o cayó del 71.1% al 56.0% con el prompting KNN.
   • Estrategia de Selección: El enfoque KNN (similitud semántica) no superó consistentemente la selección de pocos disparos aleatoria, lo que indica que la coincidencia semántica por sí sola no garantiza un rendimiento óptimo en este contexto.

Contribuciones y Afirmaciones Clave
El artículo afirma que la ingeniería de prompts no es una solución de "talla única" para la toma de decisiones clínicas. El estudio demuestra que:

• El Contexto Importa: La efectividad de las estrategias de prompting es altamente dependiente de la tarea clínica específica y de la arquitectura del modelo subycente.
• Potencial de Degradación: El prompting estructurado (p. ej., andamiajes de razonamiento elaborados y ejemplos de pocos disparos) puede paradójicamente degradar el rendimiento, potencialmente al distraer al modelo de las señales centrales relevantes para la tarea o al sobre-limitar su proceso de razonamiento.
• Complejidad de la Tarea: La ingeniería de prompts es más beneficiosa para tareas donde las capacidades de línea base del modelo son más débiles (alta incertidumbre), pero puede ser perjudicial para tareas donde el modelo ya desempeña bien o donde la estructura añadida interfiere con el razonamiento natural.

Significancia
Los autores concluyen que un fuerte rendimiento en exámenes de conocimientos médicos no se traduce en un rendimiento efectivo en flujos de trabajo clínicos secuenciales. Los hallazgos sugieren que la integración segura y efectiva de los LLM en la atención médica requiere enfoques adaptados que vinculen modelos y estrategias de prompting específicos con tareas específicas, en lugar de buscar un prompt óptimo universal. En consecuencia, los autores abogan por flujos de trabajo híbridos con el clínico en el bucle (clinician-in-the-loop), donde las recomendaciones de los LLM sirvan como apoyo a la decisión sujetos a revisión humana, particularmente en escenarios de alto riesgo o ambiguos, en lugar de un despliegue totalmente autónomo.