Resumen Técnico: RxEval – Una Métrica a Nivel de Prescripción para Evaluar la Recomendación de Medicamentos por Modelos de Lenguaje de Gran Tamaño

Definición del Problema

Las métricas actuales para evaluar Modelos de Lenguaje de Gran Tamaño (LLM) en el ámbito de la salud se centran principalmente en la recuperación de conocimientos médicos (por ejemplo, exámenes de licencia como MedQA) o en la predicción de medicamentos a nivel de ingreso hospitalario de granularidad gruesa. Las métricas existentes de recomendación de medicamentos (por ejemplo, GAMENet, SafeDrug) formulan la tarea como la predicción de un único conjunto de códigos terapéuticos (nivel ATC-3) para todo un ingreso hospitalario, basándose en vectores multi-hot de códigos de diagnóstico y procedimientos ICD.

Los autores argumentan que esta formulación no refleja la práctica clínica real por tres razones:

1. Granularidad Temporal: Agrupa todas las prescripciones de un ingreso en una sola etiqueta, ignorando que los clínicos toman decisiones repetidas y específicas en el tiempo a medida que evoluciona la condición del paciente.
2. Fidelidad de la Entrada: Descarta datos clínicos ricos (valores de laboratorio, signos vitales, notas clínicas, hallazgos de imágenes) en favor de códigos categóricos, eliminando el contexto en el que confían los clínicos para la atención individualizada.
3. Especificidad de la Salida: Colapsa medicamentos distintos en subclases terapéuticas amplias y omite detalles críticos como la dosis y la vía de administración, que son esenciales para la seguridad y la eficacia.

Metodología

El artículo propone RxEval, una métrica diseñada para evaluar a los LLM en la toma de decisiones a nivel de prescripción. La metodología implica la construcción de un conjunto de datos a partir de la base de datos de historias clínicas electrónicas (EHR) de cuidados críticos MIMIC-IV y la formulación de la evaluación como una tarea de Pregunta de Opción Múltiple (MCQ).

1. Formulación de la Tarea

A diferencia de la predicción a nivel de ingreso, RxEval trata cada punto temporal de prescripción dentro de un ingreso como una instancia de decisión distinta.

• Entrada: Un perfil detallado del paciente ($P_a$) que incluye datos demográficos, alergias y medicamentos en el hogar, combinado con una trayectoria clínica ordenada temporalmente ($H_{a,<t}$) que contiene resultados de laboratorio, procedimientos, informes de radiología y prescripciones anteriores hasta el tiempo $t$.
• Salida: Un conjunto específico de tripletes medicamento-dosis-vía ($M_{a,t}$) prescritos en el tiempo $t$.
• Formato: Para evitar la ambigüedad en la evaluación causada por variaciones de nombres y múltiples alternativas clínicamente aceptables, la tarea se enmarca como una MCQ. El modelo debe seleccionar el subconjunto correcto de medicamentos de una lista de opciones.

2. Construcción de Distractores mediante Perturbación de Cadenas de Razonamiento

Una innovación central es la generación de distractores "específicos del paciente" (opciones incorrectas) que no pueden ser eliminados únicamente por conocimientos médicos generales. Esto se logra mediante un proceso de tres pasos:

1. Anotación de la Cadena de Razonamiento: Un LLM anota la cadena de razonamiento clínico que explica por qué un medicamento específico es correcto para un paciente, vinculando observaciones específicas (hechos) con inferencias clínicas. Un LLM crítico verifica que cada hecho esté fundamentado en el registro del paciente y que la lógica sea coherente.
2. Perturbación: La cadena de razonamiento se perturba ignorando una observación clínica específica o alterando una condición (por ejemplo, ignorar una alergia documentada). Luego, un LLM genera un medicamento que sería apropiado bajo la cadena perturbada, pero que es incorrecto para el paciente real.
3. Validación: Los distractores se validan para asegurar que son verificablemente incorrectos según el registro del paciente y suficientemente difíciles (requiriendo datos específicos del paciente para descartarlos). Una revisión médica de 95 distractores confirmó que el 96.8% eran claramente inapropiados.

3. Composición del Conjunto de Datos

RxEval comprende 1,547 MCQs derivados de 584 pacientes únicos (587 ingresos).

• Cobertura: Abarca 18 capítulos diagnósticos ICD y 969 medicamentos únicos con una distribución de cola larga.
• Complejidad: Las preguntas promedian 7.03 opciones (hasta 23) y requieren seleccionar subconjuntos de tamaño variable (media de 2.03 respuestas correctas). El 44.9% de las preguntas tienen múltiples respuestas.
• Longitud del Contexto: Los prompts tienen una longitud mediana de 3,111 tokens (hasta 118,805), significativamente más largos que las métricas estándar de preguntas y respuestas médicas.

Resultados Clave

Los autores evaluaron 16 LLM (8 propietarios, 8 de código abierto) en RxEval.

• Poder Discriminativo: RxEval separa eficazmente modelos de capacidades variables. Las puntuaciones F1 oscilan entre 45.18 (Llama-3.1-8B-Instruct) y 77.10 (Gemini-3.1-Pro).
• Dificultad: Incluso el modelo más fuerte, Gemini-3.1-Pro, alcanza solo una precisión de Coincidencia Exacta del 46.10%, lo que indica que la tarea está lejos de estar resuelta.
• Conocimiento vs. Razonamiento: Mientras que los modelos de vanguardia obtienen puntuaciones >89% en MedQA (recuperación de conocimientos), su rendimiento en RxEval es significativamente menor y más variable. Esto sugiere que RxEval evalúa el razonamiento clínico temporal en lugar del conocimiento estático.
• Limitaciones del Ajuste Fino: Los modelos ajustados finamente en el dominio médico (por ejemplo, HuatuoGPT-o1, MedGemma) mostraron ganancias negligeables (+1.2 a +2.2 F1) sobre sus contrapartes ajustadas con instrucciones generales, lo que sugiere que los paradigmas actuales de ajuste fino no capturan el razonamiento temporal específico requerido para las decisiones a nivel de prescripción.
• Análisis de Errores:
  • Errores de Omisión: Los modelos ignoran frecuentemente información del paciente explícitamente declarada (por ejemplo, alergias), como prescribir heparina a un paciente con una alergia a la heparina documentada. Repetir la lista de alergias al final del prompt corrigió el 85.4% de estos errores.
  • Errores de Razonamiento: Los modelos fallan al derivar conclusiones clínicas de las observaciones, como prescribir fármacos eliminados por vía renal a pacientes con creatinina elevada o atribuir erróneamente la causa de la hipertensión.
  • Degradación Temporal: El rendimiento generalmente se degrada en la fase tardía de los ingresos, donde las trayectorias clínicas son más largas y complejas.

Significado y Afirmaciones

El artículo afirma que RxEval representa un cambio necesario en la evaluación de los LLM para aplicaciones clínicas:

1. Realismo: Mueve la evaluación de predicciones gruesas a nivel de ingreso a la realidad de granularidad fina y específica en el tiempo de la prescripción intrahospitalaria.
2. Más allá del Conocimiento: Demuestra que un alto rendimiento en métricas de conocimientos médicos no garantiza la capacidad de sintetizar datos clínicos complejos y en evolución en planes de tratamiento seguros y específicos.
3. Valor Diagnóstico: La métrica revela modos de fallo sistemáticos en modelos de vanguardia, específicamente la incapacidad de mantener la atención a las restricciones específicas del paciente (omisión) y el fallo en realizar razonamiento clínico de múltiples pasos (razonamiento).
4. Implicaciones de Seguridad: Al destacar que incluso los modelos de primer nivel luchan con la integración de dosis, vías y contraindicaciones, los autores argumentan que los LLM actuales aún no están listos para un despliegue autónomo en la recomendación de medicamentos sin una supervisión humana rigurosa.

Los autores posicionan a RxEval como una herramienta para guiar el desarrollo de sistemas de IA clínica más seguros y fiables, identificando brechas específicas en los mecanismos de razonamiento y atención que deben abordarse antes del despliegue clínico.