CARE-Bench: Benchmarking Patient-Facing LLM Triage

Resumen Técnico de CARE-BENCH: Evaluación de Referencia para el Triaje de LLM Orientado al Paciente

Definición del Problema
Los Modelos de Lenguaje de Gran Escala (LLM) y agentes médicos orientados al paciente se están desplegando cada vez más para responder consultas de síntomas antes de que los pacientes lleguen a los clínicos. En este contexto, el principal desafío de seguridad no es meramente la precisión diagnóstica o la calidad de la respuesta, sino determinar la acción siguiente correcta que un usuario debe tomar. Los benchmarks de evaluación actuales suelen depender de viñetas clínicas estáticas o tareas amplias de preguntas y respuestas de salud, las cuales no logran capturar la naturaleza dinámica del triaje orientado al paciente. En las interacciones del mundo real, la acción apropiada (por ejemplo, pedir una aclaración, recomendar el autocuidado o escalar a la atención de emergencia) depende de la información revelada en cada turno. El consejo prematuro puede conducir al sub-triaje (retrasar la atención necesaria) o al sobre-triaje (crear una demanda innecesaria), mientras que las respuestas ambiguas pueden confundir a usuarios con baja alfabetización en salud. Estudios existentes indican que los modelos actuales tienen dificultades con la calibración, a menudo realizando sub-triaje en emergencias y sobre-triaje en casos no urgentes, o proporcionando señales de acción mixtas que oscurecen el siguiente paso inmediato.

Metodología
Los autores introducen CARE-BENCH, un benchmark basado en fuentes diseñado para evaluar el triaje secuencial orientado al paciente como una tarea de acción actual por turno.

• Formulación de la Tarea: El benchmark trata el triaje como un problema de clasificación donde el sistema recibe un "prefijo de divulgación del paciente" (texto acumulado del paciente hasta el turno actual) y debe generar una respuesta. Esta respuesta se mapea a una de cuatro etiquetas de acción:
  1. INFONEEDED (Información Necesaria): Se requiere una aclaración dirigida antes de que se pueda elegir un nivel de cuidado.
  2. SELFCARE/MONITOR (Autocuidado/Monitoreo): La información actual respalda el autocuidado, el monitoreo o la creación de redes de seguridad contingentes al futuro.
  3. NONURGENTCARE (Atención No Urgente): Se justifica una evaluación clínica sin lenguaje urgente.
  4. URGENTCARE (Atención Urgente): Se justifica atención el mismo día, de emergencia o de cuidado ante la imposibilidad de demora.
• Construcción del Conjunto de Datos: El conjunto de datos comprende 500 casos y 1,059 rondas evaluadas reconstruidas a partir de fuentes de diálogos médicos, consultas y preguntas de seguimiento (MedDialog/OpenMed, ChatDoctor, PriMock57 y Followup-Q). Un flujo de trabajo iterativo que involucra a GPT-5.5 y revisores humanos (incluyendo a un candidato a doctor en salud pública y un médico en formación) abstrae los hechos de las fuentes en divulgaciones de pacientes secuenciales. Cada ronda es etiquetada con la acción actual justificada basada en el estado de la información en ese turno específico.
• Protocolo de Evaluación: Los autores evaluaron 11 modelos (que abarcan modelos cerrados, de pesos abiertos generales y de salud de pesos abiertos) bajo dos protocolos:
  1. Sin Prompt (Unprompted): El modelo recibe solo el texto del paciente, simulando una consulta de usuario general sin instrucciones específicas.
  2. Con Prompt (Prompted): Se añade una instrucción mínima para ser "breve, segura y orientada a la acción", sin proporcionar ejemplos o nombres de etiquetas.
• Puntuación: Las respuestas se mapean al espacio de cuatro etiquetas utilizando un mapeador fijo de gpt-5.5. La métrica principal es el macro-F1, suplementada por la precisión, el orden de sobre/sub-triaje y las tasas de error específicas de umbral (atención omitida, atención innecesaria, falsos negativos urgentes y escalada de urgencia falsa).

Contribuciones Clave

1. Operacionalización del Triaje: El artículo operacionaliza el triaje orientado al paciente como una tarea de evaluación de acción actual por turno sobre prefijos de divulgación de pacientes controlados, yendo más allá de la clasificación de viñetas estáticas.
2. Benchmark Basado en Fuentes: Libera un conjunto de datos de 500 casos y 1,059 rondas con fundamentación de fuente auditable, cubriendo divisiones de desarrollo, validación y de prueba retenida.
3. Evaluación Empírica: Proporciona una evaluación exhaustiva de 11 LLM, revelando fallos persistentes en el tiempo de la acción y la calibración que no se resuelven mediante un simple prompting.

Resultos

• Desempeño: Los puntajes de macro-F1 sin prompt fueron bajos, oscilando entre 31.2% y 50.4%. El uso de prompts mejoró el desempeño para 10 de 11 modelos, con un macro-F1 que osciló entre 46.9% y 63.4%, pero persistieron errores de umbral sustanciales.
• Fallo de Aclaración: Un modo de error dominante es el fallo al reconocer información insuficiente. Cuando la acción correcta era INFONEEDED, solo el 19.0% de las salidas sin prompt y el 33.5% de las salidas con prompt preservaron correctamente el paso de pedir una aclaración; la mayoría (81.0% sin prompt y 66.5% con prompt) recomendó atención prematuramente.
• Compensaciones de Umbral: El prompting a menudo desplaza el comportamiento del modelo hacia la recomendación de atención profesional. Si bien esto reduce la atención profesional omitida (falsos negativos), frecuentemente aumenta la atención innecesaria (falsos positivos) y el sobre-triaje. Por ejemplo, GPT-5.5 logró una tasa baja de falsos negativos urgentes (9.8%), pero una alta tasa de atención innecesaria (56.9%).
• Análisis de Sensibilidad: El desempeño mejoró cuando todas las divulgaciones del paciente estaban disponibles a la vez (prefijo terminal), lo que sugiere que los modelos pueden tomar mejores recomendaciones finales pero tienen dificultades con el tiempo de las acciones durante la fase de recopilación de información. El ajuste exacto de la trayectoria (acción correcta en cada turno) siguió siendo bajo (22.0% sin prompt, 34.9% con prompt).
• Variabilidad de los Modelos: Ningún modelo emergió como un líder claro en todas las dimensiones de seguridad. Los modelos de salud de pesos abiertos no superaron uniformemente a los modelos generales; por ejemplo, HuatuoGPT-o1 mostró altas tasas de falsos negativos urgentes a pesar de ser un modelo ajustado médicamente.

Significancia y Reivindicaciones
El artículo concluye que el triaje orientado al paciente no es un simple problema de prompting. La persistencia de errores —específicamente el fallo al retrasar el consejo de atención hasta que se reúna información suficiente— sugiere que los modelos actuales carecen de la capacidad de cronometrar apropiadamente sus acciones basándose en la evolución de los estados de información.

Los autores afirman que CARE-BENCH proporciona un recurso controlado para estudiar si los LLM médicos orientados al paciente comunican el consejo de búsqueda de atención con la temporalidad y calibración adecuadas. Establecen explícitamente que el benchmark evalúa la acción actual comunicada a un paciente, no la toma de decisiones clínicas dentro de un sistema de atención. Los resultados respaldan la afirmación de que los modelos actuales cometen errores de umbral sustanciales, particularmente cuando se requiere una aclaración antes de dar el consejo de atención. El artículo enfatiza que estos hallazgos respaldan la necesidad de una evaluación explícita del tiempo de la acción antes del despliegue, en lugar de confiar únicamente en la precisión agregada o en benchmarks amplios de preguntas y respuestas de salud. Los autores advierten que el benchmark no certifica la seguridad clínica, la precisión diagnóstica o la preparación para el enrutamiento autónomo.