Few-Shot Large Language Models for Actionable Triage Categorization of Online Patient Inquiries

Este estudio demuestra que los modelos de lenguaje grande con prompts de pocos ejemplos, en particular Claude Haiku 4.5, pueden superar a las líneas base supervisadas como BioBERT en la clasificación de consultas de pacientes en línea hacia niveles de seguimiento clínico apropiados en condiciones de recursos limitados, aunque su variabilidad de rendimiento sugiere que son más adecuados para apoyar la revisión humana selectiva que para su despliegue autónomo.

Lo esencial

Imagina un departamento de emergencias hospitalario muy concurrido, pero en lugar de personas que entran por la puerta, miles de personas están escribiendo preguntas en una pantalla de computadora. Algunas preguntan sobre un resfriado leve, otras necesitan agendar una cita médica de rutina, algunas presentan síntomas que requieren atención médica en un día, y unas pocas tienen emergencias que ponen en peligro la vida.

El desafío para el hospital es: ¿Cómo ordenas estos miles de mensajes rápida y seguramente sin que un humano lea cada uno?

Este artículo es como una prueba de manejo para un nuevo tipo de "clasificador digital" que utiliza Inteligencia Artificial (IA). Aquí está el desglose de lo que hicieron y lo que descubrieron, usando analogías simples.

El Problema: La Bandeja de Entrada "Ruidosa"

Los mensajes de pacientes en línea son desordenados. La gente no habla como los médicos; escriben como amigos. Pueden olvidar mencionar cuánto tiempo llevan enfermos, qué tan fuerte es el dolor o si tienen otros problemas de salud.

• El Objetivo: Clasificar estos mensajes en cuatro categorías:
  1. Autocuidado: "Quédate en casa, bebe té, estarás bien."
  2. Agendar una Visita: "Haz una cita para la próxima semana."
  3. Revisión Urgente: "Llama a un médico hoy o mañana."
  4. Emergencia: "Llama al 911 o ve a urgencias ahora mismo."

El Experimento: El "Profesor" vs. El "Estudiante Inteligente"

Los investigadores quisieron ver si los nuevos y potentes modelos de IA (llamados Modelos de Lenguaje Grande o LLM) podían realizar esta clasificación mejor que los programas informáticos más antiguos y simples, especialmente cuando no tenían una gran pila de ejemplos preetiquetados para estudiar.

• El Viejo Camino (Modelos Supervisados): Imagina un estudiante que tiene que memorizar 700 ejemplos específicos de mensajes de pacientes y sus respuestas para aprender las reglas. Son entrenados con "etiquetas de plata" (respuestas generadas por una IA, no por un médico humano).
• El Nuevo Camino (LLMs con Prompting): Imagina un estudiante muy inteligente que ha leído millones de libros. En lugar de memorizar 700 ejemplos, solo le das unas pocas reglas y un par de ejemplos (llamado "prompting de pocos ejemplos") y preguntas: "Aquí hay un mensaje nuevo; ¿a dónde va?".

Los Resultados: ¿Quién Ganó la Carrera?

1. El "Estudiante Inteligente" (LLMs) lo hizo mejor, pero no por un margen abrumador.
El mejor modelo de IA (Claude Haiku 4.5) obtuvo aproximadamente 47.5% de respuestas correctas cuando se le dieron 12 ejemplos para aprender. El mejor modelo del "Viejo Camino" (BioBERT) obtuvo aproximadamente 37.8% de respuestas correctas.

• El Truco: La diferencia no fue lo suficientemente grande para decir que la nueva IA es definitivamente "mejor" en un sentido estadístico; sus puntuaciones se superpusieron. Es como dos corredores terminando una carrera donde uno va ligeramente adelante, pero la brecha es tan pequeña que no puedes estar 100% seguro de quién es más rápido sin volver a correrla.

2. La "Puntuación de Seguridad" es más importante que la "Calificación".
En una tarea de clasificación, es peor perderse un incendio (Emergencia) que enviar un no-emergencia al departamento de bomberos (Sobre-triaje).

• Los investigadores descubrieron que, aunque los modelos de IA mejoraron en la "calificación" general (Macro-F1), fueron mucho mejores en seguridad.
• Los modelos de IA casi nunca se perdieron una emergencia real (la Sub-triaje Severa fue del 0% en la prueba), mientras que los modelos más antiguos se perdieron casos peligrosos aproximadamente el 30% de las veces.
• Analogía: La IA es como un guardia de seguridad que es ligeramente más lento para revisar identificaciones, pero es mucho mejor detectando una amenaza real.

3. El "Medio Confuso" sigue siendo difícil.
La IA fue excelente detectando "Autocuidado" (fácil) y "Emergencia" (obvio). Pero tuvo dificultades con el punto medio: "Revisión Urgente por el Clínico".

• Analogía: Es fácil distinguir entre un corte de papel y un ataque al corazón. Es muy difícil distinguir entre un dolor de estómago fuerte que necesita un médico mañana versus uno que puede esperar una semana. Incluso la IA más inteligente se confundió aquí.

4. La Estrategia de "Dos Cabezas" (Consenso)
Los investigadores probaron un truco inteligente: ¿Qué pasaría si usaran dos modelos de IA diferentes para clasificar los mensajes?

• Si ambas IAs están de acuerdo: "Bien, ambas pensamos que esto es 'Autocuidado'. Aceptémoslo". (Esto funcionó muy bien).
• Si las IAs no están de acuerdo: "No podemos ponernos de acuerdo. Enviémoslo a un médico humano para que lo revise".
• El Resultado: Este enfoque de "Dos Cabezas" creó una red de seguridad. No significaba que la IA pudiera trabajar sola; significaba que la IA podía actuar como un filtro para ayudar a los humanos a concentrarse en los casos complicados.

La Conclusión: Un Asistente Útil, No un Reemplazo

El artículo concluye que estos modelos de IA no están listos para trabajar solos. No son médicos "autónomos".

En cambio, piénsalos como un asistente de enfermera de triaje de alta tecnología:

• Pueden clasificar rápidamente las preguntas fáciles de "autocuidado".
• Pueden señalar las emergencias obvias para que nadie las pierda.
• Pero para los casos confusos del punto medio, siempre deben pasar el mensaje a un médico humano.

En resumen: La IA es una gran herramienta para ayudar a los humanos a priorizar su carga de trabajo, pero nunca debe ser la tomadora de decisiones final para la seguridad del paciente.

Resumen técnico

Resumen Técnico: Modelos de Lenguaje Grande con Few-Shot para la Clasificación de Triaje Accionable de Consultas de Pacientes en Línea

Declaración del Problema

Las consultas de pacientes en plataformas de salud suelen ser informales, incompletas y redactadas antes de una evaluación profesional. A pesar de estas limitaciones, los sistemas de salud requieren métodos escalables para dirigir estos mensajes a un nivel apropiado de seguimiento clínico. Este estudio enmarca el problema como una tarea de triaje accionable de cuatro clases, distinta de la generación de diagnósticos o la clasificación general de texto médico. El objetivo es asignar exactamente una de cuatro etiquetas de derivación a una consulta de paciente:

1. Autocuidado: Manejable en casa sin contacto clínico.
2. Programar visita: Requiere evaluación clínica no urgente (días a semanas).
3. Revisión clínica urgente: Requiere revisión oportuna dentro de 24–48 horas.
4. Derivación a emergencia: Requiere evaluación de emergencia inmediata.

La tarea es desafiante debido a la falta de detalles clínicos clave (duración, gravedad, signos vitales) en el texto escrito por el paciente, la rareza de casos de alta acuidad y la asimetría clínica de los errores, donde el subtriaje (pasar por alto un caso urgente) es más peligroso que el sobretiaje.

Metodología

Construcción de Datos

El estudio utiliza el corpus HealthCareMagic-100K, un conjunto de datos público de intercambios anónimos entre pacientes y médicos.

• Preprocesamiento: Se filtraron los registros para eliminar mensajes con menos de 20 tokens o más de 500 tokens, quedando 110,163 mensajes utilizables.
• Muestreo Estratificado: Para abordar el desequilibrio de clases (específicamente la escasez de casos de emergencia), se empleó una estrategia de muestreo estratificado por palabras clave. Los registros se puntuaron basándose en palabras clave de emergencia y frases de escalada médica, luego se asignaron a grupos (autocuidado, programar visita, urgente, emergencia) para enriquecer el pool de trabajo con consultas de mayor acuidad.
• Divisiones de Datos: De un pool de trabajo de 1,040 registros, se crearon tres conjuntos disjuntos:
  • Conjunto de Entrenamiento Plateado (N=700): Etiquetado automáticamente por Claude Sonnet 4.5. Utilizado para entrenar líneas base supervisadas.
  • Conjunto de Evaluación Dorado (N=300): Calibrado por humanos por dos investigadores utilizando una guía de anotación refinada. Utilizado para la evaluación final.
  • Pool Few-Shot (N=40): Ejemplos de alta confianza verificados por humanos utilizados para demostraciones de aprendizaje en contexto.

Anotación y Etiquetado

Se desarrolló una guía de anotación estructurada mediante una prueba piloto con dos personas y seis rondas de refinamiento. Se enfatiza el "triaje solo a partir del texto", distinguiendo síntomas activos de consultas informativas, y aplicando umbrales más bajos para poblaciones vulnerables.

• Etiquetas Plateadas: Generadas por Claude Sonnet 4.5.
• Calibración Dorada: Los revisores humanos compararon sus etiquetas independientes contra las etiquetas iniciales de Sonnet. Para el conjunto dorado, el 38% de las etiquetas se revisó, resultando en un $\kappa$ de Cohen Sonnet-humano de 0.35, lo que resalta la necesidad de calibración humana.

Configuración Experimental

El estudio compara líneas base supervisadas contra Modelos de Lenguaje Grande (LLM) con prompts en condiciones de bajos recursos.

• Líneas Base Supervisadas:
  • TF-IDF: Regresión Logística, Random Forest y XGBoost entrenados en el conjunto plateado de 700 registros.
  • BioBERT: BioBERT-v1.1 ajustado finamente en el conjunto plateado.
  • Nota: Se evaluaron ambas condiciones de entrenamiento "por defecto" (700 ejemplos completos) y "balanceada" (submuestreado a 91 ejemplos por clase).
• LLM con Prompts: Seis modelos (Llama3.1-8B, Qwen3-8B, Mistral-7B, DeepSeek-R1-7B, GPT-4o-mini, Claude Haiku 4.5) evaluados sin actualizaciones de parámetros.
• Condiciones de Prompting: Los modelos se probaron en configuraciones de 0-shot, 4-shot (un ejemplo por clase) y 12-shot (tres ejemplos por clase).

Métricas de Evaluación

• Métrica Principal: Macro-F1 (para tener en cuenta el desequilibrio de clases).
• Métricas Conscientes de la Seguridad: Recall de emergencia, recall de urgente o superior, tasa de subtriaje (predecir una severidad menor que la real) y tasa de subtriaje grave (brecha de $\ge$ 2 niveles).
• Análisis de Consenso: Una simulación de Oracle Human-in-the-Loop (HITL) donde las predicciones se aceptan automáticamente solo si dos modelos coinciden; de lo contrario, los casos se escalan a revisión humana.

Resultados Clave

Rendimiento de Clasificación

• Líneas Base Supervisadas: La línea base supervisada más fuerte fue BioBERT-v1.1 (por defecto) con un macro-F1 de 0.378. El rendimiento fue notablemente débil en la clase de derivación a emergencia (F1 $\approx$ 0.26).
• Rendimiento de LLM: El prompting few-shot mejoró el rendimiento. El modelo más fuerte, Claude Haiku 4.5 (12-shot), logró un macro-F1 de 0.475. Otros destacados incluyeron Llama3.1-8B (0.464) y Qwen3-8B (0.444).
• Significancia Estadística: Aunque los LLM superaron a las líneas base en estimaciones puntuales, los intervalos de confianza se superpusieron. Las pruebas de McNemar indicaron que solo Llama3.1-8B fue significativamente mejor que BioBERT-v1.1; los LLM superiores no fueron significativamente diferentes entre sí.

Rendimiento Específico por Clase y de Seguridad

• Dificultad de Clase: "Autocuidado" fue la clase más fácil para los LLM (F1 > 0.65). "Revisión clínica urgente" permaneció como la clase más difícil en todos los modelos (F1 < 0.35), reflejando la ambigüedad de los casos de acuidad intermedia.
• Métricas de Seguridad: Los LLM demostraron perfiles de seguridad superiores en comparación con las líneas base supervisadas.
  • Subtriaje: Todas las configuraciones principales de LLM lograron una tasa de subtriaje grave de 0.000 en el conjunto dorado, mientras que las líneas base supervisadas oscilaron entre 0.269 y 0.308.
  • Recall: GPT-4o-mini (12-shot) logró el recall más alto de urgente o superior (0.984) y la tasa de subtriaje más baja (0.053), a pesar de tener un macro-F1 más bajo que Claude Haiku 4.5.

Sensibilidad al Prompt y Consenso

• Sensibilidad al Prompt: Las ganancias de rendimiento del prompting few-shot no fueron monótonas ni uniformes. Mientras que Claude Haiku 4.5 mejoró monótonamente con más shots, Qwen3-8B alcanzó su punto máximo en 4-shot, y Llama3.1-8B tuvo un rendimiento peor en 4-shot que en 0-shot.
• Consenso de Dos Modelos: El acuerdo entre modelos fue altamente dependiente de la etiqueta.
  • Autocuidado: Alta fiabilidad de acuerdo (precisión de consenso > 90%).
  • Revisión clínica urgente: Baja fiabilidad de acuerdo (precisión de consenso $\approx$ 25%).
  • Oracle-HITL: Simular un flujo de trabajo donde los desacuerdos se escalan a humanos arrojó un macro-F1 teórico de hasta 0.708 (GPT-4o-mini + Llama3.1-8B), sugiriendo un potencial significativo para el apoyo a la decisión.

Significancia y Afirmaciones

El documento concluye que los LLM con prompts pueden apoyar la priorización de triaje y la revisión humana selectiva, pero no están listos para un despliegue autónomo.

• Apoyo a la Decisión, no Reemplazo: Los autores argumentan que el valor de los LLM radica en su capacidad para interpretar síntomas de texto libre y seguir guías complejas sin ajuste fino específico de la tarea. Sin embargo, la dificultad persistente en clasificar casos de "revisión clínica urgente" y el riesgo de subtriaje en escenarios de alto riesgo excluyen el enrutamiento autónomo.
• Integración del Flujo de Trabajo: El estudio propone una estrategia de predicción selectiva donde los LLM manejan acuerdos de bajo riesgo de "autocuidado" (que son fiables) y señalan casos de alto riesgo o inciertos para revisión humana.
• Evaluación Consciente de la Seguridad: El documento enfatiza que las métricas agregadas como el macro-F1 oscurecen compensaciones críticas de seguridad. Los modelos con puntuaciones F1 más bajas pueden ser preferibles si minimizan el subtriaje, un hallazgo que requiere marcos de evaluación conscientes de la seguridad en el PLN clínico.
• Limitaciones: Los autores reconocen limitaciones que incluyen el uso de un único corpus público, el tamaño modesto del conjunto dorado (particularmente para casos de emergencia), la dependencia de etiquetas plateadas para el entrenamiento supervisado y la naturaleza fuera de línea de la evaluación. Indican que se requiere una validación prospectiva con revisores clínicos antes de realizar afirmaciones sobre la reducción de la carga de trabajo o la seguridad.

En resumen, este trabajo proporciona una referencia rigurosa para los LLM en el triaje de pacientes en línea, demostrando que, aunque los LLM few-shot superan a las líneas base supervisadas tradicionales en entornos de bajos recursos, su despliegue debe estar estrictamente acotado por la supervisión humana y señales de confianza dependientes de la etiqueta.