Resumen Técnico: Evaluación Sistemática de Modelos de Lenguaje Grandes para la Extracción de Acciones Clínicas Post-Alta

Formulación del Problema

El artículo aborda el desafío crítico de extraer tareas de seguimiento clínico accionables a partir de resúmenes de alta hospitalaria no estructurados. Las transiciones efectivas de la atención desde el hospital hasta el hogar dependen de la claridad de estos documentos; sin embargo, las notas de alta suelen ser extensas, complejas y de estructura inconsistente, conteniendo datos históricos que oscurecen las instrucciones de atención futura. Esta falta de estructura impone una carga cognitiva a los Proveedores de Atención Primaria (PCP), lo que podría derivar en eventos adversos por medicamentos, retrasos en la atención y reingresos prevenibles.

La tarea específica se define como la identificación de segmentos a nivel de oración que corresponden a elementos de acción específicos y detallados para el paciente (por ejemplo, citas de seguimiento, pruebas de laboratorio, ajustes de medicación) que deben ejecutarse tras el alta. Los autores utilizan el conjunto de datos CLIP, que proporciona notas de alta anotadas por expertos de la base de datos MIMIC-III con segmentos de acción etiquetados en siete categorías clínicas predefinidas: Cita, Medicación, Laboratorio, Imagenología, Procedimiento, Instrucciones al Paciente y Otro.

Metodología

Los autores proponen un marco de extracción de dos etapas diseñado para descomponer la tarea compleja de extracción de acciones clínicas en pasos manejables, operando bajo estrictas restricciones de privacidad de datos (Retención Cero de Datos).

1. Preprocesamiento de Datos y Agrupación de Contexto

• Conversión a Nivel de Oración: Las anotaciones originales de segmentos de caracteres del conjunto de datos CLIP se agregan en verdades fundamentales a nivel de oración. Una oración se etiqueta como "Accionable" si contiene algún segmento anotado; de lo contrario, es "No Accionable".
• Agrupación de Contexto: Para abordar las dependencias contextuales (por ejemplo, encabezados de sección o referencias a oraciones anteriores), las oraciones se procesan en lotes contiguos de tamaño $k$ (optimizados mediante reducción sucesiva entre $k \in \{10, 15, 30\}$). Esto permite que el modelo utilice el contexto circundante mientras realiza predicciones independientes para cada oración.

2. Encadenamiento de Prompts en Dos Etapas

El proceso de extracción se divide en dos etapas de razonamiento distintas para reducir los falsos positivos provenientes de narrativas descriptivas:

• Etapa 1: Filtrado de Accionabilidad: El modelo determina si una oración contiene una instrucción clínica concreta que requiera acción post-alta. Distingue entre "Accionable" (por ejemplo, "suspender ASA", "repetir pruebas en 2 semanas") y "No Accionable" (por ejemplo, "Alta con Atorvastatina", "seguimiento según sea necesario").
• Etapa 2: Clasificación de Categoría de Acción Clínica: Solo las oraciones consideradas accionables en la Etapa 1 se pasan a esta etapa. El modelo asigna una o más de las siete categorías de acción clínica. Esta etapa utiliza prompts de pocos ejemplos con definiciones explícitas, criterios de inclusión/exclusión y requisitos estrictos de formato JSON.

3. Configuración Experimental

• Modelos Evaluados: Cinco Modelos de Lenguaje Grandes (LLM) de propósito general y especializados en medicina fueron evaluados en configuraciones de cero ejemplos (zero-shot) y pocos ejemplos (few-shot): GPT-5.2, Gemini-3-Flash, Claude Sonnet 3.5, DeepSeek-V3.2 y MedGemma-27B-it.
• Líneas Base: Los LLM se compararon contra dos modelos supervisados basados en BERT de vanguardia del trabajo original de CLIP: MIMIC-DNote-BERT+Context y TTP-BERT+Context (250k).
• Métricas de Evaluación: El rendimiento se midió utilizando Precisión, Recall y puntuaciones F1 tanto a nivel binario de accionabilidad (Etapa 1) como a nivel de categoría multietiqueta (Etapa 2), junto con tasas de cumplimiento de JSON.

Contribuciones Clave

1. Marco de Dos Etapas: Introducción de una estrategia de descomposición que separa la detección de accionabilidad de la clasificación de categorías para mejorar la robustez en textos clínicos.
2. Evaluación Sistemática: Una evaluación exhaustiva de LLM generativos modernos frente a líneas base supervisadas establecidas para la extracción clínica crítica para la seguridad, un vacío previamente no abordado en la literatura.
3. Evaluación Conforme a la Privacidad: Demostración de un despliegue efectivo de LLM para tareas clínicas bajo protocolos de Retención Cero de Datos, asegurando que los datos de salud sensibles no se retengan.
4. Análisis de Anotación: Identificación de inconsistencias sistemáticas en las anotaciones de la verdad fundamental, específicamente respecto a las reglas de etiquetado estructural versus el razonamiento clínico semántico.

Resultados

Etapa 1: Filtrado de Accionabilidad

Los LLM modernos superaron significativamente a las líneas base supervisadas en la distinción entre instrucciones accionables y texto descriptivo.

• GPT-5.2 logró el F1 Macro más alto de 0.895, representando una mejora relativa del 23% sobre la mejor línea base supervisada (TTP-BERT+Context en 0.668).
• Gemini-3-Flash siguió de cerca con un F1 Macro de 0.888.
• Cabe destacar que el modelo especializado en medicina, MedGemma-27B-it, tuvo un rendimiento significativamente inferior (F1 Macro: 0.459), lo que sugiere que el ajuste de instrucciones para preguntas y respuestas no se traduce necesariamente en tareas de extracción estructurada sin un ajuste fino específico.

Etapa 2: Clasificación de Categoría de Acción

Los modelos BERT supervisados mantuvieron una ventaja significativa en la clasificación multietiqueta detallada.

• TTP-BERT+Context logró el F1 Macro general más alto de 0.668.
• GPT-5.2 logró el mejor rendimiento entre LLM con un F1 Macro de 0.570, quedando aproximadamente un 15% por debajo de la línea base supervisada.
• Rendimiento Específico por Categoría: Aunque los LLM generalmente se quedaron atrás, mostraron competitividad en áreas específicas. Por ejemplo, Gemini-3-Flash igualó a TTP-BERT en seguimiento relacionado con Laboratorio (F1 0.754 vs. 0.745), y Claude Sonnet 3.5 mostró un fuerte rendimiento en seguimiento relacionado con Medicación entre los LLM.

Análisis de Errores y Limitaciones

El análisis cualitativo reveló que muchos "fallos" del modelo eran en realidad desalineaciones entre el razonamiento del modelo y las convenciones de anotación del conjunto de datos, en lugar de déficits reales de razonamiento clínico:

• Estructura vs. Semántica: El conjunto de datos CLIP a menudo aplica etiquetas basadas en secciones del documento (por ejemplo, etiquetando todas las oraciones en "Instrucciones de Alta" como "Instrucciones al Paciente") en lugar del contenido semántico. Los modelos que identificaban correctamente la categoría semántica (por ejemplo, "Medicación") fueron penalizados como falsos positivos por desviarse de la etiqueta estructural.
• Acciones Implícitas: Los modelos tuvieron dificultades con oraciones que describen acciones pasadas de hospitalización que implican un seguimiento futuro (por ejemplo, "Se inició Warfarina" implicando "monitorear INR"), filtrándolas a menudo como no accionables debido a la falta de directivas futuras explícitas.
• Inconsistencias en la Anotación: La verdad fundamental mostró inconsistencias en el etiquetado de listas de medicamentos, donde algunos medicamentos crónicos fueron etiquetados como accionables mientras que otros no, confundiendo a los modelos.

Significado y Conclusión

El artículo concluye que, aunque los LLM contemporáneos demuestran un razonamiento semántico superior para la detección binaria de accionabilidad, actualmente carecen de la consistencia de los modelos supervisados específicos para tareas en la clasificación multietiqueta detallada en contextos críticos para la seguridad.

Los autores argumentan que las métricas de rendimiento reportadas pueden subestimar las verdaderas capacidades de razonamiento clínico de los LLM debido a convenciones de anotación rígidas que priorizan la estructura del documento sobre la semántica clínica. Postulan que el avance del PLN clínico requiere:

1. Conjuntos de Datos Anotados con Razonamiento: Conjuntos de datos que documenten por qué un segmento es accionable, no solo cuáles segmentos están etiquetados.
2. Arquitecturas Híbridas: Combinar la flexibilidad de los LLM para la extracción inicial con clasificadores especializados para la asignación de categorías.
3. Validación con Humano en el Bucle: Integrar la revisión clínica para distinguir entre errores genuinos del modelo y ambigüedades en la anotación.

En última instancia, el trabajo sugiere que, aunque los LLM ofrecen una alternativa flexible a las pipelines tradicionales, un enfoque híbrido que aproveche las fortalezas de ambos modelos generativos y clasificadores supervisados es necesario para flujos de trabajo de agentes médicos fiables y listos para su despliegue.