Reliable Extraction of Clinical Follow-Up Instructions: A Hybrid Neural-Symbolic Pipeline

Resumen Técnico: Extracción Confiable de Instrucciones de Seguimiento Clínico

Definición del Problema
Las notas clínicas ambulatorias contienen instrucciones críticas de seguimiento (por ejemplo, "resonancia magnética cerebral en dos semanas") que emparejan una acción clínica con un momento futuro. Extraer estas instrucciones como pares estructurados (acción, fecha) es esencial para la programación, la auditoría y la coordinación de la atención. Sin embargo, los enfoques generativos actuales a menudo no logran reconstruir de manera confiable la instrucción completa. Si bien pueden identificar correctamente la acción clínica, frecuentemente omiten la fecha específica o no logran vincular la expresión temporal correcta con la acción adecuada. Este fallo ocurre porque la vinculación y la aritmética temporal son implícitas en el proceso de decodificación de los modelos generativos, lo que hace que los errores sean difíciles de inspeccionar o depurar. El desafío implica reconocer los segmentos de acción, reconocer las expresiones temporales, vincular el tiempo correcto con la acción correcta y normalizar las fechas relativas (por ejemplo, convertir "en 2 semanas" en un desplazamiento de calendario específico) en presencia de múltiples acciones, abreviaturas y distractores históricos.

Metodología
Los autores proponen una tubería híbrida neuro-simbólica que descompone la tarea de extracción en interpretación semántica aprendida y transformación simbólica determinista, en lugar de depender de una generación de extremo a extremo.

1. Formulación de la Tarea: La tarea se define como la extracción de dos tipos de entidades: EspecificaciónDePrueba (acciones programadas) y EspecificaciónDeTiempo (frases de temporización), vinculadas por una relación explícita ProgramadoPara. La salida es un conjunto de pares canónicos (acción, desplazamiento de día) relativos a la fecha de la visita.
2. Componentes Neuronales:
   • Codificador: Un codificador BioBERT compartido procesa el texto de la nota mediante ventanas deslizantes.
   • Etiquetado de Entidades: Una cabeza de etiquetado BIO identifica los segmentos para acciones y tiempos.
   • Extracción de Relaciones: Un vinculador biafínico puntúa los pares candidatos (acción, tiempo), incluyendo una opción "ninguna" para acciones sin tiempos explícitos.
   • Entrenamiento: El modelo se entrena con un objetivo conjunto de etiquetado de entidades y extracción de relaciones.
3. Componentes Simbólicos/Deterministas:
   • Canonización de Ontología: Las menciones superficiales de acciones se mapean a una de 28 etiquetas canónicas mediante una ontología editable, sin reentrenar el modelo neuronal.
   • Normalización Temporal: Las frases de tiempo vinculadas se convierten en desplazamientos de días enteros utilizando una gramática de reglas determinista (por ejemplo, "en N semanas" $\rightarrow$ $7N$) y un analizador de respaldo. Crucialmente, el modelo neuronal nunca realiza aritmética de calendario.
4. Conjunto de Datos: La evaluación se realizó sobre un corpus sintético ambulatorio de 2.000 notas generado a partir de esqueletos controlados en cinco especialidades. El conjunto de datos incluye factores de estrés como notas con múltiples acciones, formas temporales abreviadas y distractores históricos.
5. Divisiones: La evaluación utiliza una división disjunta por acción: 18 tipos de acción para entrenamiento, 4 para validación y 6 tipos retenidos para prueba (fuera del vocabulario, OOV), junto con un conjunto de prueba de distribución interna (visto).
6. Líneas Base: La tubería se compara frente a un GPT-4o-mini de cero disparos y un LLaMA-3 8B ajustado con LoRA, ambos solicitados para generar directamente pares JSON (acción, fecha).

Contribuciones Clave

1. Formulación Estructurada: Una definición de la extracción de seguimiento utilizando entidades explícitas EspecificaciónDePrueba, EspecificaciónDeTiempo y relación ProgramadoPara con un criterio estricto de corrección a nivel de conjunto.
2. Arquitectura Híbrida: Una tubería que separa la extracción de vínculos y segmentos aprendida de la aritmética de fechas determinista, asegurando que la lógica del calendario nunca sea delegada a un modelo aprendido.
3. Benchmark Sintético: Un corpus de 2.000 notas con verdad absoluta exacta y divisiones disjuntas por acción para probar rigurosamente la generalización a tipos de acción no vistos.
4. Evaluación Comparativa: Una comparación directa que muestra que, si bien los modelos generativos sobresalen en el reconocimiento de acciones, fallan significativamente en la reconstrucción completa de pares en comparación con el enfoque híbrido.
5. Análisis de Errores: Evidencia de que los fallos generativos provienen de errores de vinculación implícita y aritmética, los cuales quedan expuestos y son auditables en la tubería híbrida.

Resultados
En la división de prueba vista (distribución interna), la tubería híbrida logró una F1 de Par en Tiempo de Prueba de 0.997 con un Error Absoluto Medio (MAE) de 0.00 días. En la división de prueba OOV (tipos de acción no vistos), mantuvo una F1 de Par de 0.986 con 0.00 días de MAE.

Por el contrario, las líneas base generativas lograron una alta F1 de EspecificaciónDePrueba (LLaMA-3: ~0.99; GPT-4o-mini: ~0.96), pero sufrieron una caída pronunciada en la F1 de Par:

• LLaMA-3: F1 de Par ~0.51 (visto) y ~0.57 (OOV).
• GPT-4o-mini: F1 de Par ~0.53 (visto) y ~0.53 (OOV).
• MAE: Los modelos generativos exhibieron errores de fecha significativos (por ejemplo, 21–23 días de MAE en datos vistos), mientras que la tubería híbrida tuvo cero error aritmético.

Los intervalos de confianza del 95% para la F1 de Par y la F1 de Desplazamiento de la tubería híbrida no se superpusieron con los de las líneas base generativas, lo que indica una diferencia estadísticamente significativa ($p < 0.05$).

Significado y Afirmaciones
El artículo afirma que para la tarea específica de extraer instrucciones de seguimiento programadas, descomponer la tarea en extracción semántica y normalización determinista supera al modelado generativo directo. El significado principal radica en:

• Fiabilidad: El enfoque híbrido logra una corrección de extremo a extremo casi perfecta y cero error aritmético, mientras que los modelos generativos luchan por vincular correctamente las acciones con los tiempos.
• Generalización: La tubería se generaliza eficazmente a tipos de acción retenidos (OOV) porque el componente neuronal aprende características superficiales en lugar de memorizar un vocabulario cerrado, y la ontología puede actualizarse sin reentrenar.
• Auditabilidad: Al separar los componentes neuronales y simbólicos, el sistema expone modos de fallo específicos (por ejemplo, segmento incorrecto, vínculo incorrecto o regla de normalización incorrecta) que son inspeccionables. Por el contrario, la generación de extremo a extremo oculta la causa de los errores (por ejemplo, una fecha incorrecta) dentro del proceso de decodificación.

Los autores declaran explícitamente que esta conclusión está acotada al benchmark controlado y no constituye una denuncia general de los LLM para todas las tareas de extracción clínica. Señalan que los resultados resaltan la dificultad de la aritmética de calendario en la decodificación generativa y sugieren que un patrón de "fiabilidad primero" —reservar los modelos aprendidos para la ambigüedad y utilizar módulos deterministas para la aritmética— es efectivo para la extracción clínica relevante para la seguridad. El artículo reconoce limitaciones relacionadas con la naturaleza sintética de los datos y la necesidad de una validación futura en notas reales de historias clínicas electrónicas (EHR) y expansión de la ontología.