Text Knows What, Tables Know When: Clinical Timeline Reconstruction via Retrieval-Augmented Multimodal Alignment

Resumen Técnico: El Texto Sabe el Qué, las Tablas Saben el Cuándo

Enunciado del Problema
La reconstrucción de líneas temporales clínicas precisas es crítica para modelar las trayectorias de los pacientes y pronosticar riesgos en condiciones complejas como la sepsis. Sin embargo, las fuentes de datos existentes presentan una visión complementaria pero fragmentada de la historia del paciente. Las narrativas clínicas no estructuradas (texto) ofrecen descripciones semánticamente ricas y contextualmente completas del curso del paciente, incluidos indicadores tempranos de deterioro y estado funcional, pero a menudo carecen de precisión temporal y contienen tiempos de eventos ambiguos. Por el contrario, los datos estructurados de la historia clínica electrónica (HCE) (tablas) proporcionan anclajes temporales precisos a través de valores de laboratorio, signos vitales y medicamentos, pero frecuentemente omiten una parte sustancial de eventos clínicamente significativos, como la progresión de síntomas, los resultados reportados por el paciente y el contexto causal. Trabajos anteriores han demostrado que confiar en una sola modalidad resulta en trayectorias temporalmente imprecisas o en una cobertura incompleta de eventos.

Metodología
Los autores proponen un marco de alineación multimodal aumentado por recuperación que cierra estas brechas para mejorar la precisión temporal de las líneas temporales clínicas absolutas extraídas del texto. El enfoque formula la reconstrucción de la línea temporal como un proceso multietapa basado en grafos en lugar de una tarea de extracción de un solo paso. El pipeline opera en cuatro fases:

1. Construcción del Andamio Central: El sistema extrae primero un conjunto de "eventos centrales" temporalmente informativos de la narrativa para servir como anclajes temporales. Luego estima las relaciones temporales entre pares de estos eventos centrales para construir un grafo temporal relativo inicial.
2. Calibración del Andamio (RAG): El andamio central inicial se calibra utilizando filas estructuradas de HCE recuperadas. El sistema recupera las $k$ filas estructuradas superiores más relevantes para cada evento central mediante similitud basada en incrustaciones y utiliza esta evidencia para refinar las marcas de tiempo absolutas de los anclajes centrales.
3. Ensamblaje de la Línea Temporal Completa: Los eventos no centrales se extraen del texto y se adjuntan al andamio central con desplazamientos de tiempo relativos. Estos se combinan con la línea temporal central calibrada para formar una línea temporal completa inicial.
4. Refinamiento Final: Se realiza una segunda actualización aumentada por recuperación sobre el conjunto completo de eventos, utilizando evidencia de HCE estructurada para refinar aún más las marcas de tiempo de toda la trayectoria.

El marco utiliza modelos de lenguaje grandes (LLM) ajustados con instrucciones para todos los pasos de extracción, razonamiento y calibración, orquestados mediante un flujo de trabajo basado en grafos (LangChain/LangGraph). La evaluación se realiza en el benchmark i2m4, derivado de los resúmenes de alta de MIMIC-III y MIMIC-IV, comparando el pipeline multimodal contra líneas base unimodales de solo texto.

Contribuciones Clave
El artículo hace cinco contribuciones principales:

1. Integración Multimodal Basada en RAG: Desarrollo de un marco que alinea las líneas temporales de eventos derivadas del texto con filas estructuradas de HCE, demostrando una precisión temporal mejorada sobre la reconstrucción unimodal de solo texto.
2. Pipeline Multietapa Basado en Grafos: Introducción de una estrategia de descomposición que utiliza eventos centrales como anclajes temporales para andamiar la reconstrucción, seguida de la adjunción y refinamiento de eventos no centrales, superando las formulaciones de un solo paso.
3. Análisis de Integración Específico por Etapa: Comparación empírica de estrategias de calibración (actualizar solo el andamio central, solo la línea temporal final, ambos o ninguno), aislando el valor específico de la evidencia estructurada en diferentes etapas.
4. Análisis de Brecha de Datos Tabulares: Una caracterización empírica de eventos clínicamente relevantes presentes en el texto pero ausentes, retrasados o semánticamente comprimidos en datos tabulares, cuantificando la necesidad de texto no estructurado para la reconstrucción completa de la trayectoria.
5. Caracterización del Rendimiento: Análisis que muestra que la alineación multimodal produce las ganancias más significativas cuando la temporización de los eventos no puede inferirse directamente del texto, particularmente para eventos respaldados por evidencia estructurada.

Resultados
Evaluado en siete LLM ajustados con instrucciones (incluyendo variantes de DeepSeek, GLM y Qwen), el pipeline multimodal mejoró consistentemente la concordancia temporal y la Precisión de Marca de Tiempo Absoluta (AULTC) en comparación con las líneas base unimodales de solo texto, sin comprometer las tasas de coincidencia de eventos.

• Precisión Temporal vs. Recuperación de Eventos: La adición de evidencia estructurada tuvo poco efecto en el número de eventos recuperados (la tasa de coincidencia de eventos se mantuvo estable), pero mejoró significativamente la precisión de sus marcas de tiempo. Por ejemplo, GLM5 logró la mayor concordancia (0.812) y AULTC (0.829) en el entorno multimodal.
• Estudios de Ablación: La descomposición gráfica multietapa demostró ser superior a la generación de un solo paso. El mejor rendimiento se logró cuando la evidencia estructurada se utilizó para calibrar tanto el andamio central como la línea temporal completa final.
• Análisis de Sensibilidad: Los eventos respaldados por evidencia de HCE estructurada mostraron mejoras uniformes en AULTC. Los eventos centrales demostraron ganancias significativas en el ordenamiento temporal (concordancia), aunque las ganancias en la precisión de la marca de tiempo absoluta a veces fueron compensadas por imponer una cronología coherente.
• Brecha de Información: El análisis de brechas reveló que el 34.8% de los eventos derivados del texto estaban completamente ausentes en los registros tabulares. Los eventos faltantes incluían síntomas de presentación, estado funcional y factores causales. Cuando existían contrapartes tabulares, a menudo proporcionaban anclajes temporales útiles (discrepancia mediana de 2.6 horas), pero no lograron capturar el contenido semántico completo de la narrativa.

Significado y Afirmaciones
El artículo afirma que el beneficio principal de la alineación multimodal en la reconstrucción de líneas temporales clínicas es la calibración temporal en lugar del descubrimiento de eventos. Los datos estructurados de HCE sirven más efectivamente como un anclaje temporal externo para afinar la temporización de eventos identificados en texto narrativo, en lugar de como un sustituto del contenido de eventos de la narrativa.

Los autores argumentan que la construcción de líneas temporales clínicas debe considerarse como un problema de alineación entre fuentes complementarias de evidencia temporal. Si bien el texto narrativo proporciona el relato más completo del curso del paciente (incluyendo síntomas tempranos y contexto), los registros estructurados proporcionan anclajes temporales más precisos. Al reconstruir líneas temporales explícitas de pacientes a través de esta alineación multimodal, los registros retrospectivos pueden transformarse en representaciones estructuradas longitudinalmente más adecuadas para la predicción de riesgos, el análisis causal y el apoyo a la decisión temporal. El estudio sugiere que incluso en entornos de solo texto, descomponer la tarea alrededor de eventos ancla temporalmente informativos puede mejorar la calidad de la línea temporal, pero la integración de datos estructurados ofrece una ventaja distinta en la fidelidad temporal.