Text Knows What, Tables Know When: Clinical Timeline Reconstruction via Retrieval-Augmented Multimodal Alignment

Resumo Técnico: O Texto Sabe o Que, as Tabelas Sabem Quando

Declaração do Problema
A reconstrução de linhas temporais clínicas precisas é crítica para modelar trajetórias de pacientes e prever riscos em condições complexas como sepse. No entanto, as fontes de dados existentes apresentam uma visão complementar, mas fragmentada, do histórico do paciente. Narrativas clínicas não estruturadas (texto) oferecem descrições semanticamente ricas e contextualmente completas do curso do paciente, incluindo indicadores precoces de deterioração e status funcional, mas frequentemente carecem de precisão temporal e contêm temporização de eventos ambígua. Por outro lado, dados estruturados de registros eletrônicos de saúde (EHR) (tabelas) fornecem âncoras temporais precisas por meio de valores laboratoriais, sinais vitais e medicamentos, mas frequentemente ignoram uma parcela substancial de eventos clinicamente significativos, como progressão de sintomas, resultados relatados pelo paciente e contexto causal. Trabalhos anteriores demonstraram que confiar em apenas uma modalidade resulta em trajetórias temporalmente imprecisas ou em cobertura incompleta de eventos.

Metodologia
Os autores propõem um framework de alinhamento multimodal aumentado por recuperação que preenche essas lacunas para melhorar a precisão temporal das linhas temporais clínicas absolutas extraídas do texto. A abordagem formula a reconstrução da linha temporal como um processo multietapa baseado em grafos, em vez de uma tarefa de extração de passagem única. O pipeline opera em quatro fases:

1. Construção do Andamento Central: O sistema primeiro extrai um conjunto de "eventos centrais" temporalmente informativos da narrativa para servir como âncoras temporais. Em seguida, estima relações temporais par a par entre esses eventos centrais para construir um grafo temporal relativo inicial.
2. Calibração do Andamento (RAG): O andamento central inicial é calibrado usando linhas estruturadas de EHR recuperadas. O sistema recupera as $k$ linhas estruturadas mais relevantes para cada evento central via similaridade baseada em embeddings e usa essa evidência para refinar os carimbos de tempo absolutos das âncoras centrais.
3. Montagem da Linha Temporal Completa: Eventos não centrais são extraídos do texto e anexados ao andamento central com deslocamentos de tempo relativos. Estes são combinados com a linha temporal central calibrada para formar uma linha temporal completa inicial.
4. Refinamento Final: Uma segunda atualização aumentada por recuperação é realizada sobre o conjunto completo de eventos, usando evidência de EHR estruturada para refinar ainda mais os carimbos de tempo de toda a trajetória.

O framework utiliza modelos de linguagem grandes (LLMs) ajustados por instrução para todas as etapas de extração, raciocínio e calibração, orquestrados por meio de um fluxo de trabalho baseado em grafos (LangChain/LangGraph). A avaliação é conduzida no benchmark i2m4, derivado de resumos de alta do MIMIC-III e MIMIC-IV, comparando o pipeline multimodal contra baselines unimodais de apenas texto.

Principais Contribuições
O artigo faz cinco contribuições primárias:

1. Integração Multimodal Baseada em RAG: Desenvolvimento de um framework que alinha linhas temporais de eventos derivadas de texto com linhas estruturadas de EHR, demonstrando precisão temporal aprimorada sobre a reconstrução unimodal de apenas texto.
2. Pipeline Multietapa Baseado em Grafos: Introdução de uma estratégia de decomposição que usa eventos centrais como âncoras temporais para estruturar a reconstrução, seguida pela anexação e refinamento de eventos não centrais, superando formulações de passagem única.
3. Análise de Integração Específica por Etapa: Comparação empírica de estratégias de calibração (atualizar apenas o andamento central, apenas a linha temporal final, ambas ou nenhuma), isolando o valor específico da evidência estruturada em diferentes estágios.
4. Análise de Lacunas de Dados Tabulares: Uma caracterização empírica de eventos clinicamente relevantes presentes no texto, mas ausentes, atrasados ou semanticamente comprimidos em dados tabulares, quantificando a necessidade de texto não estruturado para a reconstrução completa da trajetória.
5. Caracterização de Desempenho: Análise mostrando que o alinhamento multimodal produz os ganhos mais significativos quando o temporização dos eventos não pode ser inferida diretamente do texto, particularmente para eventos apoiados por evidência estruturada.

Resultados
Avaliado em sete LLMs ajustados por instrução (incluindo variantes DeepSeek, GLM e Qwen), o pipeline multimodal melhorou consistentemente a concordância temporal e a Precisão de Carimbo de Tempo Absoluto (AULTC) em comparação com baselines unimodais de apenas texto, sem comprometer as taxas de correspondência de eventos.

• Precisão Temporal vs. Recuperação de Eventos: A adição de evidência estruturada teve pouco efeito no número de eventos recuperados (a taxa de correspondência de eventos permaneceu estável), mas melhorou significativamente a precisão de seus carimbos de tempo. Por exemplo, o GLM5 alcançou a maior concordância (0,812) e AULTC (0,829) no cenário multimodal.
• Estudos de Ablação: A decomposição gráfica multietapa provou-se superior à geração de passo único. O melhor desempenho foi alcançado quando a evidência estruturada foi usada para calibrar tanto o andamento central quanto a linha temporal completa final.
• Análise de Sensibilidade: Eventos apoiados por evidência de EHR estruturada mostraram melhorias uniformes na AULTC. Eventos centrais demonstraram ganhos significativos na ordenação temporal (concordância), embora os ganhos na precisão do carimbo de tempo absoluto às vezes fossem compensações para impor uma cronologia coerente.
• Lacuna de Informação: A análise de lacunas revelou que 34,8% dos eventos derivados de texto estavam totalmente ausentes dos registros tabulares. Eventos ausentes incluíam sintomas de apresentação, status funcional e fatores causais. Quando contrapartes tabulares existiam, elas frequentemente forneciam âncoras temporais úteis (discrepância mediana de 2,6 horas), mas falhavam em capturar o conteúdo semântico completo da narrativa.

Significado e Alegações
O artigo alega que o benefício primário do alinhamento multimodal na reconstrução de linhas temporais clínicas é a calibração temporal e não a descoberta de eventos. Dados estruturados de EHR servem mais efetivamente como uma âncora temporal externa para afiar o temporização de eventos identificados no texto narrativo, em vez de atuar como substituto para o conteúdo de eventos da narrativa.

Os autores argumentam que a construção de linhas temporais clínicas deve ser vista como um problema de alinhamento entre fontes complementares de evidência temporal. Enquanto o texto narrativo fornece o relato mais completo do curso do paciente (incluindo sintomas precoces e contexto), registros estruturados fornecem âncoras temporais mais nítidas. Ao reconstruir linhas temporais explícitas de pacientes por meio desse alinhamento multimodal, registros retrospectivos podem ser transformados em representações estruturadas longitudinalmente mais adequadas para previsão de riscos, análise causal e suporte à decisão temporal. O estudo sugere que, mesmo em cenários de apenas texto, decompor a tarefa em torno de eventos âncora temporalmente informativos pode melhorar a qualidade da linha temporal, mas a integração de dados estruturados oferece uma vantagem distinta na fidelidade temporal.