Reconstructing Sepsis Trajectories from Clinical Case Reports using LLMs: the Textual Time Series Corpus for Sepsis

Resumo Técnico: Reconstrução de Trajetórias de Sepse a partir de Relatos de Casos Clínicos usando LLMs

Declaração do Problema
Relatos de casos clínicos e resumos de alta oferecem a sumarização mais completa e precisa dos atendimentos a pacientes; no entanto, são finalizados apenas após o término do atendimento, resultando em uma resolução temporal grosseira em comparação com os eventos granulares que descrevem. Por outro lado, fluxos de dados estruturados (por exemplo, sinais vitais, exames laboratoriais) estão disponíveis em tempo real, mas frequentemente sofrem de incompletude significativa, tornando difícil renderizar ou confirmar diagnósticos como sepse. Embora os dados estruturados sejam o recurso principal para os atuais sistemas de alerta precoce e estudos de fenótipos, sua ausência leva a modelagens subótimas. Há uma necessidade crítica de um conjunto de dados que combine a completude narrativa do texto clínico com granularidade temporal fina para permitir melhores análises temporais, raciocínio causal e previsão de trajetórias de sepse. Esforços existentes focaram amplamente nas relações temporais entre conceitos clínicos, em vez do timing dos eventos, ou utilizaram tamanhos de amostra pequenos e resumos recortados.

Metodologia
Os autores introduzem um pipeline para construir o corpus Séries Temporais Textuais para Sepse-3 (T2S2), composto por 2.139 relatos de casos de acesso aberto do subconjunto PubMed Open Access (PMOA). A metodologia envolve um processo de quatro etapas:

1. Detecção e Fenotipagem de Relatos de Casos: O pipeline filtra os relatórios do PMOA usando expressões regulares (regex) e Modelos de Linguagem de Grande Escala (LLMs) para identificar relatórios que atendem aos critérios Sepse-3 (infecção suspeita/confirmada mais anormalidades no qSOFA).
2. Extração de Achados Clínicos: Usando um prompt estruturado com exemplos few-shot, seis LLMs (incluindo GPT-5, DeepSeek-R1 e vários modelos Llama 3.x) extraem achados clínicos. As regras de extração exigem a divisão de conjunções (por exemplo, "metástases no fígado e no pâncreas" torna-se dois eventos) e a preservação de trechos de texto específicos.
3. Atribuição Temporal: Os modelos atribuem carimbos de tempo relativos à admissão ($t=0$) em horas. Eventos pré-admissão recebem carimbos de tempo negativos. O pipeline lida com eventos de duração atribuindo o tempo de início e infere tempos para eventos que carecem de marcadores temporais explícitos usando raciocínio contextual.
4. Estrutura de Avaliação: O sistema é validado contra um conjunto padrão-ouro de 40 relatórios anotados por clínicos (sepsis-40) e um conjunto proxy padrão-bronze (sepsis-100). As métricas de avaliação incluem:
   • Taxa de Correspondência de Eventos: Melhor correspondência recursiva usando distância cosseno de embeddings do PubMedBERT (limiar $\theta=0,1$).
   • Ordenação Temporal: Índice de concordância (c-index) para pares de eventos.
   • Precisão Temporal: Erro Absoluto Mediano (MAE) e Área Sob a Curva de Tempo Logarítmico (AULTC), que integra discrepâncias em várias escalas de tempo para evitar que erros de longo horizonte dominem a métrica.

Principais Contribuições

1. Corpus T2S2: O primeiro corpus de séries temporais textuais de acesso aberto para Sepse-3, contendo 2.139 relatos de casos com pares de evento-carimbo de tempo extraídos.
2. Pipeline de Anotação: Uma abordagem inovadora de LLM-como-anotador especificamente projetada para extrair achados clínicos associados ao tempo de texto livre, distinta de trabalhos anteriores focados em relações de conceitos no estilo i2b2.
3. Anotações Padrão-Ouro: 3.229 eventos de referência anotados manualmente em 40 relatos de casos do PMOA, fornecendo uma referência rigorosa para avaliação.
4. Critérios de Avaliação: Métricas adaptadas para séries temporais textuais onde achados correspondidos não precisam ser strings idênticas, utilizando distâncias de embedding semântico e escalonamento de tempo logarítmico para medição de erro.
5. Validação Multicamada: Uma estrutura abrangente incluindo quantificação de incerteza por bootstrap, concordância inter-anotador (clínico vs. clínico), auditoria de alucinação, análise de autoconsistência e concordância cruzada entre modelos no corpus completo.

Resultados

• Desempenho de Extração: No conjunto anotado por clínicos sepsis-40, o GPT-5 demonstrou o melhor desempenho geral, com uma taxa de correspondência de eventos de 0,93, uma concordância de 0,965 e um erro absoluto mediano de 4 horas. O DeepSeek-R1 e o Llama 3.3 70B forneceram bases competitivas de modelos abertos, com o DeepSeek-R1 alcançando uma taxa de correspondência de 0,79 e o Llama 3.3 alcançando 0,76.
• Ordenação Temporal: Modelos grandes exibiram fortes capacidades de ordenação temporal. O GPT-5 e o Llama 3.3 alcançaram pontuações de concordância de 0,965 e 0,908, respectivamente, superando significativamente modelos menores (por exemplo, Llama 3.1 8B em 0,856) e a base de regressão temporal BERT.
• Descobertas de Validação:
  • Auditoria de Alucinação: Em uma auditoria manual de 1.517 eventos do DeepSeek-R1 e Llama 3.3, zero eventos alucinados sem suporte foram identificados, embora erros de carimbo de tempo permanecessem possíveis mesmo para eventos fundamentados.
  • Autoconsistência: A geração multi-passagem mostrou alta estabilidade entre sementes aleatórias, indicando que o processo de extração não é impulsionado por ruído estocástico.
  • Variabilidade Humana: A concordância entre clínicos nos mesmos relatórios foi imperfeita (taxa de correspondência 0,681), sugerindo que a lacuna entre o desempenho do modelo e o desempenho humano está se estreitando e que os erros do modelo são frequentemente comparáveis à variabilidade da anotação humana.
  • Limitações: O desempenho degradou no conjunto de dados i2m4 (conceitos legados i2b2) devido a incompatibilidades de ontologia (conceitos fragmentados vs. achados composicionais) e vieses de subidentificação. Além disso, eventos de longo horizonte (meses/anos) mostraram maiores discrepâncias de carimbo de tempo.

Significado e Alegações
O artigo caracteriza a capacidade dos LLMs de localizar no tempo achados clínicos, demonstrando que modelos fundamentais com ajuste de instrução podem reconstruir efetivamente trajetórias clínicas retrospectivas a partir de texto. Os autores afirmam que o T2S2 serve como um recurso de pesquisa retrospectiva de alta fidelidade para tarefas a jusante, como previsão de risco, raciocínio causal e caracterização de trajetórias de doenças.

Os autores afirmam explicitamente que o T2S2 não é um sistema de extração clínica pronto para implantação. Eles destacam limitações, incluindo o viés de publicação inerente aos relatos de casos, a falta de validação exaustiva por clínicos para o corpus completo e a dificuldade de traduzir este pipeline para ambientes clínicos prospectivos e em tempo real, onde os dados são mais ruidosos e em constante evolução. O trabalho sugere que, embora os LLMs possam recuperar estruturas temporais com alta fidelidade, o modo de falha primário é frequentemente a atribuição de tempos incorretos a achados reais, em vez da fabricação de eventos. A utilidade futura é envisioned na integração dessas linhas do tempo derivadas de narrativas com dados fisiológicos estruturados para construir representações multimodais abrangentes das trajetórias dos pacientes.