Resumo Técnico: Avaliação Centrada no Clínico de Resumos de Alta Gerados por LLM para Internações Longas

Definição do Problema

Os resumos de alta hospitalar são críticos para transições de cuidado seguras, mas impõem uma carga cognitiva significativa aos clínicos, particularmente durante internações longas (7–21 dias). Essas estadias estendidas geram um alto volume de documentação fragmentada, repetitiva e complexa, tornando difícil a síntese de um documento de transição conciso e preciso. Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham mostrado promessa na geração de resumos de alta, as avaliações anteriores concentraram-se majoritariamente em estadias curtas e raramente examinaram as prioridades específicas dos clínicos receptores (Médicos de Cuidados Primários, ou PCPs) ou o relato de achados incidentais. Além disso, a literatura existente carece de evidências sobre se os LLMs podem processar eficazmente Registros Eletrônicos de Saúde (EHRs) que excedem as limitações atuais da janela de contexto do modelo, um desafio comum em casos de longa permanência.

Metodologia

O estudo realizou uma avaliação centrada no clínico comparando resumos gerados por LLM com resumos escritos por humanos para 60 hospitalizações de Medicina Interna com duração entre 7 e 21 dias.

Processamento de Dados e Pipeline:

• Coorte: 60 encontros foram estratificados de um conjunto de 400 casos de internação históricos da Stony Brook University Hospital (jan. 2023–dez. 2024).
• Dados de Entrada: O pipeline extraiu 370 tipos de notas únicos (incluindo notas de pronto-socorro, interconsultas, notas de progressão e relatórios de imagem) do Oracle Cerner EHR. Isso resultou em uma redução média de 55% no volume de texto por encontro após a filtragem.
• Arquitetura de LLM: Para abordar as limitações da janela de contexto, os autores desenvolveram um pipeline escalável usando uma abordagem de janela deslizante (sliding window). Os documentos clínicos foram segmentados em blocos de 50.000 tokens. Um processo de refinamento iterativo foi empregado, onde o LLM (GPT-5.2) gerou um rascunho inicial cronológico e em tópicos a partir do primeiro segmento e o atualizou conforme os segmentos sucessivos eram processados.
• Achados Incidentais: Um fluxo de trabalho de prompt separado foi projetado para identificar e extrair achados incidentais clinicamente relevantes de relatórios radiológicos.
• Saída Final: O sistema consolidou o rascunho cronológico e os achados incidentais em um resumo narrativo final.

Protocolo de Avaliação:

• Revisores: 12 médicos assistentes (6 hospitalistas e 6 PCPs) avaliaram independentemente os resumos.
• Alinhamento de Fluxo de Trabalho: Os hospitalistas revisaram todas as notas de internação antes de avaliar os resumos, enquanto os PCPs revisaram os resumos primeiro e depois corroboraram os achados com as notas de internação para simular fluxos de trabalho reais de transição de cuidados.
• Métricas:
  • Quantitativas: Os revisores classificaram os resumos em uma escala Likert de 5 pontos para qualidade, legibilidade, veracidade e completude. Os PCPs forneceram classificações adicionais sobre facilidade de compreensão, verbalização para pacientes e utilidade de acompanhamento.
  • Anotação de Erros: Os revisores anotaram imprecisões e omissões, classificando o potencial de dano e a probabilidade de dano usando uma escala adaptada da Agency for Healthcare Research and Quality (AHRQ).
  • Achados Incidentais: Os revisores avaliaram a precisão e a adequação dos achados incidentais relatados.
• Qualitativa: Sessões de debriefing semiestruturadas pós-revisão foram conduzidas para coletar feedback qualitativo sobre fluxo de trabalho e confiança.

Principais Resultados

Desempenho e Preferência:

• Preferência: Os médicos revisores preferiram os resumos gerados por LLM em 95% dos 60 encontros.
• Métricas de Qualidade: Os resumos gerados por LLM receberam pontuações médias significativamente superiores aos resumos escritos por humanos em todas as métricas:
  • Qualidade: 4,71 vs. 3,16 ($p = 1,40 \times 10^{-17}$)
  • Legibilidade: 4,66 vs. 3,39 ($p = 3,25 \times 10^{-15}$)
  • Veracidade: 4,62 vs. 3,73 ($p = 1,08 \times 10^{-13}$)
  • Completude: 4,69 vs. 3,42 ($p = 2,67 \times 10^{-15}$)
• Consistência: Os resumos de LLM demonstraram maior consistência, com um desvio absoluto médio nas pontuações Likert inferior à metade dos resumos escritos por humanos (0,49 vs. 1,07).

Análise de Erros:

• Frequência: Os resumos gerados por LLM contiveram menos erros totais (média 0,42) em comparação com os resumos escritos por humanos (média 0,73; $p = 0,011$).
• Tipos de Erros: A redução de erros foi impulsionada principalmente por menos omissões nos resumos de LLM. Não houve diferença significativa na taxa de imprecisões entre os dois grupos.
• Potencial de Dano: Não houve diferença estatisticamente significativa no potencial de dano estimado ou na probabilidade de dano decorrente dos erros entre os resumos gerados por LLM e os escritos por humanos.

Descobertas Específicas de Stakeholders:

• Perspectiva do PCP: Os PCPs classificaram os resumos de LLM significativamente mais alto do que os hospitalistas em termos de legibilidade e completude. Os PCPs identificaram significativamente mais omissões em ambos os tipos de resumo e atribuíram pontuações de probabilidade de dano mais altas aos erros, refletindo sua responsabilidade pelo cuidado longitudinal pós-alta.
• Achados Incidentais: Dos 31 achados incidentais identificados pelo LLM, 93,5% foram classificados como factualmente corretos e 87,1% como apropriados para relato.

Insights Qualitativos:

• Os revisores citaram a redução da carga cognitiva, maior consistência e apresentação mais clara do raciocínio de tratamento e questões de acompanhamento não resolvidas como as principais razões para preferir os resumos de LLM.
• Os hospitalistas observaram que os resumos escritos por humanos frequentemente sofriam de redundância e variabilidade dependente do médico, enquanto os resumos de LLM eram mais uniformes e sucintos.
• Os PCPs enfatizaram que os resumos de LLM facilitavam melhor a transição de cuidados ao destacar itens acionáveis e resultados pendentes.

Significância e Alegações

O artigo afirma que este estudo amplia trabalhos anteriores ao demonstrar a utilidade clínica de LLMs para resumir hospitalizações mais longas e complexas, um cenário anteriormente pouco explorado devido a desafios técnicos e de volume de documentação.

• Design Centrado no Stakeholder: Os resultados destacam que o design de documentos de transição em torno das prioridades informacionais dos clínicos receptores (especificamente PCPs) produz melhorias significativas na percepção de qualidade e utilidade. O estudo sugere que estratégias de prompting alinhadas aos fluxos de trabalho dos PCPs (ex: foco em itens acionáveis e acompanhamento) são cruciais.
• Escalabilidade Técnica: O estudo fornece evidências de que os LLMs podem processar eficazmente EHRs que excedem as janelas de contexto padrão usando técnicas de janela deslizante iterativa, mantendo a alta qualidade da saída mesmo para internações de 21 dias.
• Segurança e Supervisão: Embora os resumos gerados por LLM tenham apresentado menos omissões e maior qualidade, os autores enfatizam que eles não são isentos de erros. Os achados apoiam um modelo de sumarização assistida por LLM supervisionada, onde a IA reduz a carga cognitiva e melhora a qualidade da documentação, mas a supervisão clínica permanece essencial para a verificação, particularmente em relação a conteúdos de alto risco como mudanças de medicação e achados incidentais.

Os autores concluem que a sumarização de alta assistida por LLM tem potencial para reduzir a carga do clínico e melhorar a comunicação na transição de cuidados, desde que implementada com fluxos de trabalho de verificação clínica apropriados.