Towards Multidisciplinary Summarization of Hospital Stays: Efficient Sentence-Level Clinical Provenance Categorization

Resumo Técnico: Rumo à Sumarização Multidisciplinar de Internações Hospitalares

Definição do Problema
A sumarização clínica eficaz para "todas as equipes" em ambientes de alta complexidade, como a Unidade de Terapia Intensiva Neonatal (UTIN), é dificultada pela natureza desequilibrada dos Registros Eletrônicos de Saúde (RES). A documentação extensiva realizada por médicos frequentemente obscurece as contribuições de outras disciplinas (enfermeiros, terapeutas), levando a resultados incoerentes quando textos heterogêneos são simplesmente agrupados. Para permitir uma sumarização estruturada que preserve insights multidisciplinares, os autores identificam a necessidade de uma categorização precisa, ao nível da sentença, da proveniência clínica (identificando a disciplina de origem ou a seção de uma nota) em diversos registros clínicos. Embora abordagens anteriores tenham migrado de correspondência baseada em regras para modelos supervisionados sensíveis ao contexto, estes frequentemente têm dificuldade em generalizar para configurações clínicas especializadas devido à falta de anotação específica do domínio e de alinhamento de esquema.

Metodologia
O estudo propõe um pipeline utilizando o Ajuste Fino Supervisionado (SFT - Supervised Fine-Tuning) de Grandes Modelos de Linguagem (LLMs) para categorizar intervalos (spans) ao nível da sentença com base na proveniência clínica.

• Datasets:
  • Domínio de Origem (UTI Adulto): Os autores utilizaram o MedSecId, um corpus de 2.002 notas do MIMIC-III. As anotações foram destiladas em 17 categorias de alta prevalência (ex: História da Doença Atual, Curso Hospitalar), resultando em 1.562 notas. Os dados foram formatados como uma tarefa de ajuste de instrução baseada em chat estruturado com 134.640 intervalos ao nível da sentença, onde cada instância incluía a sentença alvo, seu contexto imediato (predecessor e sucessor) e uma instrução de sistema para atribuir um cabeçalho único.
  • Domínio de Destino (UTIN): Um "Conjunto de Avaliação Piloto da UTIN" de padrão-ouro foi construído contendo 227 intervalos derivados de três sumários de alta hospitalar multidisciplinares desidentificados. Este esquema inclui 25 categorias detalhadas (ex: Alimentação-Nutrição, Respiratório, sumários específicos de disciplina) que sobrepõem apenas parcialmente os cabeçalhos da UTI adulta, criando um teste rigoroso de generalização semântica sob mudança de esquema.
• Arquitetura do Modelo e Treinamento:
  • Dois modelos Llama-3 foram avaliados: Llama-3.1-8B-Instruct e Llama-3.3-70B-Instruct.
  • Estratégia de Ajuste Fino: Os modelos foram ajustados usando QLoRA (Quantized Low-Rank Adaptation) para reduzir o uso de memória em aproximadamente 75% em relação ao armazenamento de 16 bits.
  • Quantização: Os modelos foram quantizados para precisão de 4 bits Normal Float (NF4).
  • Escopo de Adaptação: Adaptadores LoRA (rank $r=16$, $\alpha=32$) foram anexados a todas as projeções lineares (camadas gate, up e down do MLP), em vez de restringir a adaptação aos módulos de atenção, aumentando a cobertura de parâmetros treináveis.
  • Hardware: O modelo 70B foi treinado em quatro GPUs A100 (80GB de memória cada) usando treinamento paralelo de dados.
  • Hiperparâmetros: As taxas de aprendizado foram definidas como $2 \times 10^{-4}$ para o modelo 8B e $1 \times 10^{-4}$ para o modelo 70B.

Principais Resultados

• Desempenho No-Domínio (MedSecId): Ambos os modelos alcançaram um forte alinhamento com o esquema de proveniência clínica, produzindo pontuações F1 ponderadas quase idênticas de 0,94 e F1 Macro entre 0,92 e 0,93. O desempenho foi consistente entre categorias de alta e baixa frequência, não sendo observado nenhum advantage estatisticamente significativo para o modelo 70B sobre o 8B dentro do domínio de origem.
• Transferência Entre Domínios (UTIN): Uma divergência distinta nas capacidades de generalização emergiu ao avaliar no Conjunto Piloto da UTIN:
  • Modelo 70B: Demonstrou um efeito de transferência dependente de escala. O modelo 70B ajustado melhorou seu F1 Macro de 0,52 (Base) para 0,59 e seu F1 Ponderado de 0,56 para 0,60. Notavelmente, o modelo 70B quantizado e ajustado superou sua linha de base de precisão total, enquanto reduzia os requisitos computacionais.
  • Modelo 8B: Mostrou ganhos marginais. Embora o F1 Ponderado tenha melhorado ligeiramente (0,47 para 0,50), o F1 Macro permaneceu essencialmente inalterado (0,53 para 0,52). Isso sugere que o modelo 8B reforçou o desempenho em classes de alta frequência, mas falhou em generalizar para categorias minoritárias sob mudança de domínio.
• Significância Estatística: Os autores observam que, embora as diferenças de desempenho sejam numericamente significativas, um teste exato de McNemar resultou em um p-valor de 0,24. Essa falta de significância estatística é atribuída ao tamanho limitado da amostra (227 intervalos) e à alta correlação intra-nota.

Significância e Alegações
O artigo alega que a capacidade suficiente do modelo é crítica para preservar a flexibilidade semântica durante a transferência clínica entre domínios. Enquanto modelos menores (8B) podem aprender esquemas complexos no domínio, eles exibem capacidade limitada de traduzir supervisão estruturada em um desempenho equilibrado entre domínios. Em contraste, modelos de maior capacidade (70B) conseguem internalizar restrições estruturadas enquanto mantêm a flexibilidade para reconhecer categorias especializadas e de baixa prevalência em domínios não vistos.

Além disso, o estudo demonstra que a adaptação quantizada eficiente (usando QLoRA e quantização de 4 bits) permite o uso de modelos de grande capacidade para modelagem de proveniência estruturada dentro das restrições de hardware de pesquisa clínica padrão (GPU única de 80GB). Os autores posicionam este trabalho como um passo fundamental para um pipeline de recuperação consciente da proveniência, que pode servir como espinha dorsal para a sumarização "para todas as equipes" ao segmentar notas em zonas específicas de disciplina de forma precisa, reduzendo alucinações e melhorando a utilidade clínica.

Limitações
Os autores reconhecem explicitamente que o Conjunto Piloto da UTIN é pequeno (227 intervalos de três sumários) e que a criação de tais conjuntos de dados de padrão-ouro é intensiva em recursos devido à necessidade de referenciamento manual de diversas notas específicas de cada disciplina. Consequentemente, o poder estatístico da comparação entre domínios é limitado.