Clinical Note Bloat Reduction for Efficient LLM Use

Título: Redução de "Bloat" (Inchaço) em Notas Clínicas para Uso Eficiente de LLMs

Autores: Jordan L. Cahoon et al. (Stanford University e colaboradores)

1. O Problema: "Note Bloat" e Custos Computacionais

Os sistemas de saúde estão adotando rapidamente Grandes Modelos de Linguagem (LLMs) para suporte à decisão clínica, utilizando notas de prontuários eletrônicos (EHR) como fonte de dados. No entanto, a documentação clínica moderna sofre de um fenômeno conhecido como "note bloat" (inchaço de notas), caracterizado por:

• Redundância Extrema: Uso excessivo de templates, copiar e colar (copy-paste) de notas anteriores e campos pré-preenchidos.
• Impacto Negativo: Isso dilui o sinal clinicamente relevante, aumenta o custo computacional de inferência (mais tokens processados) e pode levar ao truncamento de registros longitudinais importantes devido aos limites de janela de contexto dos modelos.
• Dados: Estudos anteriores indicam que até 54% do texto em notas de progresso pode ser duplicado de notas anteriores, e a redundância aumentou significativamente na última década.

2. Metodologia: O Pipeline TRACE

Os autores introduzem o TRACE (Template Reuse And Copied Elements), um pipeline de pré-processamento de código aberto projetado para identificar e remover texto redundante sem perder informações clínicas. O TRACE opera em dois módulos principais:

A. Módulo de Referência (Reference Module)

• Fonte de Dados: Utiliza metadados de atribuição (proveniência) embutidos em bancos de dados de EHR (especificamente Epic Clarity).
• Funcionamento: Identifica a origem do texto (templates ou notas copiadas). Como o banco de dados fornece apenas a nota de origem e não os limites exatos dos caracteres copiados, o TRACE utiliza o algoritmo Ratcliff–Obershelp (fuzzy string matching) para alinhar o texto da fonte com a nota final.
• Processo: Identifica blocos de texto correspondentes, funde espaços em branco e remove todas as faixas (spans) templáticas e duplica as faixas copiadas, mantendo apenas a primeira instância.
• Limiar: Remove apenas faixas maiores que 50 caracteres para preservar fragmentos contextuais curtos.

B. Módulo de Frequência (Frequency Module)

• Objetivo: Lidar com notas onde os metadados de atribuição estão ausentes (ex: notas escritas fora da interface Epic, antes da implementação de metadados ou em sistemas como MIMIC-III).
• Funcionamento: Aplica deduplicação baseada em frequência.
  • Divide as notas em sentenças e parágrafos.
  • Normaliza o texto (minúsculas, remove espaços extras).
  • Rótulos: Marca como "templado" se o bloco aparecer em >5 pacientes diferentes; marca como "copiado" se aparecer >1 vez no mesmo paciente.
• Remoção: Remove esses blocos de alta frequência.

3. Avaliação e Experimentos

O TRACE foi avaliado em quatro coortes clínicas reais (5,3 milhões de notas) cobrindo transplante hepático, obstetrícia e cuidados hospitalares (incluindo dados do MIMIC-III).

• Validação Humana: Revisão cega por médicos para determinar a precisão da remoção de texto.
• Metadados de Ouro: Comparação com anotações manuais baseadas nos metadados do Epic Clarity para calcular recall.
• Tarefas de Desempenho (Downstream):
  1. Extração de Informação (IE): Extração de variáveis clínicas (ex: comorbidades, histórico obstétrico) usando LLMs em modo zero-shot e atualizações iterativas.
  2. Previsão de Resultados Clínicos:
     • Zero-shot: Previsão de sobrevida global de 5 anos (Transplante Hepático).
     • Baseado em Embeddings: Previsão de Hemorragia Pós-Parto (PPH) e Readmissão em 30 dias (usando modelos de gradiente boosting sobre embeddings de notas).

4. Resultados Principais

A. Precisão na Identificação de Redundância

• O TRACE identificou com alta precisão que a maioria do texto removido era realmente redundante.
• Precisão: 97% para o Módulo de Referência e 89% para o pipeline completo (TRACE) na detecção de texto templado contra anotações de "ouro".
• Recall: 86% para o pipeline completo.
• Apenas ~3% dos caracteres removidos foram classificados como texto gerado pelo autor (falsos positivos baixos).

B. Redução de Tamanho e Custo

• Redução de Texto: O TRACE removeu em média 47,3% do texto total das notas (em uma amostra de 1.000 pacientes).
  • Coortes específicas: 21% (Transplante), 31% (Obstetrícia), 30% (Inpatient-SHC).
• Economia de Tokens: Redução estimada de ~220 milhões de tokens de entrada no conjunto de teste.
• Impacto Financeiro: Em um grande centro médico acadêmico (Stanford Health Care), a redução de tokens resulta em uma economia anual estimada de $9,5 milhões (assumindo 1 consulta por atendimento com um modelo de ponta como GPT-5.2 Pro).

C. Desempenho em Tarefas de IA

• Extração de Informação: Não houve diferença estatisticamente significativa na precisão, recall ou F1-score entre as notas originais e as processadas pelo TRACE.
• Previsão de Resultados: Os modelos treinados com notas processadas pelo TRACE mantiveram desempenho comparável (AUROC e F1) aos modelos treinados com notas originais.
  • Em alguns casos, o TRACE até melhorou a sensibilidade (detectando mais casos positivos) à custa de uma leve redução na especificidade, mas sem perda geral de acurácia.
• Correlação: Não houve correlação entre a quantidade de texto removido e a degradação do desempenho, indicando que o texto removido era, de fato, ruído não informativo.

5. Contribuições e Significância

1. Aproveitamento de Metadados Subutilizados: O trabalho demonstra que os metadados de proveniência de EHR (frequentemente ignorados) são uma ferramenta poderosa para melhorar a qualidade dos dados para IA, indo além de simples comparações de similaridade de texto.
2. Eficiência Econômica e Escalabilidade: A redução drástica no volume de tokens torna viável a implantação de LLMs em larga escala em sistemas de saúde, reduzindo custos de inferência e latência.
3. Robustez do Modelo: Ao remover "atalhos" de documentação (templates e cópias), o TRACE pode ajudar os modelos a aprenderem associações mais robustas e generalizáveis, evitando o shortcut learning (aprendizado de atalhos) baseado em artefatos de documentação específicos de um local.
4. Ferramenta Prática: O TRACE é uma ferramenta de pré-processamento leve, de código aberto e agnóstica à tarefa, que pode ser integrada em fluxos de trabalho existentes de IA clínica sem comprometer a qualidade clínica.

Conclusão

O estudo prova que a redução de "bloat" em notas clínicas através do TRACE é uma estratégia viável e necessária. Ela permite que os sistemas de saúde processem registros longitudinais completos de forma mais eficiente, reduzindo custos computacionais significativos enquanto mantém (e em alguns aspectos melhora) a precisão de tarefas críticas de extração de informação e previsão de desfechos clínicos.