Resumo Técnico: Feedback–Refinamento Iterativo para Representação Fiel de Notas Clínicas Estruturadas

Declaração do Problema

Notas clínicas não estruturadas em Registros Eletrônicos de Saúde (EHRs) contêm informações ricas sobre o paciente, mas permanecem difíceis de automatizar devido à variabilidade de layout, estilo narrativo e cobertura de seções entre diferentes especialidades. As abordagens existentes para converter essas notas em representações estruturadas enfrentam duas limitações primárias:

1. Sumarização de Texto Livre: Embora melhorem a legibilidade, esses métodos frequentemente sofrem de alucinações (gerando conteúdo não suportado) e omissões (excluindo detalhes críticos), além de carecerem das restrições estruturais necessárias para interoperabilidade e reuso de informações.
2. População de Esquema Fixo: Abordagens que populam esquemas pré-definidos e desenhados manualmente (ex: templates JSON) generalizam mal para diversos estilos de documentação. Além disso, deficiências no design inicial do esquema propagam-se sistematicamente para cada extração, uma vez que o próprio esquema não é otimizado.

Os métodos atuais otimizam o output gerado em vez da representação subjacente. Adicionalmente, métricas de avaliação padrão (ex: ROUGE) frequentemente falham em capturar o alinhamento factual com a fonte, e estratégias de correção pós-hoc não resolvem deficiências ao nível da representação.

Metodologia

Os autores propõem um novo Framework de Feedback–Refinamento Iterativo que trata a documentação clínica estruturada como um problema de indução de esquema adaptativo, em vez de geração de instâncias a partir de um template fixo. O framework utiliza Grandes Modelos de Linguagem (LLMs) para refinar progressivamente um esquema baseado em JSON sem exigir dados rotulados ou ajuste fino (fine-tuning) específico para a tarefa.

Dados e Pré-processamento

• Dataset: O estudo utiliza o corpus MTSamples, especificamente a categoria 'Consult - History and Physicals' (515 relatórios).
• Pré-processamento:
  • Limpeza: Remoção de boilerplate e artefatos de formatação.
  • Remoção de Outliers: Filtragem baseada em comprimento usando um limiar de z-score ($\tau=0.7$) para gerenciar restrições de memória da GPU (limites de KV-cache) enquanto retém informação suficiente, reduzindo o corpus de 515 para 337 documentos.
  • Clustering: Os documentos são incorporados (usando Qwen3:0.6b) e agrupados via UMAP e HDBSCAN em 42 clusters temáticos. Isso garante que o processo de refinamento encontre estruturas de notas diversas em uma sequência controlada, em vez de amostragem aleatória.
  • Particionamento: Uma divisão de 85/15 cria um Subconjunto de Refinamento (286 notas) para atualizações iterativas de esquema e um Subconjunto de Validação (51 notas) para avaliação final.

O Framework Iterativo

O processo central envolve um loop de duplo-LLM executado através dos 42 clusters:

1. Inicialização do Esquema: Um prompt zero-shot gera um esquema JSON inicial e minimalista ($S^{(0)}$).
2. Avaliação por Nota (Evaluator):
   • Para cada nota em um cluster, o esquema atual é usado para gerar um documento estruturado.
   • O avaliador pontua o esquema em cinco dimensões: Cobertura, Precisão, Clareza, Concisão e Utilidade.
   • O avaliador gera feedback estruturado em quatro categorias: Informação Ausente, Problemas de Representação, Redundância e Melhorias.
3. Agregação de Lote (Batch): O feedback de todas as notas em um cluster é agregado. Pontuações médias de qualidade são calculadas e itens de feedback são desduplicados (preservando sinais de frequência) para identificar deficiências sistemáticas do esquema.
4. Refinamento de Esquema (Refiner): Um LLM separado e sem estado (stateless) atualiza o esquema ($S^{(k)}$) com base no feedback agregado. Ele segue uma estratégia conservadora, priorizando extensões (adição de campos) sobre deleções e garantindo que as mudanças tenham alta probabilidade de generalização. O processo se repete para cada cluster, resultando em um esquema otimizado final ($S^*$).
5. Aplicação Final: O esquema finalizado é aplicado ao subconjunto de validação usando um cliente de preenchimento sem estado para produzir os documentos estruturados finais.

Baselines

A abordagem proposta é comparada contra:

• Sumarização Extrativa: BERT-Centroid (seleciona sentenças salientes literalmente).
• Sumarização Abstrativa: Abordagens de turno único padrão e de Cadeia de Pensamento (CoT).
• Aprendizado em Contexto (ICL) de Esquema: Uma abordagem não iterativa onde um esquema é gerado a partir de todo o subconjunto de refinamento em uma única passagem.

Métricas de Avaliação

A fidelidade é definida como o acordo entre a representação gerada e a nota de origem, decomposta em Precisão (ausência de alucinação) e Recall (ausência de omissão).

• LLM-as-Judge: Três métricas usando gpt-5-mini: SummarizationMetric (F1 de precisão/recall), G-Eval (rubrica de precisão/recall) e DAGMetric (baseada em árvore de decisão).
• Baseada em Referência: SelfCheckGPT (consistência de BERTScore e consistência de perguntas e respostas via MQAG).
• Compressão: Razão de compressão de nível de palavra em relação à fonte.

Principais Resultados

O framework foi avaliado em 8 LLMs de pesos abertos (variando de 1B a 109B de parâmetros).

1. Fidelidade Superior: A abordagem de Esquema Iterativo alcançou os maiores escores médios de F1 em todas as três métricas baseadas em juízes (SummarizationMetric: 0.939, G-Eval: 0.926, DAGMetric: 0.910), superando o baseline abstrativo mais forte em +0.063 a +0.066 pontos de F1.
2. Equilíbrio Precisão-Recall: Diferente do baseline Extrativo (alta precisão, baixo recall) ou dos baselines abstrativos (baixo recall), o Esquema Iterativo manteve uma alta precisão comparável aos baselines enquanto melhorou significativamente o recall. Isso indica que o método reduz omissões sem aumentar alucinações.
3. Agnosticismo de Modelo: Os ganhos foram consistentes entre tamanhos de modelos. Modelos de médio porte (ex: Qwen3-4B, Llama-3.1-8B) igualaram ou superaram modelos maiores (ex: Llama-3.3-70B) ao utilizar a estratégia de refinamento iterativo.
4. Compressão: A representação estruturada alcançou uma razão média de compressão de palavras de 0.345 (34,5% do comprimento da fonte), sendo significativamente mais compacta que os resumos abstrativos (~0.63–0.66) enquanto mantém maior fidelidade.
5. Consistência: Os resultados mantiveram-se consistentes através de diferentes mecanismos de avaliação (perguntas e respostas, rubrica, árvore de decisão e métricas de distribuição), com fortes correlações entre as métricas confirmando a robustez dos achados.

Significância e Alegações

O artigo alega que otimizar o próprio esquema fornece uma rota eficaz e agnóstica a modelos para a representação clínica estruturada fiel.

• Otimização Centrada na Representação: Ao deslocar o alvo de otimização do output individual para o esquema compartilhado, as melhorias acumulam-se e propagam-se por todas as extrações subsequentes.
• Redução de Omissão: O framework aborda a limitação persistente da sumarização clínica (omissão) ao definir explicitamente os campos de informação necessários no esquema, incentivando a cobertura sistemática.
• Sem Dados Rotulados: A abordagem não requer dados rotulados por humanos ou ajuste fino específico para a tarefa, baseando-se em vez disso em clustering não supervisionado e feedback via LLM.
• Utilidade Clínica: Os outputs estruturados resultantes são naturalmente compatíveis com padrões de interoperabilidade (ex: FHIR) e grafos de conhecimento, potencialmente reduzindo erros em sistemas de suporte à decisão downstream.

Os autores concluem que o principal ponto de alavancagem na extração clínica estruturada reside menos no prompting iterativo ou no refinamento do output, e mais em tratar o esquema em si como o objeto de otimização.