Retrieval-Augmented Generation Based Nurse Observation Extraction

Resumo Técnico: Extração de Observações de Enfermagem Baseada em RAG

1. Problema e Contexto

O avanço dos Grandes Modelos de Linguagem (LLMs) tem potencial para reduzir a carga de trabalho em diversos setores, incluindo a medicina. No entanto, a documentação clínica, especificamente a transcrição de ditados de enfermeiros, permanece uma tarefa manual e demorada. O desafio central é extrair automaticamente observações clínicas estruturadas (como sintomas, sinais vitais e achados de exame) de ditados de enfermagem não estruturados e muitas vezes complexos.

A obtenção de dados anotados de alta qualidade para treinar modelos supervisionados é um gargalo devido a preocupações de privacidade e ao alto custo da anotação por especialistas. O conjunto de dados SYNUR foi criado como um benchmark para facilitar essa extração, mas exige abordagens que lidem com terminologia médica específica e contexto semântico sem depender de fine-tuning massivo e custoso.

2. Metodologia Proposta

A equipe MKC propôs um pipeline automatizado baseado em Geração Aumentada por Recuperação (RAG). A abordagem evita o fine-tuning do modelo base, utilizando em vez disso o aprendizado em contexto (in-context learning) através de um mecanismo de recuperação dual. O pipeline segue as seguintes etapas:

• Segmentação do Ditado:

  • Os ditados longos são divididos em unidades contíguas menores contendo fatos clínicos específicos.
  • Um LLM é instruído a segmentar o texto preservando a ordem original e sem parafrasear, garantindo que cada segmento corresponda a um fato clínico verificável.

• Recuperação Híbrida (Mecanismo Dual):
  O sistema recupera dois tipos de contexto para alimentar o LLM gerador:

  1. Recuperação Baseada em Ontologia (Esquemas):
     • Um sistema recupera os conceitos médicos mais relevantes (esquemas) de uma ontologia médica para o segmento atual.
     • Para melhorar a compreensão do LLM, descrições em linguagem simples são geradas para cada termo da ontologia (evitando jargões técnicos diretos).
     • Utiliza-se uma abordagem híbrida combinando BlueBERT e TF-IDF para selecionar os 10 esquemas mais relevantes (nome, descrição e enumeração de valores).
  2. Recuperação de Exemplos Few-Shot (Memória):
     • Um banco de memória contém pares de "segmento-observação" extraídos do conjunto de dados de treinamento.
     • O sistema recupera os 15 segmentos mais semanticamente similares ao de entrada, juntamente com suas observações de "verdade absoluta" (gold-standard).
     • Isso serve como exemplos few-shot para guiar o padrão de extração do modelo. A recuperação aqui utiliza BlueBERT e BM25.

• Geração de Observação:

  • O LLM recebe o segmento do ditado, os esquemas recuperados (com descrições) e os exemplos few-shot.
  • O modelo é instruído a extrair apenas informações que correspondam aos esquemas fornecidos, formatando a saída estritamente em JSON, respeitando os tipos de valor (ex: seleção única, múltipla escolha) definidos na ontologia.

3. Contribuições Chave

• Pipeline RAG sem Treinamento: Demonstração de que é possível alcançar desempenho de ponta na extração de observações clínicas sem fine-tuning do modelo base, reduzindo custos computacionais e de dados.
• Mecanismo de Recuperação Dual: A integração sinérgica de recuperação baseada em ontologia (para precisão terminológica) e recuperação semântica de exemplos (para aprendizado de padrões de extração).
• Pré-processamento de Ontologia: A criação de descrições simplificadas para os termos da ontologia, facilitando a interpretação pelo LLM e melhorando a precisão na mapeamento de valores.
• Análise de Consistência de Modelo: Identificação de que usar o mesmo modelo para segmentação e geração (especialmente em bancos de memória construídos com o mesmo modelo) melhora a alinhamento e o desempenho.

4. Resultados

Os experimentos foram conduzidos no conjunto de dados de desenvolvimento e teste do MEDIQA-SYNUR.

• Desempenho Geral: O método alcançou um F1-score de 0,796 no conjunto de dados de teste.
• Comparação de Configurações:
  • A combinação de few-shot examples + esquemas da ontologia superou significativamente o uso apenas de few-shot examples (F1 de 0,829 vs 0,739 no conjunto de desenvolvimento).
  • O modelo BlueBERT mostrou-se superior ao ClinicalBERT e PubMedBERT para a tarefa de recuperação de esquemas.
  • A configuração ótima no teste utilizou o GPT-5.1 como gerador e o GPT-5-mini como segmentador. Curiosamente, modelos geradores maiores (como GPT-5.2) não apresentaram melhoria monotônica, sugerindo que a consistência entre o segmentador e o banco de memória é crucial.
• Métricas Específicas: O sistema demonstrou alta precisão (Precision) e recall, indicando capacidade robusta de identificar e extrair corretamente as observações sem falsos positivos excessivos.

5. Significado e Impacto

Este trabalho é significativo por oferecer uma solução escalável e eficiente para a automação da documentação clínica.

• Redução de Carga de Trabalho: Ao automatizar a interpretação de interações com pacientes, o sistema pode aliviar significativamente a carga administrativa dos enfermeiros, permitindo que se concentrem no cuidado direto.
• Viabilidade de Dados Escassos: A abordagem RAG contorna a necessidade de grandes conjuntos de dados anotados para fine-tuning, tornando a solução viável mesmo em domínios onde a privacidade limita o compartilhamento de dados.
• Direções Futuras: Os autores sugerem que a eficiência do pipeline pode ser ainda melhorada com um classificador preliminar para filtrar segmentos sem observações médicas relevantes antes de acionar o LLM, economizando custos computacionais.

Em suma, a equipe MKC demonstrou que uma arquitetura RAG bem projetada, que combina conhecimento estruturado (ontologia) e aprendizado contextual (exemplos), é altamente eficaz para tarefas complexas de processamento de linguagem natural na saúde.