Empowering Healthcare Practitioners with Language Models: Structuring Speech Transcripts in Two Real-World Clinical Applications

Resumo Técnico: Empoderamento de Profissionais de Saúde com Modelos de Linguagem

1. O Problema

Apesar dos avanços recentes dos Grandes Modelos de Linguagem (LLMs) em benchmarks clínicos padronizados (como MedQA e PubMedQA), existem duas tarefas de Processamento de Linguagem Natural (NLP) de alto impacto que permanecem subexploradas na prática clínica real:

1. Relatórios Estruturados a partir de Ditados de Enfermeiros: A necessidade de converter anotações de voz (ditados) de enfermeiros em dados estruturados para preencher "flowsheets" (planilhas de dados) em Prontuários Eletrônicos de Saúde (EHR).
2. Extração de Ordens Médicas de Consultas: A extração de ordens médicas (medicamentos, exames, follow-up) de longas conversas entre médico e paciente.

Desafios Principais:

• Escassez de Dados: A falta de conjuntos de dados públicos e anotados devido à sensibilidade e privacidade dos dados clínicos.
• Complexidade do Contexto: Dificuldade em lidar com contextos longos, fluxos de dados que excedem a janela de contexto do modelo, disfluências na fala (hesitações, correções) e a necessidade de mapear linguagem falada para estruturas rígidas de EHR.
• Sensibilidade: A dificuldade de treinar e avaliar modelos sem expor dados reais de pacientes.

2. Metodologia

Os autores propõem uma abordagem que combina dados proprietários (de hospitais parceiros) com novos conjuntos de dados sintéticos e open-source, avaliando tanto modelos de pesos abertos (open-weight) quanto fechados (closed-weight).

A. Criação de Dados e Conjuntos de Dados (Datasets)

• SYNUR (SYnthetic NURsing): O primeiro conjunto de dados open-source para extração de observações de enfermagem.
  • Pipeline Agentic: Utiliza um processo de 6 etapas envolvendo especialistas humanos e o modelo GPT-4o.
  • Processo: Mineração de observações de 80 ditados reais -> Consolidação de conceitos -> Expansão da ontologia (para 193 conceitos) -> Geração de cenários clínicos -> Síntese de ditados realistas (com disfluências) -> Anotação de ouro por enfermeiros especialistas.
  • Resultado: 223 ditados sintéticos com 3.000 observações, validados quanto à qualidade e realismo.
• SIMORD (SIMulated ORDer): O primeiro conjunto de dados open-source para extração de ordens médicas.
  • Fonte: Conversas reais e simuladas (ACI-Bench e PriMock57).
  • Anotação: Especialistas médicos anotaram as ordens (tipo, descrição, motivo, proveniência) como se estivessem criando no EHR ao final da consulta.
  • Tamanho: 64 amostras para treino (few-shot) e 100 para teste.

B. Abordagem para Extração de Observações de Enfermagem (SYNUR)

• Pipeline de 3 Etapas:
  1. Segmentação: Divisão do ditado contínuo em segmentos clinicamente coerentes.
  2. Filtragem RAG (Retrieval-Augmented Generation): Redução do esquema do EHR (que pode ter milhares de linhas) filtrando as linhas candidatas mais relevantes para o segmento atual usando similaridade de cosseno.
  3. Extração: Uso do LLM para extrair e normalizar os dados para o formato JSON do esquema reduzido.
• Modelos Testados: GPT-4o, GPT-4o-mini, GPT-4.1 e GPT-4.1-mini.

C. Abordagem para Extração de Ordens Médicas (SIMORD)

• Tarefa: Extrair ordens estruturadas (JSON) contendo: Tipo, Descrição, Motivo e Proveniência (número da linha da transcrição).
• Modelos Testados:
  • Closed-weight: GPT-4o, GPT-4.1, o1-mini, o1-preview, o3-mini.
  • Open-weight (SLMs): Phi-3.5-mini-instruct, MediPhi-Instruct (3.8B), Llama3-8B-instruct, Llama3-Med42-8B.
• Configurações: Zero-shot e Few-shot (com 1 ou 2 exemplos).

3. Principais Contribuições

1. Lançamento do Dataset SYNUR: Primeiro conjunto de dados open-source sintético para extração de observações de enfermagem, permitindo pesquisa reprodutível sem violar privacidade.
2. Lançamento do Dataset SIMORD: Primeiro conjunto de dados open-source para extração de ordens médicas de diálogos médico-paciente.
3. Pipeline Agentic de Geração de Dados: Demonstração de como criar dados sintéticos realistas e anotados com validação de especialistas para superar a escassez de dados.
4. Avaliação Sistemática: Estudo comparativo abrangente de modelos open e closed-weight em tarefas clínicas complexas de extração de estrutura.

4. Resultados Chave

A. Extração de Observações de Enfermagem (SYNUR)

• Desempenho: O modelo GPT-4.1 superou consistentemente os outros modelos em todos os datasets proprietários, alcançando um F1 médio de 92.4% (few-shot).
• SYNUR vs. Real: O GPT-4o obteve o melhor desempenho no dataset sintético (88.3%), possivelmente devido ao viés de treinamento (o mesmo modelo gerou os dados).
• Impacto do Few-Shot: A inclusão de exemplos nos prompts aumentou significativamente o F1 para todos os modelos.
• Erros: Os modelos tiveram dificuldade em identificar valores em escalas médicas específicas e inferir identificadores médicos ausentes.

B. Extração de Ordens Médicas (SIMORD)

• Modelos Fechados (Closed-weight): Nenhum modelo dominou em todas as métricas.
  • O GPT-4o foi superior na descrição e tipo de ordem.
  • O o1-mini liderou na métrica de "Proveniência" (rastreamento da origem), especialmente com modelos de raciocínio.
  • Gap de Descrição: Houve uma lacuna de mais de 30% entre a pontuação de "Match" (correspondência de ordem) e a pontuação de "Descrição", indicando que os modelos ainda lutam para gerar textos livres precisos.
• Modelos Abertos (Open-weight/SLMs):
  • O MediPhi-Instruct (3.8B) alcançou desempenho comparável ao GPT-4o (em configuração zero-shot vs. one-shot) e superou-o nas métricas de Descrição e Motivo com dois exemplos.
  • Isso demonstra a viabilidade de modelos leves e open-weight para tarefas clínicas específicas.
• Desafios Técnicos:
  • Parsing JSON: Modelos como o1-preview e GPT-4.1 frequentemente geraram saídas malformadas (erros de parsing), enquanto GPT-4o e o1-mini foram mais estáveis (0-1% de erro).
  • Proveniência: Modelos de raciocínio (o1) mostraram grande melhoria (+25.7%) na extração de proveniência, indicando que a inferência profunda ajuda a rastrear a origem da ordem no diálogo.

5. Significado e Conclusão

O trabalho demonstra que os LLMs têm o potencial de reduzir significativamente a carga de documentação dos provedores de saúde, automatizando tarefas críticas de estruturação de dados.

• Viabilidade de Modelos Leves: A descoberta de que modelos open-weight pequenos (como o MediPhi de 3.8B) podem competir com modelos gigantes (GPT-4o) em tarefas específicas é crucial para a adoção em hospitais com restrições de custo e latência.
• Superação da Escassez de Dados: A metodologia de geração de dados sintéticos (SYNUR) oferece um caminho viável para treinar e avaliar sistemas clínicos sem depender exclusivamente de dados sensíveis reais.
• Futuro: A pesquisa aponta para a necessidade de melhorar a geração de campos de texto livre (descrições) e a confiabilidade do parsing de JSON, além de expandir os datasets para permitir o fine-tuning mais robusto.

Em suma, o artigo fornece as bases de dados e as evidências empíricas necessárias para a implementação de soluções de IA escaláveis e seguras no fluxo de trabalho clínico real.