Resumo Técnico: Um Pipeline para Geração de Notas Clínicas Longitudinais Sintéticas Utilizando Grandes Modelos de Linguagem

Declaração do Problema

O desenvolvimento e a avaliação de sistemas de IA clínica — como ferramentas de sumarização, suporte ao diagnóstico e modelos de codificação automatizada — são dificultados pelo acesso restrito a dados reais de pacientes devido a requisitos regulatórios e éticos rigorosos. Embora técnicas de aumento de privacidade, como a anonimização, existam, elas frequentemente não satisfazem os processos de aprovação institucional ou mitigam totalmente os riscos de privacidade. Consequentemente, há uma necessidade crítica de dados clínicos sintéticos de alta qualidade que mimetizem a estrutura, o conteúdo e a consistência longitudinal de registros reais de pacientes sem conter informações reais de pacientes. As abordagens existentes de dados sintéticos frequentemente lutam para equilibrar a consistência interna ao longo da jornada de um paciente com a variação necessária nos estilos de escrita, estruturas de notas e detalhes clínicos encontrados em ambientes do mundo real.

Metodologia

Os autores apresentam um pipeline modular de cinco estágios projetado para gerar notas clínicas sintéticas com consistência longitudinal. O pipeline prioriza velocidade e privacidade, utilizando Grandes Modelos de Linguagem (LLMs) para geração de dados semiestruturados e não estruturados, suplementados por dados estruturados do simulador de código aberto Synthea.

1. Geração de Pacientes

O pipeline começa gerando dados demográficos de pacientes usando o Synthea UK, uma versão modificada do Synthea adaptada para alinhar-se com a demografia e endereços da população do Reino Unido. Um LLM (GPT-4o) é então empregado para gerar detalhes adicionais, como informações de contato de familiares próximos. Para garantir diversidade e realismo, o pipeline refina iterativamente os prompts com base no feedback clínico; por exemplo, agora ele amostra aleatoriamente alergias com base na prevalência nacional, em vez de recorrer a alucinações comuns como alergias à penicilina. Todas as saídas são estritamente formatadas como JSON, com funções de limpeza automatizadas (usando regex e chamadas secundárias de LLM) para lidar com erros de análise.

2. Geração de Admissão

O sistema gera dois tipos de admissões: eletivas e de emergência. Os motivos de admissão são amostrados de uma tabela curada de motivos comuns estratificados por sexo e idade, embora a arquitetura permita a integração com conjuntos de dados codificados em SNOMED ou ICD. O LLM gera detalhes da admissão, incluindo especialidade, localização da enfermaria, medicações atuais e histórico médico prévio, seguido por uma estimativa do tempo de permanência.

3. Simulação da Jornada do Paciente

Este estágio constrói uma linha do tempo longitudinal de eventos, da admissão até o pré-alta.

• Geração Inicial: Uma jornada "simples" é gerada primeiro, contendo tipos de eventos (ex: admissão, rondas de enfermagem, operações), carimbos de data/hora e resumos breves.
• Injeção de Complexidade: Uma vez concluída a jornada simples, a complexidade é adicionada a cada evento, incluindo atribuições de pessoal, descrições detalhadas e decisões de próximos passos.
• Loop de Validação: Um validador de LLM avalia o realismo da jornada. Se uma jornada for encerrada precocemente ou considerada irrealista, o pipeline entra em loop para reescrever seções ou estender a linha do tempo.
• Filtragem: Eventos indesejados, como o evento de alta em si (para evitar a geração prematura de sumários de alta), são filtrados.

4. Geração de Notas Clínicas

Para cada evento na jornada, uma nota clínica específica é gerada usando GPT-4o.

• Prompt de Contexto: Os prompts incluem demografia do paciente, o histórico completo de eventos até aquele momento e formatos de saída esperados, desenhados com a entrada de clínicos.
• Personas Clínicas: Para introduzir variação realista no estilo de escrita, os membros da equipe recebem "personas" aleatórias (ex: Conciso, Narrativo, Tópicos, Nota, ABCDE). Isso garante uma variação estilística consistente ao longo da jornada do paciente.
• Conteúdo Dinâmico: O pipeline seleciona dinamicamente sintomas de "sinais de alerta" apropriados para verificar com base no motivo da admissão e determina os exames legais necessários.

5. Aumento e Validação

• Validação por LLM: Um LLM validador verifica a fidelidade das notas geradas em relação à jornada do paciente e ao contexto, garantindo que nenhum detalhe crítico seja omitido ou alterado. Esta etapa opera em um loop para melhorar iterativamente a qualidade da saída.
• Injeção de Ruído: O pipeline adiciona ruído realista, incluindo:
  • Abreviações: Um LLM insere inteligentemente abreviações clínicas nas frases em vez de usar um simples substituir/localizar.
  • Erros de Digitação: O pacote python-typo simula erros de digitação realistas (trocas de caracteres, omissões, espaços duplos), com taxas de erro individuais atribuídas aleatoriamente a cada membro da equipe.
  • Assinaturas: Assinaturas de pessoal são adicionadas às notas.

Principais Contribuições

1. Um Pipeline Modular: Um pipeline configurável para gerar notas clínicas sintéticas que mantém a consistência longitudinal ao longo dos registros de pacientes, enquanto captura a variação no estilo de escrita e detalhes clínicos.
2. O Conjunto de Dados Sintético: Um conjunto de dados liberado publicamente compreendendo 70 pacientes sintéticos, cada um com 20–50 notas clínicas abrangendo uma jornada hospitalar completa. O conjunto de dados é fornecido em múltiplos níveis de validação:
   • Prata (Liberado): Gerado via pipeline validado e LLM sem revisão clínica.
   • Ouro (Planejado): Inclui revisão e validação adicional por clínicos.
   • Bronze (Planejado): Gerado com pipelines validados, mas potencialmente com LLMs diferentes e sem validação adicional.
3. Estrutura de Avaliação: Uma suíte de avaliação integrada que mede realismo, consistência e variação usando tanto métricas tradicionais quanto juízes baseados em LLM.

Resultados e Avaliação

O artigo detalha uma estrutura de avaliação usada para melhorar iterativamente o sistema durante o desenvolvimento:

• Legibilidade: Medida usando os escores Flesch Reading Ease e Dale Chall para garantir que diferentes personas clínicas produzam notas com níveis de legibilidade variados, porém apropriados.
• LLM-como-Juiz: LLMs pontuam as notas geradas em Fluência (gramática e coerência), Fundamentação (alinhamento com os fatos da jornada do paciente) e Relevância (inclusão de informações vitais). As pontuações variam de 1 a 5.
• Coerência Temporal: Uma verificação binária garante que todos os eventos de um paciente ocorram em ordem cronológica.
• Avaliação Humana: O feedback clínico identificou problemas específicos (ex: documentação de sinais de alerta ausente, abreviações irreais, notas verbosas), que foram posteriormente abordados através de engenharia de prompt e modificações no pipeline.

O conjunto de dados suporta o desenvolvimento de ferramentas de IA para sumarização, codificação, suporte à decisão e testes de viés (via uma capacidade de troca de gênero).

Significância e Alegações

Os autores afirmam que este trabalho fornece uma solução prática para desenvolver e testar sistemas de IA clínica sem depender de dados reais de pacientes, contornando assim os processos de aprovação institucional lentos e muitas vezes malsucedidos associados a dados do mundo real.

O artigo enfatiza que, embora o pipeline gere jornadas e notas clínicas de alta qualidade, não é uma réplica perfeita da complexidade do mundo real. Os autores reconhecem modestamente as limitações, incluindo:

• Perda de Complexidade do Mundo Real: A incapacidade de capturar totalmente a riqueza de observações conflitantes, problemas de disponibilidade de pessoal e tomada de decisão dependente de contexto.
• Sub-representação de Casos Limite: Uma tendência de refletir casos "médios" em vez da cauda longa de eventos raros ou adversos.
• Viés e Alucinação: O risco de que os dados sintéticos possam herdar vieses do LLM subjacente ou introduzir informações clínicas plausíveis, mas factualmente incorretas.

A significância do trabalho reside em fornecer um conjunto de dados escalável e que preserva a privacidade, permitindo o teste de ferramentas de IA (incluindo detecção de viés e predição multimodal) enquanto adere a restrições éticas. O código está disponível no GitHub e os dados estão hospedados no Hugging Face.