Resumo Técnico: Avaliação Sistemática da Qualidade de Notas Clínicas Sintéticas Repetidas por LLMs em Escala de Milhões de Notas

Declaração do Problema

Os Modelos de Linguagem de Grande Porte (LLMs) são cada vez mais utilizados para gerar ou sintetizar texto clínico para aplicações que vão desde assistência à documentação até aumento de dados. No entanto, as avaliações existentes de notas clínicas geradas por LLMs geralmente focam em aspectos estreitos, como similaridade textual com referências escritas por humanos (avaliação intrínseca) ou desempenho em uma única tarefa downstream (avaliação extrínseca). Essas abordagens raramente são apresentadas conjuntamente em um conjunto de dados consistente e em grande escala. Consequentemente, há uma falta de compreensão sistemática sobre o quão bem os LLMs preservam informações clínicas essenciais, mantêm a utilidade preditiva e aderem à precisão factual ao reescrever notas clínicas do mundo real em escala.

Metodologia

Os autores conduziram uma avaliação sistemática, multiangular, de notas clínicas sintéticas geradas pela reescrita de 4,6 milhões de notas desidentificadas dos bancos de dados MIMIC-III e MIMIC-IV. O estudo utilizou três LLMs eficientes e de código aberto (~8B parâmetros): Llama-3.1, Mistral-v0.3 e Qwen-2.5.

A metodologia compreendeu cinco pilares distintos de avaliação:

1. Síntese de Dados: Os autores compararam duas estratégias de reescrita:

   • Nível de Nota: Reescrever a nota clínica inteira como um único contexto.
   • Nível de Fragmento (Chunk): Dividir notas longas em segmentos menores (~150 palavras) e reescrevê-los individualmente para mitigar limitações de comprimento de contexto.
     O corpus resultante, MIMIC-EXT-SYNNOTES, contém 9,1 bilhões de palavras.

2. Avaliação Intrínseca: As notas sintéticas foram comparadas com referências escritas por humanos usando:

   • Recursos Linguísticos: Comprimento da frase, distribuições de partes da fala e pontuações de legibilidade (Flesch-Kincaid, SMOG).
   • Similaridade Textual: Métricas ROUGE e BERTScore.
   • Fidelidade Semântica: Extração de Identificadores Únicos de Conceito (CUIs) do UMLS e seu mapeamento para tipos semânticos (TUIs) para medir a preservação de conceitos médicos.

3. Avaliação Extrínseca (Utilidade Downstream): Os autores treinaram modelos de PLN clínico em dados sintéticos e os avaliaram em quatro tarefas principais de saúde:

   • Estratificação de Risco: Predição de mortalidade hospitalar e readmissão em 30 dias.
   • Codificação Médica: Predição de Grupo Relacionado a Diagnóstico (DRG) e codificação ICD-10.
   • Equidade: Avaliação de viés entre subgrupos de idade, gênero e etnia usando Diferença Média de Odds Absoluta (AAOD) e Diferença de Paridade Estatística (SPD).

4. Verificação de Fatos e Análise de Erros: Usando uma abordagem de "LLM como juiz" (Gemini-2.5), os autores decomuseram as notas em fatos atômicos para calcular precisão (afirmações implicadas pela original) e recall (afirmações originais implicadas pela sintética). Eles também realizaram uma taxonomia qualitativa de tipos de erro.

5. Aumento de Dados: A utilidade de notas sintéticas agnósticas a tarefas foi testada aumentando o conjunto de treinamento para a tarefa de codificação ICD, examinando especificamente o desempenho em códigos ICD raros.

Principais Resultados

Qualidade Intrínseca e Deslocamento Semântico

As notas sintéticas foram geralmente mais curtas, com frases mais longas e pontuações de legibilidade mais altas do que as notas humanas. Embora tenham preservado distribuições semânticas amplas, elas exibiram um deslocamento em direção a termos gerais (por exemplo, "Fenômeno ou Processo Natural") e omitiram terminologia anatômica e de especialistas específica (por exemplo, "Espaço ou Junção Corporal", "Dispositivo Médico").

Utilidade Downstream

• Tarefas de Granularidade Grossa: Para tarefas de rótulo único (mortalidade, readmissão, DRG), as notas sintéticas alcançaram desempenho comparável às notas escritas por humanos, com resultados sobrepondo intervalos de confiança de 95%. Isso indica que as informações clínicas essenciais sobre a gravidade do paciente são preservadas.
• Tarefas de Granularidade Fina: A tarefa de codificação ICD (multi-rótulo, 8 mil classes) mostrou uma queda significativa de desempenho (redução de 4–10% no Micro F1) ao usar dados sintéticos em nível de nota.
• Impacto da Fragmentação (Chunking): A reescrita por fragmentos em vez de notas inteiras mitigou substancialmente a lacuna de desempenho na codificação ICD, sugerindo que a perda de detalhes de granularidade fina na reescrita em nível de nota é impulsionada pela dificuldade de integrar informações de contextos longos.

Factualidade e Padrões de Erro

• Precisão vs. Recall: As notas sintéticas exibiram alta precisão factual, mas recall significativamente menor, indicando uma tendência a omitir detalhes em vez de inventá-los. Isso foi exacerbado em notas longas (>2 mil palavras), onde o recall caiu para 0,3.
• Compromisso da Fragmentação: Embora a fragmentação tenha melhorado o recall ao preservar mais detalhes, ela reduziu ligeiramente a precisão e aumentou as taxas de alucinação. Isso ocorreu porque os LLMs, sem contexto completo em um único fragmento, às vezes geraram afirmações plausíveis, mas não fundamentadas, baseadas em informações presentes em outros fragmentos.
• Taxonomia de Erros: O modo de falha dominante foi a interpretação equivocada do contexto clínico, seguido por erros de medição, confusão temporal e fabricação de afirmações (por exemplo, inventar nomes ou datas).

Equidade e Aumento

• Equidade: Modelos treinados em notas sintéticas não mostraram aumento significativo no viés em comparação com aqueles treinados em notas humanas entre subgrupos demográficos.
• Aumento: Apesar de serem agnósticos a tarefas, as notas sintéticas aumentaram efetivamente os dados de treinamento para codificação ICD. Os ganhos mais significativos foram observados para códigos ICD raros, onde o Micro F1 melhorou de 0,03 para 0,10.

Síntese Iterativa

A síntese repetida (reescrevendo iterativamente a saída da rodada anterior) não levou a um "colapso do modelo" imediato em tarefas downstream, embora o desempenho na codificação ICD tenha diminuído progressivamente ao longo de cinco iterações.

Significado e Contribuições

O artigo afirma que sua principal contribuição é uma avaliação sistemática e multiangular de texto clínico sintético em escala de milhões de notas, preenchendo a lacuna entre similaridade intrínseca e utilidade extrínseca.

As principais conclusões enfatizadas pelos autores incluem:

1. Complementaridade da Avaliação: Métricas intrínsecas e extrínsecas fornecem visões complementares; alta similaridade não garante utilidade para tarefas de granularidade fina, e alta utilidade não garante completude factual.
2. O Gargalo do Contexto Longo: O estudo destaca que, embora os LLMs possam preservar informações clínicas de granularidade grossa, eles lutam com detalhes de granularidade fina em contextos longos. A fragmentação é uma estratégia viável para recuperar detalhes, mas introduz um compromisso com a precisão factual devido à fragmentação do contexto.
3. Utilidade Agnóstica a Tarefas: Notas sintéticas geradas sem instruções específicas de tarefa ainda podem servir como recursos valiosos para aumento de dados, particularmente para classes sub-representadas (códigos raros).
4. Padrões de Erro: Os erros dos LLMs na reescrita clínica não são aleatórios, mas seguem padrões recorrentes (interpretação equivocada de contexto, confusão temporal), sugerindo que melhorias futuras devem visar esses modos de falha específicos em vez da qualidade geral de geração.

Os autores concluem que, embora as notas clínicas geradas por LLMs tenham potencial para aumento de dados e suporte à documentação, seu uso requer uma avaliação cuidadosa do contexto de aplicação, particularmente em relação à tolerância à perda de detalhes versus alucinação. Eles disponibilizam o corpus MIMIC-EXT-SYNNOTES para apoiar pesquisas futuras.