Automatic identification of diagnosis from hospital discharge letters via weakly supervised Natural Language Processing

Este artigo apresenta um pipeline de Processamento de Linguagem Natural fracamente supervisionado que identifica automaticamente diagnósticos de pacientes a partir de cartas de alta hospitalar italianas ao alavancar a extração de sentenças, embeddings semânticos específicos do domínio e agrupamento de dois níveis para gerar rótulos fracos, alcançando assim um desempenho comparável a modelos totalmente supervisionados enquanto reduz significativamente a necessidade de anotação manual.

O essencial

Imagine uma biblioteca massiva repleta de milhões de cartas manuscritas. Estas não são cartas de amor ou correspondência de fãs; são resumos de alta hospitalar escritos por médicos na Itália. Cada carta conta a história de uma criança doente, o que foi diagnosticado com ela e como foi tratada.

Pesquisadores querem encontrar todas as cartas sobre uma doença específica (como a bronquiolite, uma infecção pulmonar comum em bebês) para estudar o quão disseminada ela é. Mas ler milhões de cartas à mão é como tentar beber de uma mangueira de incêndio — leva tempo demais e é caro demais.

Este artigo apresenta uma forma inteligente, "semi-automatizada", de classificar essas cartas sem a necessidade de um humano ler cada uma delas. Veja como o sistema deles funciona, explicado através de analogias simples:

1. O Problema: O Dilema da "Agulha no Palheiro"

Normalmente, para ensinar um computador a encontrar essas cartas específicas, você precisa contratar especialistas para ler milhares de cartas e marcá-las manualmente como "Bronquiolite" ou "Não é Bronquiolite". Este é o "Padrão Ouro" (Gold Standard), mas é incrivelmente lento e dispendioso. Os autores queriam pular a etapa de marcação manual cara, mantendo resultados precisos.

2. A Solução: Um Fluxo de Trabalho de 3 Passos de um "Classificador Inteligente"

Os autores construíram um pipeline (um processo passo a passo) que atua como um bibliotecário inteligente.

Passo 1: O "Tradutor" (Pré-treinamento)
Primeiro, eles pegaram um poderoso modelo de linguagem de IA (um cérebro digital que entende texto) e deram a ele um curso intensivo de jargão médico italiano. Eles alimentaram o modelo com milhares de documentos médicos para que ele entendesse que "bronchiolite" significa o que significa, e que os médicos podem escrevê-lo de diferentes formas. Pense nisso como ensinar um tradutor a falar "Médico" fluentemente antes de pedir que ele leia as cartas.

Passo 2: A "Festa de Agrupamento" (Rotulagem Fraca)
Em vez de pedir a um humano para ler cada carta, o sistema faz o seguinte:

• Extração: Ele varre as cartas e extrai as frases específicas onde o médico escreveu o diagnóstico.
• Agrupamento: Ele pega essas frases de diagnóstico e as agrupa com base no significado, não apenas na grafia. Por exemplo, ele coloca "bronquiolite leve", "bronquiolite aguda" e "bronquiolite com febre" no mesmo monte porque a IA entende que elas estão relacionadas.
• A "Verificação de Palavras-Chave": Aqui está a parte inteligente. Os pesquisadores (com ajuda de médicos) deram ao sistema uma lista simples de palavras "Sim" (como "bronquiolite") e palavras "Não". O sistema examina os montes de frases agrupadas. Se um monte contém majoritariamente palavras "Sim", o sistema diz: "Ok, todas as cartas neste monte provavelmente são sobre bronquiolite".
• O Resultado: O sistema cria um "Rótulo Fraco" (Weak Label) para milhares de cartas. Não é 100% perfeito (daí o termo "fraco"), mas é bom o suficiente para ser um ponto de partida. É como separar um saco de moedas misturadas pela cor primeiro, e depois verificar algumas para confirmar que o monte é composto majoritariamente por centavos.

Passo 3: O "Exame Final" (Treinamento do Classificador)
Agora que o sistema tem um enorme monte de cartas "provavelmente de bronquiolite" e "provavelmente não de bronquiolite", ele treina um modelo de IA final. Este modelo aprende a ler a carta inteira (não apenas a frase do diagnóstico) para prever se uma nova carta é sobre a doença.

3. Os Resultados: Quão Bom Foi Isso?

Os pesquisadores testaram isso em 33.176 cartas de crianças na Itália.

• O "Padrão Ouro" (Especialistas Humanos): Se um humano lesse cada carta, obteria uma pontuação perfeita.
• A IA "Semisupervisionada": A IA treinada com os rótulos "fracos" alcançou uma pontuação muito próxima à dos especialistas humanos (cerca de 78% de precisão na métrica F1-score).
• A Competição:
  • Superou métodos simples de "busca e encontro" (como apenas procurar a palavra "bronquiolite" em qualquer lugar do texto), que frequentemente perdem o diagnóstico se o médico o escreveu de uma forma complexa.
  • Teve um desempenho melhor do que um modelo de linguagem de grande escala (LLM) "zero-shot" (uma IA sofisticada que tenta adivinhar sem treinamento).
  • Foi apenas ligeiramente inferior a um modelo treinado com dados perfeitamente rotulados por humanos.

4. A Grande Vitória: Economia de Tempo

A afirmação mais importante do artigo é o tempo economizado.
Para obter os rótulos do "Padrão Ouro" para este conjunto de dados, um humano teria precisado gastar mais de 1.500 horas (aproximadamente 75 semanas de trabalho completas) lendo e rotulando as cartas.
Ao usar este método de supervisão fraca, eles evitaram quase todo esse trabalho manual. Eles só precisaram que os médicos fornecessem as listas simples de "palavras-chave" (o que levou uma fração mínima desse tempo).

5. O Que o Artigo Não Alega

• Não alega que substitui médicos: O sistema é para pesquisa e classificação de dados, não para diagnosticar pacientes individuais em tempo real.
• Não alega que funciona para todas as doenças ainda: Eles testaram especificamente para bronquiolite e um conjunto de dados menor sobre bronquite. Eles sugerem que poderia funcionar para outras doenças, mas ainda não provaram isso.
• Não alega perfeição: O sistema comete erros. Às vezes, ele perde uma carta porque o médico não escreveu a palavra-chave específica na seção de diagnóstico, ou a agrupou com uma doença ligeiramente diferente. No entanto, o artigo argumenta que, para pesquisas de larga escala, esse nível de precisão é uma troca justa pelo enorme ganho de tempo.

Analogia de Resumo

Imagine que você tem uma caixa gigante de peças de LEGO misturadas. Você quer encontrar todas as peças vermelhas.

• O Jeito Antigo: Uma pessoa pega cada peça, olha para ela e a coloca em um balde. (Lento, caro).
• O Jeito Novo: Você despeja as peças em uma máquina que as separa primeiro por forma e tamanho. Depois, você diz à máquina: "Se um monte parecer ter peças vermelhas, coloque o monte inteiro no balde". Você verifica alguns montes para garantir que a máquina entendeu a regra.
• O Resultado: Você consegue um balde cheio de peças majoritariamente vermelhas muito rapidamente. Não é 100% puro (pode haver uma peça rosa lá dentro), mas você conseguiu suas peças vermelhas em uma fração do tempo e não precisou contratar uma pessoa para separar uma por uma.

Este artigo mostra que este método de "classificação inteligente" funciona muito bem para cartas hospitalares italianas, oferecendo uma forma prática de estudar doenças sem esgotar a equipe médica.

Resumo técnico

Resumo Técnico: Identificação Automática de Diagnósticos de Cartas de Alta Hospitalar via PLN de Supervisão Fraca

Definição do Problema
A identificação de diagnósticos de pacientes a partir de cartas de alta hospitalar é fundamental para a seleção de coortes em larga escala e para pesquisas epidemiológicas. No entanto, as abordagens tradicionais de Processamento de Linguagem Natural (PLN) supervisionado exigem a anotação manual extensiva de rótulos ao nível do documento, um processo que é trabalhoso, dispendioso e, muitas vezes, impraticável para grandes conjuntos de dados textuais. Este desafio é exacerbado em ambientes clínicos devido à heterogeneidade dos documentos médicos, léxicos especializados, abreviações ambíguas e à escassez de dados anotados manualmente, particularmente para línguas de baixos recursos como o italiano. Embora as ferramentas de PLN existentes sejam otimizadas para o inglês, sua transferibilidade para o italiano é limitada devido à falta de recursos linguísticos específicos do domínio e de corpora anotados. Além disso, os métodos de supervisão fraca existentes frequentemente dependem de variáveis estruturadas de Registros Eletrônicos de Saúde (EHR) (ex: códigos de diagnóstico, registros de medicação) ou de dados agregados entre múltiplos atendimentos, que podem estar incompletos ou indisponíveis em admissões de departamentos de emergência, onde os sumários de alta são a principal fonte diagnóstica.

Metodologia
Os autores propõem um pipeline de PLN de supervisão fraca em três etapas, projetado para identificar automaticamente diagnósticos de cartas de alta hospitalar italianas sem a necessidade de anotação manual ao nível do documento. O pipeline opera exclusivamente com documentos clínicos de texto livre.

1. Pré-treinamento de Transformer para Documentos Médicos Italianos (TPT):
   Para abordar a falta de modelos de linguagem específicos do domínio para o italiano, os autores realizam um pré-treinamento adicional em um modelo baseado em transformer (especificamente variantes de UmBERTo, XLM-RoBERTa e RemBERT) utilizando o European Clinical Case Corpus (E3C). Este corpus inclui documentos médicos multilíngues (artigos de periódicos, testes de admissão, folhetos de pacientes, resumos de teses). Documentos não italianos são automaticamente traduzidos para o italiano via API do Google Translate. O modelo passa por um pré-treinamento adicional de Modelagem de Linguagem Mascarada (MLM) neste corpus médico agregado em italiano para melhorar a adaptação ao domínio antes de ser utilizado nas etapas subsequentes.

2. Rotulagem Semi-Automática (SAL):
   Esta etapa gera rótulos fracos para um subconjunto dos dados através de uma abordagem baseada em agrupamento (clustering):

• Extração: Expressões regulares são utilizadas para extrair strings de diagnóstico das seções de diagnóstico designadas nas cartas de alta.
• Agrupamento (Clustering): As strings extraídas são normalizadas e codificadas (embedded) usando o codificador transformer adaptado ao domínio. Um procedimento de agrupamento de dois níveis é aplicado:
  • Primeiro Nível: O HDBSCAN agrupa as codificações de alta dimensão (após redução de dimensionalidade por PCA) para reunir strings de diagnóstico semanticamente semelhantes.
  • Segundo Nível: Cada cluster é resumido através da extração de palavras-chave representativas. Esses resumos de palavras-chave são novamente codificados e agrupados para fundir clusters semanticamente relacionados, refinando os agrupamentos.
• Mapeamento para Rótulos Fracos: Clínicos definem doenças de interesse utilizando conjuntos de palavras-chave positivas e negativas. Os clusters são mapeados para rótulos de doenças se seus resumos de palavras-chave satisfizerem essas definições. Documentos com strings de diagnóstico atribuídos a clusters "positivos" recebem um rótulo positivo fraco (1); aqueles atribuídos a outros clusters recebem um rótulo negativo fraco (0). Documentos sem string extraída ou com strings não agrupadas são excluídos do conjunto de treinamento de supervisão fraca.

3. Classificação de Supervisão Fraca (WLC):
   O conjunto de dados de rotulagem fraca é utilizado para treinar um classificador binário baseado em transformer. O modelo consiste no codificador adaptado ao domínio com uma camada de classificação linear adicionada sobre ele. O modelo é treinado para minimizar a perda de entropia cruzada binária contra os rótulos fracos. A entrada é a carta de alta completa (truncada para 512 tokens, se necessário), permitindo que o modelo aprenda com todo o contexto narrativo, não apenas com a seção de diagnóstico extraída.

Principais Contribuições

• Primeira Aplicação a Cartas de Alta Italianas: Este é o primeiro estudo que aborda a identificação de diagnósticos diretamente de cartas de alta hospitalar italianas utilizando uma abordagem de supervisão fraca.
• Pré-treinamento Adaptado ao Domínio: Os autores demonstram a eficácia do pré-treinamento adicional em um corpus médico multilíngue (traduzido para o italiano) para melhorar o desempenho em textos clínicos em um cenário de língua de baixos recursos.
• Agrupamento de Dois Níveis para Geração de Rótulos Fracos: O pipeline introduz um método robusto para gerar rótulos fracos através do agrupamento de strings de diagnóstico e resumo via palavras-chave, reduzindo o ruído inerente à correspondência direta de palavras-chave no texto bruto.
• Escalabilidade sem Anotação ao Nível do Documento: A abordagem elimina a necessidade de anotação manual ao nível do documento, exigindo apenas a entrada do clínico para definições de palavras-chave, o que é significativamente menos exigente do que a anotação completa.

Resultados
O pipeline foi avaliado em dois conjuntos de dados da rede Pedianet na Região do Veneto, Itália:

1. Dataset de Bronquiolite: 33.176 cartas de alta (2017–2020) com 335 casos positivos anotados manualmente.
2. Dataset de Bronquite: 3.188 cartas de alta (2020–2025) com 97 casos positivos anotados manualmente.

• Desempenho: O melhor modelo de supervisão fraca (WS-UmBERTo-TPT) alcançou um AUROC de 77,68% e um AUPRC de 73,13% no dataset de bronquiolite. Este desempenho superou os baselines não supervisionados baseados em regras e as abordagens de LLM zero-shot, aproximando-se do desempenho de modelos totalmente supervisionados treinados com rótulos de ouro (que atingiram um AUPRC de 77,57%).
• Comparação: A abordagem de supervisão fraca superou um baseline utilizando o framework XPRESS (que aplicava palavras-chave diretamente ao texto completo) e métodos padrão baseados em regras. O pré-treinamento adaptado ao domínio (TPT) melhorou consistentemente o desempenho em todos os modelos transformer.
• Robustez: O modelo demonstrou robustez às variações na seleção de clusters e apresentou uma degradação suave de desempenho quando a proporção de rótulos de ouro no treinamento era reduzida, indicando resiliência ao ruído de rótulo.
• Eficiência: O método reduziu a necessidade de anotação manual em mais de 1.500 horas para um conjunto de dados deste tamanho em comparação com uma abordagem totalmente supervisionada.

Significância e Alegações
O artigo afirma que métodos de PLN de supervisão fraca oferecem um framework prático e escalável para a identificação de doenças em cartas de alta clínica, particularmente em cenários onde a anotação manual é inviável. Os autores enfatizam que, embora exista uma lacuna modesta de desempenho (4–6% de AUPRC) em relação aos modelos totalmente supervisionados, esse compromisso é aceitável para a seleção de coortes em larga escala, onde o objetivo é identificar grupos de pacientes potencialmente relevantes, em vez de alcançar uma classificação perfeita ao nível individual.

O estudo destaca que o pipeline aprende efetivamente com todo o texto das cartas de alta, tornando-o vantajoso quando a extração automática de strings de diagnóstico falha ou quando os diagnósticos não estão explicitamente declarados na seção designada. Os autores concluem que sua abordagem fornece uma solução generalizável para o PLN clínico em italiano, reduzindo o fardo da rotulagem manual enquanto mantém um desempenho competitivo. Eles reconhecem limitações relativas ao padrão de ouro de um único anotador e ao pequeno tamanho do segundo dataset de validação, sugerindo que trabalhos futuros incluam dupla anotação e validação em datasets mais diversos e multiregionais.