📄 health informatics

Towards understanding the disease landscape of clinical trials in Germany: Ontology and embedding-based pipelines versus Large Language Models for ICD-10 Harmonization

Este estudo demonstra que, embora uma ontologia determinística e um pipeline baseado em embeddings possam harmonizar parcialmente dados heterogêneos de condições de ensaios clínicos na Alemanha aos padrões ICD-10, os Grandes Modelos de Linguagem (especificamente o GPT-4o) superam significativamente este método ao alcançar uma concordância quase perfeita com a codificação de especialistas humanos, oferecendo, assim, uma solução superior para a análise do panorama de doenças entre registros.

Autores originais: Ndabashinze, R., Franzen, D., Kozuch, E., Aagerup, J., Fink, A., Yerunkar, S. S., Hunter, K., Mayo-Wilson, E., Ying, X., Kilicoglu, H., Schorr, S. G., Seidler, A. L.

Publicado 2026-08-06

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ndabashinze, R., Franzen, D., Kozuch, E., Aagerup, J., Fink, A., Yerunkar, S. S., Hunter, K., Mayo-Wilson, E., Ying, X., Kilicoglu, H., Schorr, S. G., Seidler, A. L.

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Esta é uma explicação gerada por IA de um preprint que não foi revisado por pares. Não é aconselhamento médico. Não tome decisões de saúde com base neste conteúdo. Ler aviso legal completo

Imagine tentar organizar uma biblioteca enorme onde cada livro é escrito em uma língua diferente, usa um alfabeto diferente e, às vezes, tem apenas um post-it dizendo "algo sobre uma pessoa doente" em vez de um título. Este é o estado atual dos dados de ensaios clínicos. Cientistas realizam milhares de experimentos para testar novos medicamentos, mas registram esses ensaios em diferentes bancos de dados ao redor do mundo. Alguns usam códigos médicos rigorosos, outros usam dicionários médicos sofisticados e alguns apenas o escrevem em inglês ou alemão comum. É como tentar contar quantas pessoas estão estudando "problemas cardíacos" quando um banco de dados diz "questões cardíacas", outro diz "problemas no coração" e um terceiro diz apenas "ai, meu peito dói". Sem uma maneira de traduzir todas essas diferentes descrições para uma linguagem comum, torna-se incrivelmente difícil ter uma visão panorâmica de quais doenças os cientistas estão realmente estudando e onde estão as lacunas.

Para resolver isso, os pesquisadores precisam de um tradutor. No mundo médico, a "linguagem universal" para doenças é chamada de CID-10, uma lista gigante de códigos que categoriza cada condição de saúde conhecida. O desafio é transformar automaticamente essas descrições bagunçadas e misturadas dos registros de ensaios clínicos nos códigos CID-10 corretos. Por muito tempo, os cientistas tentaram construir programas de computador que agem como bibliotecários rigorosos, seguindo um livro de regras rígido para combinar palavras com códigos. Mais recentemente, um novo tipo de cérebro de computador superinteligente chamado Modelo de Linguagem de Grande Escala (LLM) entrou em cena. Esses modelos são treinados em enormes quantidades de texto e são ótimos em entender contexto e nuances, quase como um humano que consegue ler nas entrelinhas. A grande questão é: será que esses cérebros de IA conseguem fazer um trabalho melhor de tradução das descrições de ensaios do que os antigos sistemas baseados em regras?

Este artigo mergulha diretamente nessa questão, construindo um pipeline de alta tecnologia para traduzir descrições de ensaios clínicos de quatro grandes registros na Alemanha para os códigos padrão CID-10. Os pesquisadores criaram um "pipeline determinístico", que é uma forma elegante de dizer um processo robótico de várias etapas. Primeiro, o robô extrai as menções de doenças. Em seguida, ele tenta combiná-las usando um dicionário médico rigoroso (ontologia) e um mecanismo de busca inteligente que procura significados semelhantes (embeddings). Eles até adicionaram uma segunda versão que reclassifica as melhores suposições para ver se consegue encontrar a correta. Mas eles não pararam por aí. Eles também testaram um poderoso Modelo de Linguagem de Grande Escala (GPT-4o), mas com um toque: forçaram a IA a seguir exatamente a mesma lógica passo a passo e as mesmas regras que especialistas humanos usam, apenas para ver se a IA poderia ser um "bibliotecário" melhor do que o robô.

Os resultados foram um choque para a abordagem tradicional. Quando testaram seu pipeline de robô baseado em regras contra um "padrão ouro" de códigos escritos por especialistas médicos humanos, o robô acertou apenas cerca de 49% das vezes ao procurar pelo código específico de três letras. Ele foi razoável ao adivinhar a categoria geral (como "doença cardíaca" vs. "doença pulmonar"), acertando cerca de 59%, mas teve dificuldades com os detalhes. O robô frequentemente se confundia com doenças de nomes semelhantes ou não conseguia encontrar o código correto em seu dicionário.

No entanto, o Modelo de Linguagem de Grande Escala estava em uma liga completamente diferente. Quando a mesma IA recebeu as mesmas regras e a mesma tarefa, ela alcançou uma precisão impressionante de 96,7%. Ela concordou com os especialistas humanos quase perfeitamente. O artigo sugere que o superpoder da IA não é apenas conhecer os códigos, mas sua capacidade de entender o contexto de uma frase. Por exemplo, se um ensaio menciona "diabetes de início na idade adulta", a IA sabe instantaneamente que isso significa diabetes tipo 2, enquanto o robô pode ficar travado tentando combinar as palavras exatas. A IA também conseguiu atribuir códigos plausíveis a cerca de 82% das menções que o robô desistiu e rejeitou.

Os autores descobriram que a principal falha do robô não estava na classificação dos códigos, mas em sequer encontrar o código certo para começar. Se o código correto não estivesse na lista inicial de candidatos do robô, nenhuma quantidade de reclassificação poderia salvá-lo. A IA, por outro lado, foi muito melhor em descobrir qual deveria ser o código correto, mesmo quando o texto era bagunçado ou vago. O estudo conclui que, embora os antigos sistemas baseados em regras sejam aceitáveis para obter uma ideia geral das tendências de doenças, os Modelos de Linguagem de Grande Escala são os vencedores claros para acertar os detalhes. Eles sugerem que estudos futuros que buscam o panorama dos ensaios clínicos devem usar essas ferramentas de IA para obter uma imagem muito mais clara e precisa do que está sendo estudado, ajudando a garantir que os esforços de pesquisa estejam realmente focados nas necessidades de saúde que mais importam.

Resumo Técnico: Pipelines Baseados em Ontologias e Embeddings versus Grandes Modelos de Linguagem para Harmonização de CID-10 em Ensaios Clínicos Alemães

Definição do Problema
Os ensaios clínicos na Alemanha estão registrados em múltiplos sistemas heterogêneos, incluindo o Registro Alemão de Ensaios Clínicos (DRKS), ClinicalTrials.gov, o Registro de Ensaios Clínicos da UE (EUCTR) e o Sistema de Informação de Ensaios Clínicos (CTIS). Esses registros utilizam terminologias de classificação díspares — como CID-10-GM, MeSH, MedDRA e descrições de texto livre — para registrar condições de saúde. Essa falta de padronização impede a análise entre registros, limita a interoperabilidade com taxonomias globais como a Carga Global de Doenças (GBD) e obscurece o verdadeiro panorama das prioridades de pesquisa em doenças. Embora a codificação manual seja possível, ela é trabalhosa e propensa à variabilidade entre codificadores. O estudo aborda a necessidade de um método automatizado e reprodutível para harmonizar essas diversas descrições de condições em uma classificação unificada da OMS CID-10.

Metodologia
Os autores desenvolveram e avaliaram duas abordagens distintas para mapear menções de condições para códigos CID-10 da OMS: um pipeline híbrido determinístico e um Grande Modelo de Linguagem (LLM) restringido pela mesma lógica de decisão utilizada por especialistas humanos.

Fontes de Dados e Pré-processamento:
- O estudo analisou 23.061 ensaios intervencionais afiliados à Alemanha registrados entre 2013 e 2025.
- Os campos de condição foram extraídos, normalizados (incluindo tradução de alemão para inglês e consolidação de sinônimos) e divididos em menções individuais.
- Um método de vinculação hierárquica fundiu os registros entre os registros usando identificadores e correspondência de títulos.
O Pipeline Híbrido (Abordagem de Quatro Estágios):
- Estágio 1 (Extração e Normalização): Analisa os campos de condição, distinguindo termos de doenças reais de descrições narrativas do estudo.
- Estágio 2 (Classificação de Menções): Classifica as menções como mapeáveis para CID (Nível 1: A–Q, U; Nível 2: R, S, T, O, Z) ou não mapeáveis (Nível 3: voluntários saudáveis, estudos farmacocinéticos). Isso utiliza um classificador de regressão logística de elastic-net supervisionado, treinado com rótulos de padrão-prata (silver-standard), com uma sobreposição conservadora para palavras-chave de doenças explícitas.
- Estágio 3 (Mapeamento de Ontologia Determinística): Gera códigos candidatos via caminhos UMLS:
  - DRKS: Mapeamento direto de ICD-10-GM.
  - ClinicalTrials.gov: Termos MeSH vinculados ao CID-10 via UMLS.
  - CTIS/EUCTR: Termos MedDRA vinculados via UMLS.
  - Fallback: Correspondência de string Jaro-Winkler caso os vínculos de ontologia falhem.
- Estágio 4 (Ranking Suportado por Embeddings): Utiliza embeddings SapBERT para recuperar os 10 principais candidatos semanticamente similares ao CID-10. Um score de confiança híbrido combina evidência de ontologia, similaridade de embedding (SapBERT), similaridade lexical (Jaro-Winkler) e bônus/penalidades específicas (ex: para correspondências exatas, códigos vagos ou alinhamento de área terapêutica). Um reclassificador cross-encoder (Método 2) também foi testado para refinar os principais candidatos.
Avaliação de LLM:
- O GPT-4o foi avaliado em paralelo contra uma amostra estratificada de 500 menções (incluindo casos de alta confiança, de banda de revisão, de banda de rejeição e de Nível 3).
- Crucialmente, o LLM não foi solicitado a gerar códigos livremente. Ele foi restringido a seguir a mesma cascata de decisão usada pelos revisores humanos: tentar a atribuição direta, usar o contexto do ensaio se necessário, mapear para categorias GBD se o CID-10 fosse impossível, e atribuir "NO_ICD" apenas como último recurso.
Estrutura de Avaliação:
- Um padrão-ouro foi criado por dois revisores médicos codificando independentemente o subconjunto de 500 amostras (acordo inter-avaliador $\kappa \ge 0,70$ ).
- O desempenho foi medido através de acurácia, precisão, recall, F1-score e o coeficiente de Cohen $\kappa$ nos níveis de três caracteres, bloco e capítulo.
- A análise de erro distinguiu entre erros dentro da mesma família (mesmo domínio de doença) e erros entre capítulos.

Principais Contribuições

Desenvolvimento de Pipeline: A criação de um pipeline de quatro estágios ciente dos registros que integra mapeamento de ontologia determinística (UMLS) com recuperação semântica baseada em embeddings (SapBERT) para harmonizar dados de ensaios de múltiplos registros.
Benchmarking Comparativo: Uma comparação rigorosa frente a frente de um pipeline determinístico complexo contra um LLM restrito (GPT-4o) utilizando um padrão de referência de especialista unificado.
Caracterização de Erros: Análise detalhada revelando que uma parte significativa dos erros do pipeline (aprox. 25%) decorre de falhas na geração de candidatos (o código correto nunca foi recuperado), e não de erros de ranking.
Análise de Recuperação: Demonstração da capacidade do LLM de atribuir códigos clinicamente plausíveis a menções que o pipeline rejeitou (82,4% das menções da banda de rejeição) ou excluiu (62,8% das menções de Nível 3).

Resultos

Desempenho do Pipeline: O pipeline híbrido de base alcançou 49,0% de acurácia e um Cohen $\kappa$ de 0,487 no nível de três caracteres do CID-10 contra o padrão de especialista. O desempenho melhorou em níveis mais amplos (58,7% de acurácia, $\kappa$ = 0,561 no nível de capítulo). O reclassificador cross-encoder (Método 2) proporcionou apenas melhorias marginais.
Recall de Candidatos: O código correto estava presente no conjunto de candidatos recuperados em apenas 73,7% dos casos, indicando um teto de desempenho para métodos baseados em ranking se o candidato correto estiver ausente.
Desempenho do LLM: O LLM restrito superou significativamente o pipeline, alcançando 96,7% de acurácia e um Cohen $\kappa$ de 0,966 no nível de três caracteres.
Adjudicação: A acurácia reportada de 96,7% reflete resultados adjudicados, onde revisores especialistas resolveram as discrepâncias iniciais entre o LLM e o padrão de referência. Antes da adjudicação, a acurácia bruta do LLM contra a referência era de 62,7% (Cohen $\kappa$ = 0,625); após a revisão especializada dessas discrepâncias, a acurácia subiu para 96,7%, sugerindo que muitas discrepâncias iniciais eram devidas a frases ambíguas ou interpretação de contexto, em vez de falha do modelo.
Tipos de Erro: A maioria dos erros do pipeline ocorreu dentro da mesma família de doenças (64,3%), enquanto erros entre capítulos representaram 30,4%.

Significância e Alegações
O artigo afirma que a harmonização automatizada de dados de condições de ensaios clínicos através de registros heterogêneos é viável e apoia o uso de um framework comum de CID-10 para análises entre registros. Os autores concluem que, embora pipelines de embeddings e ontologias determinísticas alcancem concordância moderada com a codificação de especialistas, LLMs restritos a um framework de decisão estruturado alcançam concordância quase perfeita (quando adjudicados contra padrões de especialistas).

O estudo postula que o principal valor dos LLMs modernos neste domínio não reside na geração de códigos do zero, mas no raciocínio clínico, desambiguação e avaliação de candidatos dentro de um conjunto restrito de diagnósticos plausíveis fornecidos por fontes de conhecimento externas. As descobertas sugerem que os LLMs podem apoiar efetivamente a análise da distribuição de condições de saúde em ensaios clínicos alemães e servir como uma ferramenta promissora para classificar outras características de ensaios não padronizadas, desde que operem dentro de um framework fundamentado que mitigue alucinações e garanta o alinhamento com a lógica de codificação estabelecida.

Resumo Técnico: Pipelines Baseados em Ontologias e Embeddings versus Grandes Modelos de Linguagem para Harmonização de CID-10 em Ensaios Clínicos Alemães

Mais como este