📄 health informatics

Towards understanding the disease landscape of clinical trials in Germany: Ontology and embedding-based pipelines versus Large Language Models for ICD-10 Harmonization

Questo studio dimostra che, sebbene un'ontologia deterministica e una pipeline basata su embedding possano armonizzare parzialmente i dati eterogenei sulle condizioni delle sperimentazioni cliniche in Germania con gli standard ICD-10, i Large Language Models (specificamente GPT-4o) superano significativamente tale approccio raggiungendo un accordo quasi perfetto con la codifica esperta umana, offrendo così una soluzione superiore per l'analisi del panorama delle malattie tra i diversi registri.

Autori originali: Ndabashinze, R., Franzen, D., Kozuch, E., Aagerup, J., Fink, A., Yerunkar, S. S., Hunter, K., Mayo-Wilson, E., Ying, X., Kilicoglu, H., Schorr, S. G., Seidler, A. L.

Pubblicato 2026-08-06

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Ndabashinze, R., Franzen, D., Kozuch, E., Aagerup, J., Fink, A., Yerunkar, S. S., Hunter, K., Mayo-Wilson, E., Ying, X., Kilicoglu, H., Schorr, S. G., Seidler, A. L.

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Questa è una spiegazione generata dall'IA di un preprint non sottoposto a revisione paritaria. Non è un consiglio medico. Non prendere decisioni sulla salute basandoti su questo contenuto. Leggi il disclaimer completo

Immaginate di cercare di organizzare una biblioteca enorme dove ogni libro è scritto in una lingua diversa, usa un alfabeto diverso e, a volte, ha solo un post-it con scritto "qualcosa riguardo a una persona malata" al posto di un titolo. Questo è lo stato attuale dei dati delle sperimentazioni cliniche. Gli scienziati conducono migliaia di esperimenti per testare nuovi medicinali, ma registrano queste sperimentazioni in database diversi in tutto il mondo. Alcuni usano codici medici rigorosi, altri usano elenchi di termini medici sofisticati, e altri ancora scrivono semplicemente in inglese o tedesco comune. È come cercare di contare quante persone stiano studiando "problemi al cuore" quando un database dice "problemi cardiaci", un altro dice "disturbi cardiaci" e un terzo dice solo "ah, mi fa male il petto". Senza un modo per tradurre tutte queste diverse descrizioni in un linguaggio comune, è incredibilmente difficile avere una visione d'insieme di quali malattie stiano effettivamente studiando gli scienziati e dove si trovino le lacune.

Per risolvere questo problema, i ricercatori hanno bisogno di un traduttore. Nel mondo medico, il "linguaggio universale" per le malattie è chiamato ICD-10, un elenco gigantesco di codici che categorizza ogni condizione di salute nota. La sfida consiste nel trasformare automaticamente le descrizioni disordinate e confuse dei registri delle sperimentazioni nei corretti codici ICD-10. Per molto tempo, gli scienziati hanno cercato di costruire programmi informatici che agissero come bibliotecari severi, seguendo un libro di regole rigido per abbinare le parole ai codici. Più recentemente, un nuovo tipo di cervello informatico super intelligente chiamato Large Language Model (LLM) è entrato in scena. Questi modelli sono addestrati su enormi quantità di testo e sono bravi a comprendere il contesto e le sfumature, quasi come un essere umano capace di leggere tra le righe. La grande domanda è: questi cervelli artificiali possono fare un lavoro migliore di traduzione delle descrizioni delle sperimentazioni rispetto ai vecchi sistemi basati su regole?

Questo articolo si addentra proprio in questa domanda, costruendo una pipeline ad alta tecnologia per tradurre le desczioni delle sperimentazioni cliniche da quattro principali registri tedeschi nei codici standard ICD-10. I ricercatori hanno creato una "pipeline deterministica", che è un modo elegante per dire un processo robotico a più fasi. Per prima cosa, il robot estrae i riferimenti alle malattie. Successivamente, prova ad abbinarli utilizzando un dizionario medico rigoroso (ontologia) e un motore di ricerca intelligente che cerca significati simili (embedding). Hanno persino aggiunto una seconda versione che riclassifica le migliori ipotesi per vedere se riesce a trovare quella corretta. Ma non si sono fermati qui. Hanno anche testato un potente Large Language Model (GPT-4o), ma con un colpo di scena: hanno costretto l'IA a seguire esattamente la stessa logica passo dopo passo e le stesse regole utilizzate dagli esperti umani, solo per vedere se l'IA potesse essere un "bibliotecario" migliore del robot.

I risultati sono stati uno shock per l'approccio tradizionale. Quando hanno testato la loro pipeline robotica basata su regole contro un "gold standard" di codici scritti da esperti medici umani, il robot ha indovinato solo circa il 49% delle volte quando cercava il codice specifico di tre lettere. Era discreto nel indovinare la categoria generale (come "malattia cardiaca" rispetto a "malattia polmonare), ottenendo circa il 59% di precisione, ma faticava con i dettagli. Il robot spesso si confondeva con malattie dai nomi simili o non riusciva a trovare il codice corretto nel suo dizionario.

Tuttavia, il Large Language Model era in un campionato completamente diverso. Quando la stessa IA gli sono state date le stesse regole e lo stesso compito, ha raggiunto un'incredibile precisione del 96,7%. Era quasi perfettamente in accordo con gli esperti umani. L'articolo suggerisce che il superpotere dell'IA non sia solo conoscere i codici, ma la sua capacità di comprendere il contesto di una frase. Per esempio, se una sperimentazione menziona "diabete a esordio adulto", l'IA capisce istantaneamente che si tratta di diabete di tipo 2, mentre il robot potrebbe incastrarsi nel tentativo di abbinare le parole esatte. L'IA è inoltre riuscita ad assegnare codici plausibili a circa l'82% dei riferimenti che il robot aveva abbandonato e rifiutato.

Gli autori hanno scoperto che il fallimento principale del robot non risiedeva nel classificare i codici, ma proprio nel trovare il codice corretto fin dall'inizio. Se il codice corretto non era presente nella lista iniziale di candidati del robot, nessun numero di riclassificazione avrebbe potuto salvarlo. L'IA, invece, era molto più brava a capire quale dovrebbe essere il codice corretto, anche quando il testo era disordinato o vago. Lo studio conclude che, sebbene i vecchi sistemi basati su regole vadano bene per avere un'idea generale delle tendenze delle malattie, i Large Language Models sono i vincitori indiscussi per quanto riguarda la precisione dei dettagli. Suggeriscono che gli studi futuri che analizzano il panorama delle sperimentazioni cliniche dovrebbero utilizzare questi strumenti di IA per ottenere un quadro molto più chiaro e accurato delle malattie che vengono studiate, aiutando a garantire che gli sforzi di ricerca siano effettivamente concentrati sulle necessità di salute che contano davvero.

Sintesi Tecnica: Pipeline basate su Ontologie ed Embedding rispetto ai Large Language Models per l'armonizzazione dell'ICD-10 nei Trial Clinici Tedeschi

Problematica
I trial clinici in Germania sono registrati in molteplici sistemi eterogenei, tra cui il Registro Tedesco dei Trial Clinici (DRKS), ClinicalTrials.gov, l'EU Clinical Trials Register (EUCTR) e il Clinical Trials Information System (CTIS). Questi registri utilizzano terminologie di classificazione disparate — come ICD-10-GM, MeSH, MedDRA e descrizioni in testo libero — per registrare le condizioni di salute. Questa mancanza di standardizzazione impedisce l'analisi tra i diversi registri, limita l'interoperabilità con tassonomie globali come la Global Burden of Disease (GBD) e oscura il reale panorama delle priorità nella ricerca sulle malattie. Sebbene la codifica manuale sia possibile, è laboriosa e soggetta a variabilità tra i codificatori. Lo studio affronta la necessità di un metodo automatizzato e riproducibile per armonizzare queste diverse descrizioni di condizioni in una classificazione unificata WHO ICD-10.

Metodologia
Gli autori hanno sviluppato e valutato due approcci distinti per mappare le menzioni delle condizioni ai codici WHO ICD-10: una pipeline ibrida deterministica e un Large Language Model (LLM) vincolato alla stessa logica decisionale utilizzata dagli esperti umani.

Fonti Dati e Pre-elaborazione:
- Lo studio ha analizzato 23.061 trial interventistici affiliati alla Germania registrati tra il 2013 e il 2025.
- I campi relativi alle condizioni sono stati estratti, normalizzati (inclusa la traduzione da tedesco a inglese e la consolidazione dei sinonimi) e suddivisi in singole menzioni.
- Un metodo di collegamento gerarchico ha unito i record tra i registri utilizzando identificatori e corrispondenza dei titoli.
La Pipeline Ibrida (Approccio in Quattro Fasi):
- Fase 1 (Estrazione e Normalizzazione): Analizza i campi delle condizioni, distinguendo i termini patologici reali dalle descrizioni narrative dello studio.
- Fase 2 (Classificazione delle Menzioni): Classifica le menzioni come mappabili ICD (Tier 1: A–Q, U; Tier 2: R, S, T, O, Z) o non mappabili (Tier 3: volontari sani, studi farmacocinetici). Ciò avviene tramite un classificatore di regressione logistica elastic-net supervisionato, addestrato su etichette "silver-standard", con un override conservativo per parole chiave esplicite di malattie.
- Fase 3 (Mappatura Ontologica Deterministica): Genera codici candidati tramite percorsi UMLS:
  - DRKS: Mappatura diretta da ICD-10-GM.
  - ClinicalTrials.gov: Termini MeSH collegati a ICD-10 tramite UMLS.
  - CTIS/EUCTR: Termini MedDRA collegati tramite UMLS.
  - Fallback: Corrispondenza di stringhe Jaro-Winkler qualora i collegamenti ontologici falliscano.
- Fase 4 (Ranking Supportato da Embedding): Utilizza gli embedding di SapBERT per recuperare i primi 10 candidati ICD-10 semanticamente simili. Un punteggio di confidenza ibrido combina l'evidenza ontologica, la similarità degli embedding (SapBERT), la similarità lessicale (Jaro-Winkler) e bonus/penalità specifici (es. per match esatti, codici vaghi o allineamento all'area terapeutica). Un reranker cross-encoder (Metodo 2) è stato inoltre testato per raffinare i candidati principali.
Valutazione LLM:
- GPT-4o è stato valutato in parallelo contro un campione stratificato di 500 menzioni (incluse casi ad alta confidenza, nel range di revisione, nel range di rifiuto e casi Tier-3).
- Fondamentalmente, l'LLM non è stato chiesto di generare codici liberamente. È stato vincolato a seguire lo stesso identico processo decisionale a cascata utilizzato dai revisori umani: tentare l'assegnazione diretta, utilizzare il contesto del trial se necessario, mappare sulle categorie GBD se l'ICD-10 era impossibile, e assegnare "NO_ICD" solo come ultima risorsa.
Framework di Valutazione:
- È stato creato uno standard di riferimento (gold standard) da due revisori medici che hanno codificato indipendentemente il sottogruppo di 500 campioni (accordo inter-rater $\kappa \ge 0.70$ ).
- Le prestazioni sono state misurate in termini di accuratezza, precisione, recall, F1-score e Cohen's $\kappa$ ai livelli di tre caratteri, blocco e capitolo.
- L'analisi degli errori ha distinto tra errori all'interno della stessa famiglia (stesso dominio di malattia) e errori tra capitoli diversi.

Contributi Chiave

Sviluppo della Pipeline: La creazione di una pipeline consapevole del registro, in quattro fasi, che integra la mappatura ontologica deterministica (UMLS) con il recupero semantico basato su embedding (SapBERT) per l'armonizzazione dei dati dei trial provenienti da registri multipli.
Benchmarking Comparativo: Un rigoroso confronto testa a testa tra una complessa pipeline deterministica e un LLM vincolato (GPT-4o) utilizzando un unico standard di riferimento esperto.
Caratterizzazione degli Errori: Un'analisi dettagliata che rivela come una parte significativa degli errori della pipeline (circa il 25%) derivi da fallimenti nella generazione dei candidati (il codice corretto non è mai stato recuperato), piuttosto che da errori di ranking.
Analisi del Recupero: Dimostrazione della capacità dell'LLM di assegnare codici clinicamente plausibili a menzioni che la pipeline ha rifiutato (82,4% dei casi nel range di rifiuto) o escluso (62,8% dei casi Tier-3).

Risultati

Performance della Pipeline: La pipeline ibrida di base ha raggiunto un'accuratezza del 49,0% e un Cohen's $\kappa$ di 0,487 al livello ICD-10 a tre caratteri rispetto allo standard esperto. Le prestazioni migliorano a livelli più ampi (accuratezza del 58,7%, $\kappa$ = 0,561 al livello di capitolo). Il reranker cross-encoder (Metodo 2) ha fornito solo miglioramenti marginali.
Recall dei Candidati: Il codice corretto era presente nel set di candidati recuperati solo nel 73,7% dei casi, indicando un limite alle prestazioni dei metodi basati sul ranking se il candidato corretto è mancante.
Performance dell'LLM: L'LLM vincolato ha superato significativamente la pipeline, raggiungendo un'accuratezza del 96,7% e un Cohen's $\kappa$ di 0,966 al livello dei tre caratteri.
Adjudication (Ricorso all'Esperto): Il rapporto del 96,7% di accuratezza si riferisce ai risultati adjudicati, dove i revisori esperti hanno risolto i disaccordi iniziali tra l'LLM e lo standard di riferimento. Prima dell'adjudication, l'accuratezza grezza dell'LLM rispetto al riferimento era del 62,7% (Cohen's $\kappa$ = 0,625); dopo la revisione degli esperti di tali disaccordi, l'accuratezza è salita al 96,7%, suggerendo che molte discrepanze iniziali erano dovute ad ambiguità di fraseggio o interpretazione del contesto piuttosto che a un fallimento del modello.
Tipi di Errore: La maggior parte degli errori della pipeline è avvenuta all'interno della stessa famiglia di malattie (64,3%), mentre le misclassificazioni tra capitoli hanno rappresentato il 30,4%.

Significatività e Rivendicazioni
Il documento afferma che l'armonizzazione automatizzata dei dati sulle condizioni dei trial clinici attraverso registri eterogenei è fattibile e supporta l'uso di un quadro comune ICD-10 per le analisi tra i registri. Gli autori concludono che, mentre le pipeline di embedding e ontologia deterministiche raggiungono un accordo moderato con la codifica esperta, gli LLM vincolati a un framework decisionale strutturato raggiungono un accordo quasi perfetto (quando sottoposti a giudizio rispetto agli standard esperti).

Lo studio postula che il valore primario dei moderni LLM in questo dominio non risieda nella generazione di codici da zero, ma nel ragionamento clinico, nella disambiguazione e nella valutazione dei candidati all'interno di un set vincolato di diagnosi plausibili fornite da fonti di conoscenza esterne. I risultati suggeriscono che gli LLM possono supportare efficacemente l'analisi della distribuzione delle condizioni di salute nei trial clinici tedeschi e servire come strumento promettente per la classificazione di altre caratteristiche dei trial non standardizzate, a condizione che operino entro un framework fondato che mitighi le allucinazioni e garantisca l'allineamento con la logica di codifica stabilita.

Sintesi Tecnica: Pipeline basate su Ontologie ed Embedding rispetto ai Large Language Models per l'armonizzazione dell'ICD-10 nei Trial Clinici Tedeschi

Articoli simili