Towards understanding the disease landscape of clinical trials in Germany: Ontology and embedding-based pipelines versus Large Language Models for ICD-10 Harmonization

Technische Samenvatting: Ontologie- en embedding-gebaseerde pipelines versus Large Language Models voor ICD-10-harmonisatie in Duitse klinische trials

Probleemstelling
Klinische trials in Duitsland worden geregistreerd in diverse heterogene systemen, waaronder het Duitse register voor klinische trials (DRKS), ClinicalTrials.gov, het EU Clinical Trials Register (EUCTR) en het Clinical Trials Information System (CTIS). Deze registers maken gebruik van uiteenlopende classificatietermenologieën—zoals ICD-10-GM, MeSH, MedDRA en vrije tekstbeschrijvingen—om gezondheidstoestanden te registreren. Dit gebrek aan standaardisatie belemmert cross-registry analyse, beperkt de interoperabiliteit met globale taxonomieën zoals de Global Burden of Disease (GBD) en vertroebelt het werkelijke landschap van prioriteiten in ziekteresearch. Hoewel handmatige codering mogelijk is, is dit arbeidsintensief en gevoelig voor variabiliteit tussen codeurs. De studie adresseert de behoefte aan een geautomatiseerde, reproduceerbare methode om deze diverse beschrijvingen van condities te harmoniseren naar een uniforme WHO ICD-10-classificatie.

Methodologie
De auteurs ontwikkelden en evalueerden twee verschillende benaderingen voor het mappen van vermeldingen van condities naar WHO ICD-10-codes: een deterministische hybride pipeline en een Large Language Model (LLM) dat wordt beperkt door dezelfde beslissingslogica die door menselijke experts wordt gebruikt.

1. Databronnen en Preprocessing:

   • De studie analyseerde 23.061 Duits-geaffilieerde interventionele trials geregistreerd tussen 2013 en 2025.
   • Veldgegevens van condities werden geëxtraheerd, genormaliseerd (inclusclusief Duits-naar-Engels vertaling en synoniemconsolidatie) en opgesplitst in individuele vermeldingen.
   • Een hiërarchische koppelingmethode voegde records uit verschillende registers samen met behulp van identificatoren en titel-matching.

2. De Hybride Pipeline (Vierfasen-aanpak):

   • Fase 1 (Extractie & Normalisatie): Parseert velden van condities en maakt onderscheid tussen daadwerkelijke ziekte termen en narratieve studiedeskripties.
   • Fase 2 (Classificatie van vermeldingen): Classificeert vermeldingen als ICD-mappable (Tier 1: A–Q, U; Tier 2: R, S, T, O, Z) of niet-mappable (Tier 3: gezonde vrijwilligers, farmacokinetische studies). Dit gebeurt via een gesuperviseerde elastic-net logistische regressie-classifier getraind op silver-standard labels, met een conservatieve override voor expliciete ziekte-keywords.
   • Fase 3 (Deterministische Ontologie Mapping): Genereert kandidaat-codes via UMLS-paden:
     • DRKS: Directe mapping vanuit ICD-10-GM.
     • ClinicalTrials.gov: MeSH-termen gekoppeld aan ICD-10 via UMLS.
     • CTIS/EUCTR: MedDRA-termen gekoppeld via UMLS.
     • Fallback: Jaro-Winkler string matching indien de ontologie-koppelingen falen.
   • Fase 4 (Embedding-ondersteunde Ranking): Gebruikt SapBERT embeddings om de top-10 semantisch gelijkaardige ICD-10 kandidaten op te halen. Een hybride betrouwbaarheidsscore combineert ontologie-bewijs, embedding-gelijkenis (SapBERT), lexicale gelijkenis (Jaro-Winkler) en specifieke bonussen/straffen (bijv. voor exacte matches, vage codes of therapeutische gebied-alignement). Een cross-encoder reranker (Methode 2) werd ook getest om top-kandidaten te verfijnen.

3. LLM Evaluatie:

   • GPT-4o werd parallel geëvalueerd tegen een gestratificeerde steekproef van 500 vermeldingen (inclusief high-confidence, review-band, reject-band en Tier-3 gevallen).
   • Cruciaal was dat het LLM niet werd gevraagd om vrijelijk codes te genereren. Het werd beperkt om de exacte beslissingscascade te volgen als menselijke reviewers: proberen tot directe toewijzing, het gebruik van de trial-context indien nodig, mappen naar GBD-categorieën indien ICD-10 onmogelijk was, en het toewijzen van "NO_ICD" alleen als uiterste redmiddel.

4. Evaluatiekader:

   • Een gold standard werd gecreëerd door twee medische reviewers die onafhankelijk van elkaar 500 vermeldingen codeerden (inter-rater overeenstemming $\kappa \ge 0,70$).
   • Prestaties werden gemeten aan de hand van accuratesse, precisie, recall, F1-score en Cohen's $\kappa$ op het niveau van drie tekens, blokken en hoofdstukken.
   • Foutanalyse maakte onderscheid tussen fouten binnen dezelfde familie (within-family errors) en fouten tussen verschillende hoofdstukken (cross-chapter errors).

Belangrijkste Bijdragen

• Pipeline Ontwikkeling: De creatie van een registry-bewuste, vierfasen pipeline die deterministische ontologie-mapping (UMLS) integreert met embedding-gebaseerde semantische retrieval (SapBERT) voor het harmoniseren van multi-register trial data.
• Vergelijkende Benchmarking: Een rigoureuze head-to-head vergelijking van een complexe deterministische pipeline tegen een beperkt LLM (GPT-4o) met behulp van een uniforme expert referentiestandaard.
• Foutkarakterisering: Gedetailleerde analyse die aantoont dat een aanzienlijk deel van de pipeline-fouten (ca. 25%) voortkomt uit fouten in de kandidaat-generatie (de juiste code werd nooit opgehaald), in plaats van ranking-fouten.
• Herstelanalyse: Demonstratie van het vermogen van het LLM om klinisch plausibele codes toe te wijzen aan vermeldingen die de pipeline afwees (82,4% van de reject-band vermeldingen) of uitsloot (62,8% van de Tier-3 vermeldingen).

Resultaten

• Pipeline Prestaties: De baseline hybride pipeline behaalde een accuratesse van 49,0% en een Cohen's $\kappa$ van 0,487 op het niveau van drie tekens van de ICD-10 tegenover de expertstandaard. De prestaties verbeterden op bredere niveaus (58,7% accuratesse, $\kappa$ = 0,561 op hoofdstukniveau). De cross-encoder reranker (Methode 2) leverde slechts marginale verbeteringen op.
• Kandidaat Recall: De correcte code was aanwezig in de opgehaalde kandidaat-set in slechts 73,7% van de gevallen, wat duidt op een plafond voor de prestaties van ranking-gebaseerde methoden wanneer de juiste kandidaat ontbreekt.
• LLM Prestaties: Het beperkte LLM presteerde significant beter dan de pipeline, met een accuratesse van 96,7% en een Cohen's $\kappa$ van 0,966 op het niveau van drie tekens.
• Adjudicatie: De gerapporteerde 96,7% accuratesse reflecteert geadjudiceerde resultaten waarbij expert-reviewers de initiële onenigheid tussen het LLM en de referentiestandaard hebben opgelost. Vóór adjudicatie was de ruwe accuratesse van het LLM tegenover de referentie 62,7% (Cohen's $\kappa$ = 0,625); na expert-review van deze onenigheden steeg de accuratesse naar 96,7%, wat suggereert dat veel initiële discrepanties te wijten waren aan ambigue formulering of contextinterpretatie in plaats van model-falen.
• Fouttypen: De meeste pipeline-fouten waren binnen dezelfde ziektefamilie (64,3%), terwijl cross-chapter misclassificaties 30,4% accounteerden.

Betekenis en Claims
Het artikel claimt dat automatische harmonisatie van klinische trial conditie-data over heterogene registers heen haalbaar is en het gebruik van een gemeenschappelijk ICD-10 framework ondersteunt voor cross-registry analyses. De auteurs concluderen dat hoewel deterministische ontologie en embedding pipelines een matige overeenstemming bereiken met menselijke codering, LLM's die beperkt zijn tot een gestructureerd beslissingskader een bijna perfecte overeenstemming bereiken (wanneer geadjudiceerd tegen expertstandaarden).

De studie stelt dat de primaire waarde van moderne LLM's in dit domein niet ligt in het genereren van codes vanaf nul, maar in klinische redenering, disambiguatie en kandidaat-evaluatie binnen een beperkt pakket van plausibele diagnoses geleverd door externe kennisbronnen. De bevindingen suggereren dat LLM's effectief kunnen ondersteunen bij de analyse van de distributie van gezondheidstoestanden in Duitse klinische trials en kunnen dienen als een veelbelovend instrument voor het classificeren van andere niet-gestandaardiseerde trial-kenmerken, mits ze opereren binnen een gefundeerd kader dat hallucinatie minimaliseert en alignment met gevestigde coding-logica waarborgt.