Training a Large Language Model for Medical Coding Using Privacy-Preserving Synthetic Clinical Data

Probleemstelling

Medische codering (toewijzen van ICD-10-CM en CPT-codes aan klinische documentatie) is een arbeidsintensief, foutgevoelig proces dat essentieel is voor de financiële gezondheid van zorgverleners en de kwaliteit van secundaire data voor onderzoek. Hoewel Large Language Models (LLM's) veelbelovend zijn voor het begrijpen van klinische tekst, presteren basismodellen (zero-shot) slecht op deze taak. Ze genereren vaak ongeldige codes, hallucineren niet-bestaande codes en missen de nuance van complexe coderingsrichtlijnen.

Een groot obstakel voor het trainen van gespecialiseerde modellen is de privacy: het gebruik van echte patiëntendata (Protected Health Information - PHI) voor training is ethisch en juridisch problematisch. Bestaande methoden zoals de-identificatie bieden geen volledige garantie tegen heridentificatie. Er is dus behoefte aan een methode om modellen te trainen op realistische data zonder blootstelling aan echte patiëntgegevens.

Methodologie

De auteurs hebben een end-to-end pipeline ontwikkeld om een modern open-weight foundation model (Llama 3-70B) te fine-tunen voor medische codering, uitsluitend gebruikmakend van privacy-bevattende synthetische data.

1. Synthetische Data Generatie:

   • In plaats van echte aantekeningen te gebruiken, werd een gecontroleerde pipeline ontworpen om volledig synthetische klinische aantekeningen te genereren.
   • ICD-10-CM: Een tweefasenproces waarbij eerst abstracte meta-beschrijvingen van klinische structuren worden gegenereerd (zonder patiëntdetails), gevolgd door het selecteren van een "seed code" en het genereren van een klinische notitie die past bij deze code. Vervolgens worden codes en bewijslocaties automatisch gelabeld via semantische zoekopdrachten en een taalmodel.
   • CPT: Een vergelijkbaar proces voor procedurele codering, waarbij seed-codes worden gebruikt om procedurele notities te genereren. Om hallucinaties te voorkomen, worden eerst korte procedurele beschrijvingen gegenereerd die vervolgens worden gematcht met een geïndexeerde CPT-catalogus.
   • De data omvat complexe domeinen zoals "Advanced Illness" (Afwijkingen), "Frailty" (Fragiliteit) en "Social Determinants of Health" (SDoH).

2. Model Training:

   • Model: Llama 3-70B-Instruct.
   • Techniek: Supervised Fine-Tuning (SFT) op paar van klinische notities en doelcodes.
   • Output: De output is beperkt tot een vooraf gedefinieerd JSON-schema om syntactische geldigheid te garanderen. De output bevat de voorspelde code, een klinische onderbouwing en de bewijslocatie in de tekst.
   • Data Augmentatie: 30% van de dataset werd verrijkt door notities te combineren tot langere, complexere voorbeelden (multi-case reasoning).
   • Sequence Packing: Om de trainingsefficiëntie te verhogen, werden meerdere onafhankelijke notitie-code-paren samengevoegd tot één sequentie van maximaal 8.192 tokens.
   • Hardware: Getraind op 8 H200 GPU's met FP16 precisie en ZeRO-3 optimalisatie.

3. Evaluatie:

   • De prestaties werden getest op een vastgehouden set synthetische data.
   • Metrics: Exacte code-overeenstemming (F1-score), precisie, recall, en de nauwkeurigheid van de bewijslocatie (evidence localization).
   • Expert Review: Een subset van 100 synthetische charts werd beoordeeld door medische experts om de "ground truth" te valideren en de klinische relevantie te toetsen.
   • Algemene kennis: Er werd getest of de fine-tuning de algemene medische kennis van het model aantastte via standaard benchmarks (bijv. MedQA, MMLU).

Belangrijkste Resultaten

• Significante Prestatieverbetering: De fine-tuned model presteerde aanzienlijk beter dan de zero-shot baseline.
  • ICD-10-CM: De F1-score voor exacte code-overeenstemming steeg van 0,18 (zero-shot) naar 0,704.
  • CPT: De F1-score steeg van 0,193 naar 0,736.
• Robuustheid in Complexe Domeinen: Het model behaalde sterke resultaten in domeinen die complexe redenering vereisen:
  • Frailty: F1 = 0,873
  • Advanced Illness: F1 = 0,863
  • SDoH: F1 = 0,767 (iets lager, maar nog steeds aanzienlijk boven de baseline).
• Hiërarchische Stabiliteit: De prestaties daalden slechts geleidelijk naarmate de diagnose specifieker werd (van categorie-niveau tot exacte code), wat aangeeft dat het model de semantische relaties tussen diagnoses goed begrijpt.
• Behoud van Algemene Kennis: Er was geen "catastrophic forgetting". De prestaties op algemene medische vraagbaak-benchmarks daalden slechts marginaal (gemiddeld -0,029), wat aangeeft dat het model zijn algemene medische kennis behoudt.
• Expert Validatie: Bij evaluatie door experts bleek het model een hoge recall te hebben (0,86-0,93), wat betekent dat het de juiste klinische concepten identificeert. De precisie was lager (0,32-0,40), wat betekent dat het model soms extra codes genereert die niet door experts zijn goedgekeurd. Dit suggereert dat het model vooral nuttig is als assistent die kandidaat-codes suggereert, in plaats van als volledig autonoom systeem.

Bijdragen en Significantie

1. Privacy-veilige Training: Het paper demonstreert dat synthetische, beleid-bewuste data een effectieve strategie is om grote modellen te trainen voor medische codering zonder blootstelling aan echte patiëntgegevens. Dit opent de deur voor veilige iteratieve training in de gezondheidszorg.
2. Prestatie van Open-Weight Modellen: Het bewijst dat een modern open-weight model (Llama 3-70B), wanneer correct gefinetuned op synthetische data, expert-niveau prestaties kan bereiken die de zero-shot baseline ver overtreffen.
3. Praktische Toepassing: De resultaten suggereren dat deze modellen niet bedoeld zijn om menselijke coders volledig te vervangen, maar als krachtige AI-versterkte assistenten kunnen dienen. Ze kunnen de cognitieve last verminderen, ambiguïteiten signaleren en de review-tijd verkorten, terwijl de menselijke expert de uiteindelijke beslissing neemt.
4. Inzicht in Grenzen: Het paper identificeert dat prestaties het sterkst zijn bij expliciete documentatie (zoals bij Frailty) en zwakker bij impliciete informatie (zoals SDoH), wat de richting aangeeft voor toekomstige verbeteringen in contextuele redenering.

Conclusie:
De studie biedt een praktische route om medische coderingsagenten veilig en effectief te trainen. Door gebruik te maken van synthetische data kunnen organisaties de complexiteit van medische codering aanpakken zonder privacyrisico's, met als resultaat een systeem dat nauwkeurige, contextbewuste coderingsvoorstellen kan genereren voor menselijke experts.