A medical coding language model trained on clinical narratives from a population-wide cohort of 1.8 million patients

Dit artikel beschrijft een op 1,8 miljoen patiënten getraind taalmodel dat ICD-10-codes voorspelt uit klinische data en niet alleen een hoge nauwkeurigheid bereikt, maar ook systematische ondercodering van secundaire aandoeningen in Deense gezondheidsgegevens blootlegt.

De kern

Stel je voor dat een ziekenhuis een enorme bibliotheek is. Elke patiënt die binnenkomt, laat een verhaal achter: wat ze voelen, welke medicijnen ze nemen, en wat de artsen denken dat er aan de hand is. Maar in plaats van dit verhaal gewoon op te slaan, moeten medisch coders dit vertalen naar een heel specifiek alfabet van cijfers en letters (de ICD-codes). Dit is nodig om te weten hoeveel geld het ziekenhuis krijgt, om ziektes te tellen, en om te onderzoeken of er een nieuwe epidemie opkomt.

Het probleem? Dit vertalen is als het zoeken naar een naald in een hooiberg, maar dan voor elke patiënt. Het duurt lang, is saai, en mensen maken fouten. Soms vergeten ze belangrijke details, of schrijven ze het niet op omdat ze haast hebben.

Wat hebben deze onderzoekers gedaan?
Ze hebben een slimme computer (een 'taalmodel') getraind om dit vertaalwerk te doen. Maar ze hebben geen klein proefje gedaan. Ze hebben de computer laten leren van 5,8 miljoen medische dossiers van 1,8 miljoen mensen in Oost-Denemarken. Dat is alsof je een student laat leren door alle boeken van een hele grote bibliotheek in één keer te laten lezen, in plaats van slechts één hoofdstuk.

Wat kwam er uit?

1. De computer is een snelle en slimme assistent:
   De computer kon in de helft van de gevallen het werk van de mens volledig overnemen. In de andere gevallen stelde hij de juiste codes voor in zijn 'top 10'. Stel je voor dat je in een grote winkel moet zoeken naar een specifieke sok. In plaats van door alle 10.000 sokken te zoeken, geeft de computer je een mandje met de 10 meest waarschijnlijke sokken. De kans dat je de juiste erin vindt, is 95%. Dat bespaart enorm veel tijd.

2. De verrassende ontdekking: De mens vergeten meer dan de computer:
   Dit is het meest interessante deel. De computer deed het soms 'slecht' in vergelijking met de menselijke coder. Maar toen de onderzoekers die gevallen onder de loep namen, bleek dat de computer vaak gelijk had en de mens onjuist had gekozen.

   • De Analogie van de Vergeten Bijbel: Stel je voor dat je een verslag maakt van een feestje. Je schrijft op dat er een grote taart was (de hoofdzakelijke reden van het feest), maar je vergeet te schrijven dat er ook een heel mooi bloemetje op de tafel stond (een secundaire reden). De computer zag het bloemetje wel, maar omdat de mens het niet had opgeschreven, dacht de computer: "Oh, bloemetjes horen hier niet bij."

   In de praktijk bleek dat artsen en secretaresses vaak vergeten om 'bijzaken' (zoals overgewicht, hoge bloeddruk of suïcidale gedachten) op te schrijven als ze al een hoofdzakelijke diagnose hadden. Omdat de computer dit leerde van de menselijke verslagen, leerde hij ook dat deze dingen "niet belangrijk" waren. Maar toen ze de computer een beetje anders instelden, bleek dat hij deze vergeten details wel degelijk kon zien in de medische tekst.

3. Waarom is dit belangrijk?
   Als we niet weten dat er veel mensen met hoge bloeddruk of suïcidale gedachten zijn, kunnen we geen goede plannen maken om hen te helpen. Het is alsof je een brandbestrijdingsplan maakt, maar vergeet te tellen hoeveel brandblussers er in de stad staan omdat niemand ze heeft geregistreerd.

   De computer kan dus helpen als een 'veiligheidsnet'. Hij kan zeggen: "Hey, ik zag dat deze patiënt veel pijnstillers nam en over zelfmoord sprak. Misschien moeten we dat ook opschrijven?" Hierdoor wordt de medische geschiedenis completer, zonder dat de arts extra tijd hoeft te steken.

Conclusie in het kort:
Deze studie toont aan dat een slimme computer medische diagnoses heel goed kan voorspellen, zelfs bij complexe gevallen. Maar de echte les is dat de computer ons een spiegel voorhoudt: hij laat zien dat we als menselijke zorgverleners soms te veel haast hebben om alles op te schrijven. Door de computer als assistent te gebruiken, kunnen we zorgen dat de 'vergeten' ziektes toch worden geregistreerd, wat beter is voor de gezondheid van de hele samenleving.

Technische samenvatting

Titel

Een medisch coderings-taalmodel getraind op klinische narratieven van een bevolkingsbrede cohort van 1,8 miljoen patiënten.

1. Het Probleem

Medische codering (het vertalen van klinische documentatie naar gestandaardiseerde ICD-codes) is essentieel voor facturatie, onderzoek en volksgezondheidsmonitoring. Echter, het huidige proces is:

• Tijdrovend en handmatig: Codering duurt gemiddeld 7-30 minuten per geval.
• Foutgevoelig: De nauwkeurigheid van primaire diagnoses ligt rond de 80%, met aanzienlijke variatie.
• Beperkt door bestaande AI-onderzoek: Bestaande machine learning-modellen worden vaak getraind op kleine, gespecialiseerde datasets (zoals MIMIC-III/IV), die de real-world heterogeniteit van patiënten, met name multimorbiditeit (meerdere gelijktijdige aandoeningen), slecht representeren.
• Systeematische ondercodering: Er is een vermoeden dat secundaire diagnoses systematisch niet worden geregistreerd door menselijke coders, wat leidt tot onvolledige data voor epidemiologisch onderzoek.

2. Methodologie

De auteurs hebben een taalmodel getraind en geëvalueerd op een ongeëvenaard groot dataset.

• Dataset:
  • Omvang: 5,8 miljoen elektronische gezondheidsdossiers (EHR) van 1,8 miljoen patiënten.
  • Bron: Oost-Denemarken (Regio Seeland en Hoofdstad), periode 2006–2016.
  • Dekking: Alle medische specialiteiten, met uitzondering van volwassen psychiatrie (vanwege lengte van documentatie).
  • Input: Klinische notities, medicatie en laboratoriumresultaten.
  • Output: Voorspelling van ICD-10 diagnosecodes (niveau 3 en niveau 5).
• Model Architectuur:
  • Gebruik van PLM-CA (Pre-trained Language Model with Cross-Attention).
  • Basis: Een op Deense tekst getrainde BERT-variant.
  • Mechanisme: De model encodeert token-embeddings en gebruikt een label-wise attention layer om een betrouwbaarheidsscore (0-1) te genereren voor elke ICD-10 code.
• Evaluatiestrategie:
  • Opdeling in trainingsset (1,8 mln), validatieset (5.000) en testset (270.000).
  • Metrieken: Micro- en Macro-F1-scores, Exact Match Ratio, Recall@K (K=5, 10, 15), en Mean Average Precision (MAP).
  • Validatie: Handmatige validatie van een subset van gevallen waarbij het model en menselijke coders het oneens waren, met behulp van AttInGrad (Attention Input Gradients) voor uitlegbaarheid.

3. Belangrijkste Resultaten

• Schalingswinst: Modelprestaties verbeteren consistent met de grootte van de trainingsset.
  • F1-micro steeg van 59,9% (bij 50k patiënten) naar 71,8% (bij 1,8 miljoen patiënten).
  • F1-macro steeg van 25,6% naar 47,3%, wat aantoont dat grotere datasets het model beter laten presteren op zeldzame ziektes en multimorbiditeit.
• Algemene Prestaties:
  • Exact Match Ratio: 54,6% (het model en mens zijn het in meer dan de helft van de gevallen volledig eens).
  • Recall@10: 95,5%. Dit betekent dat de door mensen toegekende code in 95,5% van de gevallen voorkomt in de top-10 suggesties van het model.
• Variatie per Specialiteit:
  • Prestaties variëren sterk: van 91% (klinische neurofysiologie, gestructureerde workflows) tot 53% (kinder- en jeugdpsychiatrie, complexe diagnoseprocessen).
  • Specialiteiten met veel multimorbiditeit (bijv. geriatrie, nefrologie) scoren lager.
• Het "Secundaire Diagnose"-Paradox:
  • Codes die voornamelijk als secundaire diagnose voorkomen, hebben aanzienlijk lagere F1-scores dan primaire diagnoses.
  • Cruciaal inzicht: Bij diepgaande analyse van drie specifieke secundaire diagnoses (suïcidale gedragingen, gewichtsstoornissen, hypertensie) bleek dat het model vaak juist was, terwijl menselijke coders de codes hadden gemist.
  • Validatie: Bij handmatige controle van door het model geïdentificeerde maar niet door mensen gecodeerde gevallen bleek 76–86% van deze gevallen klinisch relevant en had het een code verdiend.
  • Conclusie: De lage scores voor secundaire diagnoses worden niet veroorzaakt door fouten in het model, maar door systematische ondercodering in de trainingsdata door menselijke coders.

4. Bijdragen en Innovatie

1. Grootste Evaluatie tot Nu Toe: Dit is de meest uitgebreide evaluatie van geautomatiseerde medische codering, gebaseerd op een bevolkingsbrede cohort in plaats van een enkel ziekenhuis of ICU.
2. Ontmaskering van Data Bias: Het artikel identificeert en kwantificeert systematische ondercodering van secundaire diagnoses in de Deense gezondheidszorg, veroorzaakt door vergoedingsstructuren en tijdsdruk.
3. Validatie van AI als "Second Opinion": Het bewijs dat AI-systemen niet alleen fouten kunnen maken, maar ook menselijke fouten (weglaten van codes) kunnen detecteren, wat leidt tot completere medische dossiers.
4. Uitlegbaarheid (Explainability): Gebruik van AttInGrad om te tonen dat het model de juiste klinische termen herkent, maar door de trainingsdata wordt "afgeremd" om een hoge score te geven voor ondergecodeerde aandoeningen.

5. Betekenis en Implicaties

• Voor de Praktijk: Het model kan de coderingsworkflow verbeteren door voor ongeveer 50% van de gevallen volledige automatisatie mogelijk te maken en voor de rest een korte lijst met suggesties te bieden. Dit verlaagt de cognitieve last en tijdsinvestering voor coders.
• Voor de Volksgezondheid: Door secundaire diagnoses (zoals suïcidepogingen of hypertensie) beter te detecteren, kan de kwaliteit van epidemiologisch onderzoek en volksgezondheidsmonitoring aanzienlijk verbeteren. Het lost het probleem op van "onzichtbare" epidemieën door onvolledige data.
• Uitdagingen: De resultaten tonen aan dat AI-systemen leren van imperfecte data die wordt gevormd door beleidsregels (vergoedingen). Zonder verbetering van de onderliggende documentatiepraktijken blijven bepaalde biases bestaan.
• Toekomst: De studie suggereert dat geautomatiseerde systemen een praktische oplossing bieden om secundaire aandoeningen te vangen zonder extra werkdruk, mits de systemen correct worden gekalibreerd (bijv. door drempelwaarden aan te passen voor secundaire diagnoses).

Conclusie:
De studie toont aan dat taalmodellen getraind op grote, real-world datasets zeer krachtig zijn voor medische codering. Het belangrijkste inzicht is echter dat de beperkingen van het model vaak een reflectie zijn van tekortkomingen in de menselijke documentatie en vergoedingsstructuren, en niet per se van de AI zelf. Door deze systemen in te zetten, kan de volledigheid van medische dossiers worden verbeterd.