Evaluation and LLM-Guided Learning of ICD Coding Rationales

Dit artikel introduceert een systematische evaluatie van ICD-codering-rationales op basis van trouw en plausibiliteit, presenteert een nieuw dataset met multi-granulaire annotaties, en toont aan dat het gebruik van door LLM's gegenereerde rationales als distant supervision leidt tot verbeterde plausibiliteit in zowel de LLM als studentmodellen.

De kern

Stel je voor dat een ziekenhuis een enorme berg medische dossiers heeft. Elke dag schrijven artsen lange, rommelige verhalen over patiënten: "De patiënt had last van pijn op de borst, hij rookte, en we hebben een ECG gedaan..."

Om deze dossiers bruikbaar te maken voor verzekeringen, statistieken en zorgplanning, moeten deze verhalen worden omgezet in korte, standaardcodes (zoals ICD-10 codes). Dit is als het vertalen van een lang verhaal naar een stempel met een cijfercombinatie.

Vroeger deden mensen dit handmatig. Dat is duur, tijdrovend en foutgevoelig. Dus hebben we slimme computers (AI) gebouwd om dit te doen. Maar hier zit een probleem: deze computers zijn "zwarte dozen". Ze geven je het juiste cijfer, maar ze zeggen niet waarom. Ze zeggen niet: "Ik gaf code X omdat de patiënt 'pijn op de borst' schreef." Ze zeggen alleen: "Het is code X."

In de medische wereld is vertrouwen cruciaal. Een arts wil niet blindelings vertrouwen op een computer die zegt "dit is hartfalen" zonder te kunnen zien op welke zin in het dossier die conclusie gebaseerd is.

Dit artikel van Mingyang Li en zijn team lost precies dat probleem op. Hier is hoe ze dat doen, vertaald in alledaags taal:

1. Het Ontbrekende Puzzelstukje: Een Nieuwe "Antwoordenboek"

Vroeger hadden onderzoekers geen goede manier om te testen of de uitleg van de AI wel klopte. Ze gebruikten oude datasets die niet meer up-to-date waren (zoals een oude telefoonlijst in plaats van een moderne app).

De oplossing: Het team heeft een nieuw, modern "antwoordenboek" gemaakt (een dataset genaamd RD-IV-10).

• De analogie: Stel je voor dat je een schooltoets maakt. Je hebt een antwoordboekje nodig om te zien of de leerling het goed heeft. Vroeger gebruikten ze een antwoordboekje uit 1990 voor een examen in 2025. Dat gaf verkeerde resultaten.
• Wat ze deden: Ze hebben medische experts ingehuurd om 150 dossiers handmatig te bekijken en de precieze zinnen aan te strepen die de reden zijn voor een bepaalde diagnose. Dit is hun "gouden standaard".

2. Drie Manieren om te "Uitleggen" (En welke werkt?)

Het team heeft gekeken naar drie verschillende manieren waarop computers hun redenering kunnen geven:

1. De "Aandacht-Techniek" (De oude manier): De computer kijkt naar welke woorden hij vaak "aankeek" tijdens het rekenen.

   • Analogie: Alsof een student een proefwerk maakt en de docent zegt: "Kijk, hij keek vaak naar het woord 'koorts', dus dat moet de reden zijn."
   • Resultaat: Vaak werkt dit niet. De computer kijkt naar het woord, maar dat betekent niet dat het de echte reden is. Het is alsof iemand naar een woord kijkt, maar het niet begrijpt.

2. De "Woordenzoeker" (Naive Entity Linking): De computer zoekt gewoon naar bekende ziektenamen in de tekst.

   • Analogie: Een robot die zoekt naar het woord "diabetes" en zegt: "Ah, daar staat diabetes, dus dat is de reden!"
   • Resultaat: Dit is beter dan niets, maar vaak te simpel. Het mist nuance.

3. De "Slimme Vertaler" (LLM - Large Language Models): Ze hebben een zeer slimme AI (zoals een super-geavanceerde chatbot) gevraagd om de tekst te lezen en in mensentaal uit te leggen: "Welke zinnen bewijzen dat deze patiënt diabetes heeft?"

   • Analogie: Je geeft de tekst aan een ervaren arts-assistent en vraagt: "Leg uit waarom dit een diabetes-patiënt is." Deze assistent pakt de zinnen eruit die echt relevant zijn.
   • Resultaat: Dit was de winnaar. De uitleg van deze slimme AI leek het meest op wat een menselijke arts zou zeggen.

3. De Leerling en de Meester (LLM-Guided Learning)

Nu ze zagen dat de "Slimme Vertaler" (de AI) zo goed was in het vinden van de juiste zinnen, dachten ze: "Laten we die slimme AI gebruiken om een andere, kleinere computer te leren!"

• De methode: Ze lieten de slimme AI duizenden voorbeelden maken van "goede uitleg". Daarna trainden ze een nieuwe, kleinere computermodel op die voorbeelden.
• Het effect: De nieuwe computer leerde niet alleen de diagnose te stellen, maar ook hoe hij die diagnose moest onderbouwen met de juiste zinnen.
• De "Few-shot" truc: Ze gaven de slimme AI ook een paar voorbeelden van echte menselijke uitleg (uit hun nieuwe dataset) om te laten zien hoe het moet. Dit maakte de uitleg van de AI nog menselijker en overtuigender.

Waarom is dit belangrijk?

Stel je voor dat je een auto koopt.

• Zonder uitleg: De verkoper zegt: "Deze auto is veilig." (Je gelooft het misschien niet).
• Met slechte uitleg: De verkoper zegt: "Deze auto is veilig omdat er een wiel aan zit." (Dat is waar, maar irrelevant).
• Met goede uitleg (wat dit artikel doet): De verkoper zegt: "Deze auto is veilig omdat hij airbags heeft, een ABS-systeem en een hoge crashtest-score."

Dit onderzoek zorgt ervoor dat onze medische AI's niet alleen de juiste diagnose geven, maar ook kunnen uitleggen waarom, op een manier die voor mensen (artsen en patiënten) logisch en betrouwbaar is. Ze hebben de "zwarte doos" opengebroken en laten zien wat er binnenin gebeurt.

Kortom: Ze hebben een nieuwe, moderne handleiding gemaakt, getest welke manier van uitleggen het beste werkt (en het was de slimme AI), en die slimme AI gebruikt om andere computers te leren hoe ze hun werk eerlijk en duidelijk moeten uitleggen.

Technische samenvatting

Probleemstelling

De codering van medische diagnoses en procedures volgens het International Classification of Diseases (ICD)-systeem is cruciaal voor facturatie, auditing en besluitvorming in de gezondheidszorg. Hoewel moderne deep learning-modellen (zoals transformers) de nauwkeurigheid van deze codering hebben verbeterd, ontbreekt vaak uitlegbaarheid (explainability). Bestaande methoden vertrouwen voornamelijk op attention-mechanismen om "rationales" (tekstfragmenten die de beslissing onderbouwen) te genereren. Er zijn echter drie belangrijke lacunes in het huidige onderzoek:

1. Gebrek aan specifieke datasets: Er is geen uitgebreide dataset met menselijk geannoteerde rationales die specifiek is opgezet voor ICD-codering op basis van moderne bronnen (zoals MIMIC-IV en ICD-10). Bestaande bronnen zoals MDACE zijn gebaseerd op verouderde data (MIMIC-III/ICD-9) en vertonen significante distributieveranderingen.
2. Beperkte evaluatie van rationale-types: De meeste studies evalueren alleen rationales die voortkomen uit attention-scores. Er is geen systematische vergelijking met andere types, zoals entiteitskoppelingen (entity linking) of door Large Language Models (LLM) gegenereerde tekst.
3. Moeilijkheden bij rationale learning: Effectief trainen van modellen om rationales te genereren is lastig vanwege het gebrek aan grote, gelabelde datasets.

Methodologie

1. Constructie van een nieuwe dataset (RD-IV-10)
De auteurs hebben een nieuwe dataset, RD-IV-10, samengesteld op basis van de MIMIC-IV database met ICD-10 codering.

• Annotatie: Medische professionals hebben 150 ontslagrapporten geannoteerd.
• Granulariteit: In tegenstelling tot eerdere datasets die vaak slechts één rationale per code bevatten, bevat RD-IV-10 gemiddeld 35,94 rationale-spannen per document (voor ~15 codes). Dit omvat directe en indirecte vermeldingen, medicatie en klinische context.
• Kwaliteit: De dataset vertoont een hoge overlap (93,15%) met de oorspronkelijke ICD-codes van MIMIC-IV, wat de betrouwbaarheid vergroot ten opzichte van MDACE.

2. Evaluatie van Uitlegbaarheid
De auteurs evalueren rationales op twee fundamentele dimensies:

• Faithfulness (Betrouwbaarheid): Hoe goed weerspiegelen de rationales de interne redenering van het model? Dit wordt gemeten via sufficiency (prestatie behouden met alleen de rationale) en comprehensiveness (prestatie-daling bij verwijdering van de rationale).
• Plausibility (Overtuigingskracht): Hoe overtuigend vinden menselijke experts de rationale? Dit wordt gemeten door gegenereerde rationales te vergelijken met de menselijke gouden standaard (RD-IV-10) via exacte en positie-onafhankelijke token- en span-matches.

3. Vergelijking van Rationale-Types
Drie types rationales worden geëvalueerd:

1. Naïeve Entiteits-rationales: Afgeleid van bestaande entity-linking datasets (SNOMED CT).
2. LLM-gegenereerde rationales: Genereerd door modellen zoals Gemini 2-Flash, Gemini 1.5-Pro en LLaMA-3.3, geprompt om relevante tekstspans te selecteren.
3. Model-gegenereerde rationales: Afgeleid van attention-scores van ICD-coderingsmodellen (CAML, LAAT, PLM-ICD).

4. LLM-Gestuurde Rationale Learning
Gezien de sterke prestaties van LLM's bij het genereren van plausible rationales, gebruiken de auteurs deze als distant supervision (zwakke labels) om rationale learning-modellen te trainen. Twee benaderingen worden onderzocht:

• Multi-objective Learning: Het combineren van de ICD-coderingsverliesfunctie met een loss-functie die de attention-weights van het model laat overeenkomen met de LLM-gegenereerde rationale-maskers.
• NER-formulering: Het omzetten van het probleem naar een Named Entity Recognition (NER) taak, waarbij rationale-spans worden behandeld als entiteiten gekoppeld aan een ICD-code.

5. Few-Shot Prompting
Om de kwaliteit van de LLM-gegenereerde labels te verbeteren, worden voorbeelden uit de menselijk geannoteerde RD-IV-10 dataset gebruikt in de prompts (few-shot learning) voor de LLM.

Belangrijkste Resultaten

• Faithfulness: De attention-gebaseerde modellen (CAML, LAAT, PLM-ICD) tonen matige tot lage faithfulness. Het verwijderen van attention-gebaseerde rationales leidt vaak niet tot een significante daling in prestatie, wat suggereert dat deze attention-mechanismen niet altijd de daadwerkelijke redenering van het model volgen. PLM-ICD presteert het beste, waarschijnlijk door pre-training.
• Plausibility:
  • Model-gegenereerde rationales (attention-based) scoren extreem laag en sluiten nauwelijks aan bij menselijke annotaties.
  • Entiteits-rationales scoren gemiddeld, maar lijden onder verschillen in coderingsschema's.
  • LLM-gegenereerde rationales (vooral Gemini 2-Flash) scoren het hoogst en benaderen menselijke annotaties aanzienlijk beter.
• Effect van Few-Shot Prompting: Het toevoegen van menselijke voorbeelden aan de prompts van de LLM resulteert in aanzienlijke verbeteringen in de plausibility (gemiddeld +39% tot +50% verbetering in F1-scores voor span-matches).
• Rationale Learning:
  • De Multi-objective aanpak verbetert de plausibility lichtjes zonder de coderingsnauwkeurigheid te verlagen.
  • De NER-aanpak (supervision door LLM-labels) bereikt de hoogste span-level plausibility, zelfs hoger dan de teacher-LLM (Gemini 2-Flash). Dit komt doordat het NER-model specifiek is getraind om patronen te herkennen, terwijl de LLM per code wordt geprompt. Er is echter een trade-off: de NER-modellen hebben een lagere algehele coderingsnauwkeurigheid (F1) dan de standaard PLM-ICD, omdat ze zijn geoptimaliseerd voor rationale-extractie in plaats van document-classificatie.

Bijdragen

1. RD-IV-10 Dataset: Een nieuwe, menselijk geannoteerde dataset voor ICD-codering gebaseerd op MIMIC-IV en ICD-10, met rijkere en meer granulaire rationale-annotaties dan bestaande bronnen.
2. Uitgebreide Evaluatie: Een systematische vergelijking van drie rationale-types (entiteit, LLM, attention) op zowel faithfulness als plausibility.
3. LLM-Gestuurde Learning: Een nieuwe methode om rationale learning te faciliteren door gebruik te maken van LLM-gegenereerde zwakke labels, met name via een NER-formulering.
4. Few-Shot Validatie: Het aantonen dat het gebruik van menselijke voorbeelden in prompts de kwaliteit van zowel LLM-gegenereerde rationales als de daarop getrainde student-modellen significant verbetert.

Significantie

Deze studie is van groot belang voor de toepasbaarheid van AI in de gezondheidszorg. Het benadrukt dat attention-mechanismen niet voldoende zijn voor betrouwbare uitlegbaarheid in medische codering. Door aan te tonen dat LLM's (zoals Gemini) hoogwaardige rationales kunnen genereren die dicht bij menselijke expertkennis liggen, opent dit de deur voor automatische, schaalbare uitlegbaarheid.

De voorgestelde LLM-gestuurde rationale learning biedt een oplossing voor het gebrek aan grote, gelabelde datasets. Het bewijst dat men met een kleine hoeveelheid menselijke annotaties (few-shot) en LLM's een systeem kan bouwen dat niet alleen nauwkeurig codeert, maar ook plausibele en menselijk begrijpelijke verklaringen levert. Dit is een cruciale stap richting het opbouwen van vertrouwen in AI-systemen voor medische professionals.