💬 NLP

From Documents to Spans: Code-Centric Learning for LLM-based ICD Coding

Dit paper introduceert Code-Centric Learning, een trainingsframework dat de supervisie verschuift van volledige klinische documenten naar schaalbare bewijsfragmenten om de generalisatie, interpretatie en efficiëntie van LLM's voor ICD-codering te verbeteren.

Oorspronkelijke auteurs: Xu Zhang, Wenxin Ma, Chenxu Wu, Rongsheng Wang, Kun Zhang, S. Kevin Zhou

Gepubliceerd 2026-03-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xu Zhang, Wenxin Ma, Chenxu Wu, Rongsheng Wang, Kun Zhang, S. Kevin Zhou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme berg medische dossiers moet sorteren. Elke patiënt heeft een dossier vol met lange, soms rommelige medische verslagen. Jouw taak is om voor elk dossier de juiste "stempel" (een ICD-code) te plakken. Deze stempels zijn als een universele taal die verzekeraars en ziekenhuizen gebruiken om te weten wat er mis was met de patiënt en hoeveel ze moeten betalen.

Vroeger deden mensen dit handmatig. Dat is saai, duur en mensen maken fouten. Dus hebben wetenschappers geprobeerd computers (AI) dit te laten doen. Maar hier liepen ze tegen drie grote muren aan:

De "Blinddoek" Probleem: De computers leerden op basis van een paar duizend voorbeelden, maar er zijn 70.000 verschillende stempels. Het was alsof je iemand leert alle 70.000 woorden van een woordenboek te kennen, terwijl je hem alleen 10.000 voorbeelden geeft. Als de computer een stempel ziet die hij nooit heeft gezien, raakt hij in paniek.
De "Magische Doos" Probleem: Als de computer een stempel gaf, wist niemand waarom. Het was alsof een goochelaar een konijn uit een hoed haalt zonder te laten zien hoe. In de medische wereld is dat gevaarlijk; artsen moeten kunnen controleren op welke zin in het dossier de code gebaseerd is.
De "Slakken" Probleem: Medische dossiers zijn vaak heel lang. Een computer die een heel dossier in één keer moet lezen om één stempel te plakken, is traag en kost enorm veel energie (net als een slak die een berg moet beklimmen).

De Oplossing: "Code-Centric Learning" (De Code-Centrale Leerling)

De auteurs van dit paper hebben een slimme nieuwe manier bedacht, die we "Code-Centraal Leren" kunnen noemen. In plaats van de computer te laten werken als een vermoeide lezer van hele boeken, hebben ze hem getraind als een detective die op zoek is naar specifieke aanwijzingen.

Hier is hoe het werkt, vertaald naar alledaagse beelden:

1. Van "Heel Boek" naar "Specifiek Zinnetje"

Stel je voor dat je iemand wilt leren wat een "hond" is.

De oude manier: Je geeft de leerling een heel boek over een dag in het park, vol met bomen, mensen, fietsen en soms een hond. De leerling moet raden waar de hond zat. Dat is moeilijk en traag.
De nieuwe manier (CCL): Je pakt alleen de zin: "Er loopt een bruine hond op het gras." Je leert de leerling direct: "Dit zinnetje = Hond".
Het resultaat: Omdat de computer nu duizenden van deze korte, duidelijke "zinnetjes" (bewijsstukken) heeft geoefend, kan hij later in een heel lang dossier (het boek) diezelfde zinnetjes heel snel vinden en de juiste stempel plakken.

2. De Drie Trappen van Kennis (De Bibliotheek)

Om ervoor te zorgen dat de computer elke stempel kent (ook de rare en zeldzame), hebben ze een slimme bibliotheek opgebouwd met drie soorten boeken:

Gouden Boeken (Gold): Dit zijn de officiële medische woordenboeken. Ze zeggen precies: "Als je dit woord ziet, is het deze code." Dit is 100% betrouwbaar, maar er staan niet genoeg voorbeelden in.
Zilveren Boeken (Silver): Dit zijn oude dossiers waar de code al op staat, maar waar de bewijszinnetjes niet duidelijk zijn. De computer (een super-slimme AI) leest deze en haalt er zelf de beste zinnetjes uit. Het is niet perfect, maar het is veel.
Synthetische Boeken (Synthetic): Voor de stempels die in geen enkel boek voorkomen, vraagt de computer: "Als ik dit zeldzame woord heb, wat zou er dan in een medisch dossier staan?" De computer verzonnt dan een geloofwaardig voorbeeld. Het is alsof je een schrijver vraagt een verhaal te schrijven over een dier dat nog nooit is gezien, gebaseerd op wat je weet over vergelijkbare dieren.

3. De Mix van Training

De computer krijgt nu een gemengd dieet:

Soms een heel kort stukje tekst met de juiste code (om de code zelf te leren).
Soms een heel lang dossier, maar dan moet de computer eerst de bewijszinnetjes eruit halen voordat hij de code mag geven (om te leren hoe hij in een lang verhaal moet zoeken).

Waarom is dit zo geweldig?

Snelheid: Omdat ze vooral werken met korte zinnetjes, is de training 5 keer sneller en goedkoper. Het is alsof je van een vrachtwagen die een hele berg aardappels moet vervoeren, overschakelt naar een racefiets die alleen de beste aardappel moet brengen.
Betrouwbaarheid: De computer moet nu eerst zeggen: "Ik zie hier de zin 'pijn in de borst', dus ik geef code X." Dit maakt het transparant. Een arts kan zeggen: "Goed zo, die zin staat er echt."
Klein is Krachtig: Het meest verrassende is dat een kleine computer (een "kleine" AI) met deze methode net zo goed presteert als een enorme, dure computer die door grote bedrijven wordt gebruikt. Je hoeft dus geen supercomputer te kopen om dit te doen.

Conclusie

Dit paper zegt eigenlijk: "Stop met proberen AI te laten lezen als een vermoeide student. Leer ze in plaats daarvan te werken als een slimme detective die zoekt naar specifieke aanwijzingen."

Door de focus te leggen op de bewijsstukjes (de spans) in plaats van het hele dossier, kunnen we snellere, goedkopere en eerlijkere AI-systemen bouwen die artsen helpen om de juiste medische codes te geven. Het is een stap in de richting van volledig geautomatiseerde, maar toch controleerbare, medische administratie.

Probleemstelling

De toewijzing van ICD-codes (International Classification of Diseases) aan medische patiëntdocumenten is een cruciale maar uitdagende taak in de gezondheidszorg. Hoewel recente methoden op basis van Large Language Models (LLM) betere generalisatie tonen dan traditionele discriminatieve modellen, stuit het fijnafstemmen (fine-tuning) van LLM's voor deze taak op drie fundamentele beperkingen:

Beperkte dekking van codes: Bestaande openbare datasets (zoals MIMIC-IV) dekken slechts een klein deel van de volledige ICD-code ruimte (bijv. slechts ~10% van de 70.000 ICD-10-CM codes). Dit beperkt het vermogen van modellen om onbekende (unseen) codes te generaliseren.
Gebrek aan interpretatie: De meeste datasets bevatten alleen de toegewezen codes zonder expliciete bewijsstukken (evidence spans). Fijnafstemmen op deze data leidt tot modellen die codes voorspellen zonder onderbouwing, wat interpretatie en menselijke controle bemoeilijkt.
Rekenkundige inefficiëntie: Klinische documenten zijn vaak lang. Het fijnafstemmen van LLM's op volledige documenten is computereconomisch zeer duur vanwege de kwadratische complexiteit ten opzichte van de invoerlengte.

Methodologie: Code-Centric Learning (CCL)

De auteurs stellen een nieuw trainingskader voor, genaamd Code-Centric Learning (CCL). In plaats van te leren van volledige klinische documenten, verschuift dit kader het toezicht naar schaalbare, korte bewijsstukken (spans). De kernidee is dat het leren van code-toewijzing op span-niveau het vermogen van een LLM om document-level ICD-coding uit te voeren, verbetert.

Het kader bestaat uit twee hoofdstrategieën:

1. Gemengde Trainingsstrategie (Mixed Training)

Het model wordt getraind op twee soorten data-instanties:

Document-niveau: Volledige klinische documenten met menselijk geannoteerde bewijsstukken en bijbehorende ICD-codes. Dit leert het model om bewijs te aggregeren uit de volledige context.
Span-niveau: Korte bewijsstukken (spans) gekoppeld aan één enkele ICD-code. Dit zijn veel korter dan volledige documenten, wat de trainingskosten drastisch verlaagt en de dekking van codes vergroot.

De trainingsdoelfunctie combineert beide:
$\min_{\theta} [L_{SFT}(f_\theta(x), (E, C)) + L_{SFT}(f_\theta(e), c)]$
Waarbij $x$ een document is, $E$ de bewijsstukken, $C$ de codes, $e$ een span en $c$ de bijbehorende code.

2. Code-Centric Data Expansie

Om volledige dekking van de ICD-code ruimte te garanderen, construeren de auteurs een multi-tier kennisbron ( $D$ ) bestaande uit drie lagen:

Gold Pairs: Afgeleid van officiële bronnen (Alphabetic Index en Tabular List). Dit zijn hoogwaardige, menselijke koppelingen tussen termen en codes.
Silver Pairs: Geautomatiseerd geëxtraheerd uit grote datasets (zoals MIMIC-IV) met behulp van een sterke LLM (Llama-3.1-70B). De LLM haalt bewijsstukken uit documenten die bij een code passen en consolideert deze tot representatieve zinnen.
Synthetische Pairs: Voor codes die niet voorkomen in officiële bronnen of openbare datasets, gebruikt de LLM (GPT-5.1) de hiërarchie van ICD-10-CM om plausibele bewijsstukken te synthetiseren. De LLM infereert bewijs voor een onbekende code op basis van de kennis van de dichtstbijzijnde bekende code.

Belangrijkste Bijdragen

Nieuw Trainingsparadigma: CCL lost gelijktijdig de drie grote beperkingen op: beperkte code-dekking, gebrek aan interpretatie en lage trainings-efficiëntie.
Span-niveau Generalisatie: Het paper demonstreert dat span-niveau classificatie transferable gains oplevert voor document-level bewijsextractie. Het model leert eerst de relatie tussen een korte tekst en een code, en past dit toe op lange documenten.
Efficiëntie en Schaalbaarheid: Het framework stelt kleine LLM's (bijv. 8B parameters) in staat om prestaties te bereiken die vergelijkbaar zijn met veel grotere, proprietaire modellen, terwijl de trainingskosten met ~80% worden verlaagd.
Interpreteerbaarheid: Door het model te dwingen eerst bewijsstukken te extraheren voordat het codes toewijst, wordt mens-AI samenwerking mogelijk gemaakt (clinici kunnen het bewijs controleren).

Resultaten

De methode is geëvalueerd op benchmarks zoals MDACE (in-domein) en ACI-Bench (out-of-distribution).

Prestaties: CCL overtreft sterk bestaande baselines (zoals PLM-ICD, CoT, en standaard SFT) op dezelfde LLM-backbone. Bijvoorbeeld, met een Llama3.1-8B model bereikte CCL een Micro-F1 van 59.3% op MDACE, vergeleken met 57.4% voor standaard SFT en 40.0% voor CLH.
Onbekende Codes: De methode toont een enorme verbetering in nauwkeurigheid voor onbekende codes (unseen codes), waarbij de Micro-F1 voor deze categorieën van 8.8% steeg naar 50.0%.
Trainingsduur: Door te focussen op korte spans in plaats van volledige documenten, daalde de totale trainingsduur van 210 uur (traditionele SFT) naar 40 uur (CCL) op één GPU, een reductie van ~80%.
Mens-AI Samenwerking: Wanneer menselijk geannoteerd bewijs wordt gebruikt in plaats van model-gegenereerd bewijs, stijgt de Micro-F1 van 59.3% naar 78.0%, wat aantoont dat het model een robuust fundament legt voor menselijke correctie.

Betekenis en Impact

Dit paper introduceert een paradigmaverschuiving in het veld van geautomatiseerde medische codering. In plaats van te proberen volledige documenten te "leren", leert het model de fundamentele relaties tussen klinische bewijsstukken en codes op een schaalbaar niveau.

De belangrijkste implicaties zijn:

Haalbaarheid: Het maakt het mogelijk om krachtige, interpreteerbare ICD-coderingssystemen te draaien op lokale hardware met kleinere modellen, wat essentieel is voor privacy en kosten in de gezondheidszorg.
Volledige Dekking: De synthetische data-expansie lost het probleem op van zeldzame of nieuwe ICD-codes waarvoor geen trainingsdata beschikbaar is.
Vertrouwen: Door expliciete bewijsstukken te genereren, wordt het "black box"-probleem van LLM's opgelost, wat cruciaal is voor klinische adoptie en regulering.

Kortom, Code-Centric Learning biedt een efficiënt, schaalbaar en interpreteerbaar kader dat de weg vrijmaakt voor volledig geautomatiseerde ICD-codering in de praktijk.