💻 computer science

A Multi-Criteria Decision Framework for Aggregating Ranked ICD-10 Code Suggestions from Large Language Models

Deze studie toont aan dat het toepassen van methoden voor rangaggregatie uit de Multi-Criteria Decision Analysis, in het bijzonder Borda Count en Reciprocal Rank Fusion, om de outputs van meerdere Large Language Models te combineren, de nauwkeurigheid en stabiliteit van geautomatiseerde ICD-10 klinische codering significant verbetert in vergelijking met het gebruik van individuele modellen of eenvoudige stemprocedures.

Oorspronkelijke auteurs: Ricardo da Silva Santos, Murilo Gleysson Gazzola, Paulo Marcelino Figueira, Adriana Gomes Luz, Rodolfo de Carvalho Pacagnella, Cristiano Torezzan

Gepubliceerd 2026-08-13

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ricardo da Silva Santos, Murilo Gleysson Gazzola, Paulo Marcelino Figueira, Adriana Gomes Luz, Rodolfo de Carvalho Pacagnella, Cristiano Torezzan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een enorme, rommelige puzzel op te lossen waarbij de puzzelstukjes medische diagnoses zijn. In de wereld van de gezondheidszorg moet elk patiëntenverhaal worden vertaald naar een specifieke code, zoals een geheime taal genaamd ICD-10, zodat ziekenhuizen ziekten kunnen volgen en betaald krijgen. Maar deze taal is enorm, ingewikkeld en vol met lastige regels. Onlangs hebben superintelligente computerprogramma's, Large Language Models (LLM's) genoemd, geleerd om deze codes te raden door doktersnotities te lezen. Beschouw deze modellen als een team van briljante maar licht verschillende detectives. Elke detective bekijkt hetzelfde dossier en komt met zijn eigen lijst met verdachten (de codes), gerangschikt van "meest waarschijnlijk" naar "minst waarschijnlijk". Het probleem is dat Detective A soms denkt dat Verdachte X de dader is, terwijl Detective B ervan overtuigd is dat het Verdachte Y is. Als je naar slechts één detective luistert, zit je er misschien naast. Hier komt een vakgebied genaamd Multi-Criteria Decision Analysis kijken. Het is in feite de kunst van het samenvoegen van veel verschillende meningen en het mengen ervan om het enkelvoudige beste antwoord te vinden, een beetje zoals hoe een jury getuigenissen combineert om tot een vonnis te komen. De grote vraag is: hoe meng je deze lijsten met verdachten zodat de uiteindelijke groep slimmer is dan elke individuele detective op zich?

Dit artikel pakt die exacte vraag aan door elk AI-model te behandelen als een aparte "stemmer" in een grootschalige verkiezing voor de juiste medische codes. De onderzoekers namen 1.117 echte obstetrische (zwangerschapsgerelateerde) medische notities geschreven in het Braziliaans-Portugees en vroegen vijf verschillende krachtige AI-modellen om een gerangschikte lijst van mogelijke codes voor elke notitie te genereren. In plaats van de winnaar van slechts één model te kiezen, testten ze drie verschillende manieren om alle lijsten te combineren tot één "consensus"-lijst. Ze probeerden een eenvoudige methode genaamd "Plurality Voting" (waarbij de code die het vaakst bovenaan de lijsten staat wint), een meer gedetailleerde methode genaamd "Borda Count" (waarbij een code punten krijgt op basis van hoe hoog deze op elke lijst verschijnt, niet alleen op de bovenste plek), en een methode genaamd "Reciprocal Rank Fusion" (die een flinke boost geeft aan codes die dicht bij de top staan, maar ook die lager op de lijst staan meetelt).

De resultaten waren behoorlijk duidelijk en verrassend eenvoudig in hun eenvoud. Het team kwam tot de conclusie dat het combineren van de modellen bijna altijd beter werkte dan het vertrouwen op het enkel beste model alleen. Specifiek was de "Borda Count"-methode de ster van de show. Wanneer de onderzoekers keken naar de top 3 suggesties (een aantal dat zij vonden als het ideale evenwicht tussen nauwkeurigheid en dekking), verbeterde de Borda Count-methode de algehele nauwkeurigheid met ongeveer 20% op het niveau van de brede categorie en bijna 19% op het niveau van de specifieke code in vergelijking met de beste individuele AI. Dit suggereert dat luisteren naar de "menigte" van AI-modellen, vooral door aandacht te besteden aan waar een code op ieders lijst verschijnt, een veel betrouwbaardere beslissing creëert dan het vertrouwen op een enkele expert.

De paper sluit echter ook een aantal zaken uit. Het stelde vast dat de eenvoudigste methode, Plurality Voting (alleen tellen wie er op nummer 1 staat), niet zo goed werkte als de meer genuanceerde methoden die naar de volledige rangschikking keken. Het toonde ook aan dat je niet oneindig veel suggesties aan de lijst kunt blijven toevoegen. Hoewel het toevoegen van meer codes helpt om meer ware diagnoses te vangen (recall), trekt het uiteindelijk de nauwkeurigheid omlaag omdat je te veel foutieve gokken (precision) meeneemt. De studie suggereert dat het "gouden getal" 3 is; als je daar voorbij gaat, begint de kwaliteit van de beslissing te dalen. Verder merken de auteurs op dat het simpelweg geven van meer gewicht aan de "sterkste" modellen niet veel hielp; de ongewogen, eenvoudige combinatie van alle modellen was net zo goed als de complexe gewogen varianten.

Kortom, het artikel suggereert dat de beste strategie voor klinische codering niet het vinden van het ene perfecte AI-model is, maar het laten stemmen door een aantal verschillende modellen, gebruikmakend van een systeem dat hun volledige rangschikkingen respecteert. Deze aanpak biedt een praktische, robuuste manier om medische besluitvorming te verbeteren zonder de modellen opnieuw te hoeven trainen of in hun "black boxes" te hoeven kijken. De bevindingen zijn gebaseerd op echte data en statistische testen met betrouwbaarheidsintervallen, wat aantoont dat deze methode een stabiele en effectieve manier is om de rommelige realiteit van medische codering aan te pakken.

Technische Samenvatting: Een Multi-Criteria Beslissingskader voor het Aggregeren van Gerangschikte ICD-10 Code Suggesties van Large Language Models

Probleemformulering
Geautomatiseerde klinische codering met behulp van de International Classification of Diseases, 10e revisie (ICD-10) blijft een complexe uitdaging vanwege de hiërarchische aard van de taxonomie en de variabiliteit van medische terminologie. Hoewel Large Language Models (LLM's) hebben aangetoond in staat te zijn om gerangschikte lijsten van kandidaat-ICD-10-codes te genereren uit ongestructureerde klinische tekst, vertonen individuele modellen vaak instabiliteit en beperkte betrouwbaarheid wanneer ze in isolatie worden gebruikt. Verschillende modellen kunnen conflicterende rangschikkingen produceren voor dezelfde klinische notitie als gevolg van variaties in trainingsdata en architecturen.

Deze studie behandelt het beslissingsprobleem van hoe deze uiteenlopende, gerangschikte outputs geaggregeerd kunnen worden tot één betrouwbare consensus. De auteurs formuleren de toewijzing van ICD-10-codes als een Multi-Criteria Decision Analysis (MCDA) probleem, waarbij elk LLM fungeert als een onafhankelijke beslissingsagent die een voorkeursvolgorde aanbiedt over kandidaat-codes. De kernuitdaging bestaat uit het bepalen van de optimale aggregatiestrategie en het aantal top-gerangschikte codes ( $k$ ) om te selecteren om de balans tussen precisie en recall in een praktische beslissingsondersteunende context te bewaken.

Methodologie
Het onderzoek maakt gebruik van een dataset van 1.117 obstetrische klinische notities in het Braziliaans-Portugees, elk geannoteerd met grondwaarheid (ground-truth) ICD-10-codes. De studie maakt gebruik van vijf verschillende LLM's (GPT-4o, DeepSeek-V3, Maritalk Sabiá-3.1, Gemini 1.5 Flash en GPT-4o-Mini) als beslissingsagents. Deze modellen genereren gerangschikte lijsten van kandidaat-codes voor elk document.

De studie evalueert drie klassieke rank-aggregatiemethoden uit de stemtheorie en MCDA:

Plurality Voting: Een "first-past-the-post"-benadering waarbij een code een stem ontvangt als deze in de top- $k$ van een ranking verschijnt, ongeacht de specifieke positie binnen dat bereik.
Borda Count: Een positionele score-regel waarbij een code op rang $r$ in een lijst van $n$ kandidaten $(n - r + 1)$ punten ontvangt. Deze methode maakt gebruik van de volledige rangstructuur in plaats van enkel de aanwezigheid in de top- $k$ .
Reciprocal Rank Fusion (RRF): Een methode die gewichten toekent op basis van de reciproke waarde van de rangpositie ( $1 / (k_0 + r)$ ), waarbij bijdragen van lager gerangschikte items worden afgevlakt terwijl top-gerangschikte items prioriteit krijgen.

Prestaties worden beoordeeld met behulp van Micro-Precision, Micro-Recall en Micro-F1 scores op twee granulariteitsniveaus: het 3-karakter categorie-niveau en het volledige "leaf" code-niveau. Robuustheid wordt geëvalueerd met behulp van bootstrap-resampling met 95% betrouwbaarheidsintervallen. De studie analyseert specifiek de impact van het variëren van $k$ (het aantal geselecteerde codes) van 1 tot 10.

Belangrijkste Bijdragen
Het artikel levert drie primaire bijdragen:

Formalisering: Het formaliseert de toewijzing van ICD-10-codes vanuit meerdere voorspellende modellen als een multi-criteria beslissingsprobleem gebaseerd op gerangschikte alternatieven.
Empirische Evaluatie: Het biedt een uitgebreide evaluatie van klassieke rank-aggregatiemethoden (Plurality, Borda, RRF) over verschillende ICD-10 granulariteiten in een niet-Engelse (Braziliaans-Portugese) klinische setting.
Praktische Implicaties: Het demonstreert dat eenvoudige, interpreteerbare aggregatiestrategieën de beslissingsconsistentie kunnen verbeteren zonder dat her-training van modellen of toegang tot de interne eigenschappen van propriëtaire modellen vereist is.

Resultaten
De empirische resultaten geven aan dat rank-gebaseerde aggregatiemethoden consequent beter presteren dan het beste individuele model. Belangrijkste bevindingen zijn:

Optimale $k$ : Prestaties vertonen een niet-monotoon gedrag ten op harte van $k$ . Hoewel het verhogen van $k$ aanvankelijk de recall verbetert, verslechtert het uiteindelijk de precisie. De optimale balans voor alle methoden werd gevonden bij $k=3$ .
Superioriteit van Borda Count: De Borda Count-methode behaalde de hoogste prestaties over beide evaluatieniveaus. Bij $k=3$ bereikte het een Micro-F1 score van 0,4807 op het 3-karakter niveau (een relatieve winst van 20,4% ten opzichte van het beste individuele model, GPT-4o-Mini) en 0,2112 op het volledige code-niveau (een winst van 19,0% ten opzichte van DeepSeek-V3).
Vergelijking van Methoden: Methoden die volledige ranginformatie integreren (Borda en RRF) presteerden consequent beter dan eenvoudige stemprocedures (Plurality). Echter, gewogen aggregatiestrategieën leverden in deze specifieke context geen statistisch significante verbeteringen op ten opzichte van ongewogen methoden.
Robuustheid: De waargenomen verbeteringen door aggregatie waren consistent over de bootstrap-betrouwbaarheidsintervallen, wat wijst op statistische robuustheid.

Significantie en Claims
De auteurs stellen dat deze studie aantoont dat rank-aggregatie een geprincipeerde en effectieve benadering biedt voor het combineren van meerdere imperfecte beslissingsagents in klinische coderingstaken. De bevindingen suggereren dat:

Ensemble Betrouwbaarheid: Het aggregeren van outputs van meerdere LLM's een robuuster beslissingsondersteunend systeem creëert dan het vertrouwen op een enkel model, met name in complexe, multi-label scenario's.
Interpreteerbaarheid: Eenvoudige aggregatiestrategieën zoals Borda Count kunnen de beslissingskwaliteit aanzienlijk verbeteren zonder de computationele kosten of complexiteit van het finetunen van modellen of het ontsluiten van interne modelparameters.
Geschiktheid voor Human-in-the-Loop: De resulterende consensus-rangschikkingen zijn goed geschikt voor human-in-the-loop workflows, waarbij een korte, hoogwaardige lijst van kandidaat-codes (bijv. de top 3) efficiënt kan worden beoordeeld en gevalideerd door deskundige coders, waardoor zowel de nauwkeurigheid als de efficiëntie in de gezondheidszorg worden verbeterd.

De studie erkent beperkingen, waaronder het gebruik van een enkele klinische setting (obstetrie) en een focus op zero-shot prompting, wat suggereert dat toekomstig werk adaptieve aggregatie, betrouwbaarheidsbewuste weging en bredere klinische domeinen moet verkennen.

Technische Samenvatting: Een Multi-Criteria Beslissingskader voor het Aggregeren van Gerangschikte ICD-10 Code Suggesties van Large Language Models

Meer zoals dit