Can Reasoning LLMs Enhance Clinical Document Classification?

Technische Samenvatting: Kunnen Reasoning LLM's de classificatie van klinische documenten verbeteren?

Probleemstelling
Klinische documentclassificatie is een cruciaal maar uitdagend proces in de gezondheidszorg, dat vereist dat ongestructureerde medische narratieven worden omgezet in gestandaardiseerde ICD-10-diagnoses. Deze taak wordt bemoeilijkt door de complexiteit van medische taal, inclusief domeinspecifieke terminologie, afkortingen en variërende institutionele schrijfstijlen. Bovendien belemmeren strikte privacyregels en een tekort aan hoogwaardige geannoteerde datasets de ontwikkeling van robuuste modellen. Hoewel Large Language Models (LLM's) zijn opgekomen als transformerende hulpmiddelen voor natuurlijke taalverwerking, bestaat er een aanzienlijk onderzoeksgat met betrekking tot de systematische kwantificering van de vraag of reasoning-enhanced LLM's (met redeneervermogen versterkte LLM's) tastbare voordelen bieden ten opzichte van standaard non-reasoning LLM's (zonder redeneervermogen) in de specifieke context van klinische codering. Het blijft onduidelijk of de extra computationele complexiteit van reasoning-architecturen zich vertaalt in een verbeterde nauwkeurigheid en consistentie van diagnostische codering.

Methodologie
De studie evalueerde acht LLM's—vier reasoning-modellen (Qwen QWQ, Deepseek Reasoner, GPT o3 Mini, Gemini 2.0 Flash Thinking) en vier non-reasoning-modellen (Llama 3.3, GPT 4o Mini, Gemini 2.0 Flash, Deepseek Chat)—op een gebalanceerde subset van de MIMIC-IV dataset.

• Datasetconstructie: De dataset bestond uit 3.000 ontslagverslagen, evenredig verdeeld over de top 10 ICD-10-codes (afgeleid van zowel primaire als secundaire diagnoses). Voor elke code werden 150 positieve monsters (bevestigde diagnose) en 150 negatieve monsters (geen diagnose) geselecteerd om een klassebalans te waarborgen.
• Preprocessing: Ongestructureerde klinische narratieven werden verwerkt met behulp van cTAKES (clinical Text Analysis and Knowledge Extraction System). Dit hulpmiddel tokeniseerde de tekst in gestructureerde SNOMED-codes, waarbij contextuele nuances zoals affirmatie of negatie werden vastgelegd, waardoor de documentlengte werd verminderd en de verwerkingsefficiëntie werd verbeterd.
• Experimenteel protocol: Elk model kreeg de taak om de 3.000 getokeniseerde samenvattingen te classificeren als "Ja" of "Nee" voor specifieke ICD-10-codes. Om robuustheid te garanderen, werd elk model uitgevoerd in drie onafhankelijke experimentele runs. De uiteindelijke voorspellingen werden bepaald via majority voting (meerderheidsstemming) over de drie runs.
• Evaluatiemetrieken: Prestaties werden beoordeeld op basis van Accuracy (nauwkeurigheid), F1 Score en Consistency (consistentie: het aandeel samenvattingen die identieke classificaties ontvingen over alle drie de runs).

Belangrijkste Bijdragen

1. Vergelijkende Analyse van Reasoning versus Non-Reasoning: De studie biedt een directe empirische vergelijking tussen reasoning en non-reasoning LLM-architecturen in een klinische coderingcontext, waarmee een gat in de literatuur wordt gedicht over het specifieke nut van reasoning-capaciteiten voor ICD-10-classificatie.
2. Trade-off tussen Consistentie en Nauwkeurigheid: Het onderzoek identificeert een duidelijke trade-off waarbij reasoning-modellen een hogere nauwkeurigheid bereiken maar een lagere stabiliteit vertonen, terwijl non-reasoning-modellen een superieure consistentie demonstreren.
3. Granulaire Prestatiekaartlegging: De studie categoriseert ICD-10-codes op basis van modelprestaties, waarbij onderscheid wordt gemaakt tussen goed gedefinieerde condities (waar modellen goed presteren) en abstracte diagnostische categorieën (waar de prestaties sterk variëren).

Resultaten

• Algehele Prestaties: Reasoning-modellen presteerden beter dan non-reasoning-modellen wat betreft classificatienauwkeurigheid en F1-scores. Reasoning-modellen behaalden een gemiddelde nauwkeurigheid van 71% en een F1-score van 67%, vergeleken met 68% nauwkeurigheid en 60% F1 voor non-reasoning-modellen.
• Top Performers: Gemini 2.0 Flash Thinking (reasoning) behaalde de hoogste nauwkeurigheid (75%) en F1-score (76%). Daarentegen registreerde GPT 4o Mini (non-reasoning) de laagste prestaties (64% nauwkeurigheid, 47% F1).
• Consistentie: Non-reasoning-modellen vertoonden een hogere stabiliteit, met een gemiddelde consistentie van 91%, vergeleken met 84% voor reasoning-modellen. Modellen zoals GPT o3 Mini en Deepseek Chat vertoonden een hoge consistentie (95%), terwijl reasoning-modellen zoals Qwen QWQ en Gemini 2.0 Flash Thinking een lagere consistentie vertoonden (78%).
• Codespecifieke Variaties:
  • Goed gedefinieerde condities (bijv. Sepsis/A41, Myocardinfarct/I21): Alle modellen vertoonden een sterke consistentie en F1-scores.
  • Variabele Prestaties (bijv. E78, I13): De consistentie bleef hoog, maar de F1-scores varieerden sterk tussen de modellen.
  • Abstracte Categorieën (bijv. Z79, Z87): Zowel de consistentie als de F1-scores fluctueerden aanzienlijk. Opvallend genoeg behaalden sommige modellen (bijv. GPT o3 Mini) 100% consistentie maar 0% F1, wat aangeeft dat ze consequent alle records als negatief classificeerden.

Betekenis en Claims
De paper claimt dat hoewel reasoning LLM's een superieure classificatienauwkeurigheid en F1-scores bieden—met name in complexe klinische gevallen—ze meer variabiliteit in resultaten introduceren vergeleken met de stabielere non-reasoning-modellen. De auteurs suggereren dat de optimale aanpak voor geautomatiseerde klinische codering een hybride strategie kan zijn die de hoge nauwkeurigheid van reasoning-modellen combineert met de betrouwbaarheid van non-reasoning-modellen.

De studie concludeert dat reasoning-capaciteiten de mogelijkheid verbeteren om complexe klinische relaties te vatten, maar geen stabiliteit garanderen. Daarom vereist toekomstige implementatie in de gezondheidszorg een balans tussen nauwkeurigheid en betrouwbaarheid. De auteurs stellen voor dat toekomstig werk zich moet richten op multi-label classificatie, domeinspecifieke fine-tuning en ensemble-modellering om de prestaties en generaliseerbaarheid in real-world toepassingen verder te verbeteren.