Automated ICD Classification of Psychiatric Diagnoses: From Classical NLP to Large Language Models

Technische Samenvatting: Geautomatiseerde ICD-classificatie van Psychiatrische Diagnoses

Probleemstelling
De classificatie van psychiatrische diagnoses in codes volgens de Internationale Classificatie van Ziekten (ICD) is een kritieke maar arbeidsintensieve administratieve taak. In de context van de geestelijke gezondheidszorg, waar klinische notities vaak subjectieve beschrijvingen en impliciete semantische aanwijzingen bevatten in plaats van expliciete stoornisnamen, is handmatige codering vatbaar voor inconsistentie en fouten. Deze studie adresseert de uitdaging om het toewijzen van vrije tekst met psychiatrische beschrijvingen in het Spaans aan gestandaardiseerde ICD-codes te automatiseren. De taak wordt geformuleerd als een extreem multi-label classificatieprobleem, gekenmerkt door een "lange staart"-verdeling van labels, waarbij een klein aantal veelvoorkomende diagnoses de dataset domineert terwijl zeldzame aandoeningen lijden onder ernstige class imbalance.

Methodologie
Het onderzoek gebruikte een gespecialiseerde dataset bestaande uit 145.513 Spaanse beschrijvingen van diagnoses in de geestelijke gezondheidszorg, die zijn samengesteld tot een subset van 79.048 entries met door experts geannoteerde ground truth-labels over 85 specifieke ICD-codes. De methodologie volgde een uitgebreide pijplijn die drie distincte niveaus van tekstreprezentatie en classificatie evalueerde:

1. Paradigma's voor Tekstreprezentatie:

   • Frequentie-gebaseerd: Klassieke Bag of Words (BoW) en Term Frequency-Inverse Document Frequency (TF-IDF).
   • Embedding/Dimensionaliteitsreductie: Latent Semantic Analysis (LSA), Latent Dirichlet Allocation (LDA) en Doc2Vec.
   • Grote Taalmodellen (LLM's): Contextuele embeddings ontleend aan state-of-the-art modellen, waaronder e5 large, BioLORD, Llama-3-8B en diverse Spaanse biomedische BERT-varianten (bijv. roberta-base-biomedical-clinical-es).

2. Classificatiestrategieën:

   • Machine Learning: Random Forest en XGBoost-classificatoren werden toegepast op de verschillende feature sets.
   • Deep Learning: Een Multi-Layer Perceptron (MLP) met dynamisch geoptimaliseerde architectuur (diepte, breedte, dropout) werd ontworpen om zowel hoogdimensionale sparse data als dichte embeddings te verwerken.
   • End-to-End Fine-tuning: Geselecteerde LLM's (specifiek e5 large) werden fine-ge-tuned met een taakspecifieke classificatiekop. Deze aanpak gebruikte een strategie van lineaire probing gevolgd door fine-tuning (LP-FT) met aparte leersnelheden voor de backbone en de kop, samen met aanpassingen van de verliesfunctie om class imbalance aan te pakken.

3. Experimentele Opstelling:
   Het onderzoek hanteerde een strikte stratified shuffle split (70% training, 15% validatie, 15% test) om de marginale waarschijnlijkheidsverdeling van zeldzame labels te behouden. Hyperparameter-optimalisatie werd uitgevoerd met Optuna en Bayesiaanse optimalisatie (TPE) om de micro-F1-score te maximaliseren.

Belangrijkste Resultaten
De experimentele evaluatie, voornamelijk gemeten aan de hand van micro-F1 (gewogen naar frequentie) en macro-F1 (ongewogen gemiddelde), leverde de volgende bevindingen op:

• Superioriteit van Transformer Embeddings: Modellen die transformer-gebaseerde embeddings gebruikten, presteerden consequent beter dan klassieke frequentie-gebaseerde methoden en ongesuperviseerde topic-modellen. Specifiek behaalde het e5 large-model de hoogste prestatie onder benaderingen met vaste representaties wanneer gekoppeld aan XGBoost (F1micro ≈ 0,861).
• Synergieën tussen Classificatoren: Het onderzoek identificeerde distincte optimale koppelingen: XGBoost bleek het meest robuust voor dichte contextuele embeddings, terwijl MLP's unieke effectiviteit toonden voor hoogdimensionale sparse data (BoW/TF-IDF), en in die specifieke contexten boom-gebaseerde ensemble-methoden overtroffen.
• Impact van Fine-tuning: De overstap van statische feature-extractie naar actieve end-to-end fine-tuning van het e5 large-model leverde de piekprestatie van het onderzoek op. Het gefinetunte model behaalde een test F1micro-score van 0,866 en een F1macro-score van 0,804, met een micro-precisie van 0,910 en een micro-recall van 0,826.
• De Uitdaging van de Lange Staart: Ondanks de hoge algehele prestaties bleef er een significante kloof bestaan tussen micro-F1 en macro-F1. De analyse onthulde dat terwijl frequente klassen met hoge stabiliteit werden geclassificeerd, zeldzame aandoeningen (bijv. F32.0, F65.0) vaak resulteerden in een precisie van nul, wat aangeeft dat semantische rijkdom alleen niet volledig kan compenseren voor extreme data-schaarste.

Betekenis en Bijdragen
Het artikel stelt dat de primaire bijdrage ligt in het aantonen dat het aanpassen van Grote Taalmodellen aan specifieke klinische nomenclatuur essentieel is om de inherente ambiguïteit van psychiatrische discours te overwinnen. Door gebruik te maken van een enorme, real-world Spaanse klinische dataset valideert het onderzoek dat domeinspecifieke contextuele embeddings impliciete semantische aanwijzingen en genuanceerde medische terminologie veel beter vastleggen dan traditionele zoekopdrachten op trefwoorden.

Het onderzoek benadrukt dat hoewel geautomatiseerde systemen administratieve lasten aanzienlijk kunnen verminderen en de consistentie van codering kunnen verbeteren, ze momenteel een fundamentele beperking hebben: ze zijn geoptimaliseerd voor administratieve efficiëntie (het afhandelen van frequente stoornissen) in plaats van klinische volledigheid voor zeldzame aandoeningen. De auteurs concluderen dat toekomstige vooruitgang zich moet richten op het verbeteren van de verklaarbaarheid (via visualisatie van attention-mechanismen) en het aanpakken van data-schaarste voor zeldzame diagnoses door technieken zoals synthetische datageneratie of gespecialiseerde verliesfuncties, in plaats van uitsluitend te vertrouwen op model-schaling.