Determinants of Training Corpus Size for Clinical Text Classification

Technische Samenvatting: Determinanten van de omvang van de trainingscorpus voor klinische tekstclassificatie

Probleemstelling
Klinische tekstclassificatie met behulp van Natural Language Processing (NLP) vereist adequate trainingsdata om optimale prestaties te garanderen. Hoewel Large Language Models (LLMs) over zero-shot capaciteiten beschikken, blijft fine-tuning noodzakelijk voor specialistische gevallen of wanneer superieure nauwkeurigheid prioriteit heeft. In de praktijk annoteren klinische onderzoeksstudies vaak tussen de 200 en 500 documenten vanwege tijd- en kostenbeperkingen. Dit steekproefomvang wordt echter vaak gekozen zonder rigoureuze rechtvaardiging met betrekking tot de relatie tussen de omvang van de corpus, de eigenschappen van de tekstwoordenschat en de modelprestaties. Er is een gebrek aan richtlijnen over de minimale steekproefomvang die vereist is om generaliseerbare machine learning-modellen te bouwen in de gezondheidszorg, met name gezien de schaarste aan openbaar beschikbare, door clinici geannoteerde datasets.

Methodologie
De studie maakte gebruik van de publiekelijk beschikbare MIMIC-III dataset, bestaande uit meer dan 1,2 miljoen gede-identificeerde klinische notities (bijv. ontslagrapporten) van meer dan 50.000 ziekenhuisopnames. De auteurs selecteerden 10 willekeurig gekozen ICD-9 diagnosecodes om diverse binaire classificatietaken te vertegenwoordigen.

De experimentele pipeline omvatte de volgende stappen:

1. Datapreparatie: Voor elke diagnose werden de ontslagrapporten geëxtraheerd. Labels werden direct afgeleid van de ICD-9 codes om het tijdrovende proces van handmatige annotatie te vermijden.
2. Feature Extractie: Pre-trained BERT embeddings werden gebruikt om pooled-level vectorrepresentaties van alle documenten te genereren. Deze aanpak maakt gebruik van transfer learning om de inherente contextuele relaties in klinische narratieven te vangen, waarbij genuanceerde betekenissen worden onderscheiden die traditionele bag-of-words of TF-IDF methoden zouden missen.
3. Classificatie: Een Random Forest classifier werd getraind op de BERT embeddings. De auteurs testten verschillende architecturen, waaronder directe BERT fine-tuning en zero-shot benaderingen (Chat-GPT 3.5, Llama2, DistilBERT), maar stelden vast dat de BERT-embedding-plus-Random-Forest pipeline superieur was voor deze specifieke taak.
4. Variabele Manipulatie: De trainingscorpusomvang ($N$) werd gevarieerd van 100 tot 10.000 documenten. Voor elke omvang werden modellen 10 keer getraind op willekeurige gestratificeerde subsets en gevalideerd op een grote hold-out dataset (5.000 documenten) om gemiddelde prestatie-indicatoren te rapporteren.
5. Woordenschatanalyse: Om de relatie tussen teksteigenschappen en leercurves te onderzoeken, gebruikten de auteurs Lasso logistische regressie op bag-of-words embeddings. Woorden werden gecategoriseerd als "sterke voorspellers" (absolute coëfficiënt > 0,1) of "ruisende voorspellers" (onder de drempelwaarde). SHAP (SHapley Additive exPlanations) waarden werden eveneens gebruikt om de bijdragen van features te kwantificeren.

Belangrijkste Resultaten

• Optimale Steekproefomvang: Leercurves varieerden aanzienlijk tussen de 10 taken, ondanks identieke preprocessing. Echter, de studie vond dat 600 documenten voldoende waren om 95% van de prestaties te bereiken die haalbaar zijn met 10.000 documenten over alle taken heen.
• Impact van de Woordenschat: Er was een duidelijke correlatie tussen de kwaliteit van de vocabulaire en de steilheid van de leercurve.
  • Sterke Voorspellers: Een toename van 100 sterke voorspellende woorden kwam overeen met een geschatte toename van 0,04 in maximale nauwkeurigheid.
  • Ruisende Voorspellers: Een toename van 100 ruisende woorden kwam overeen met een geschatte afname van 0,02 in nauwkeurigheid bij de grootste trainingscorpus.
• Feature Stabiliteit: SHAP-analyse op de diabetes-classificatietaak toonde aan dat modellen getraind op 1.000 monsters succesvol kerndiagnostische termen (bijv. 'diabetes', 'metformine') identificeerden met rangschikkingen die vergelijkbaar waren met modellen getraind op 12.000 monsters. De extra data diende primair om niet-onderscheidende features te filteren in plaats van nieuwe klinische concepten te vangen.

Significantie en Bijdragen
Het paper levert empirisch bewijs dat 600 gouden standaard annotaties een praktische drempel vormen voor het bereiken van bijna optimale prestaties in klinische tekstclassificatie wanneer gebruik wordt gemaakt van pre-trained LLM embeddings in combinatie met boom-gebaseerde classifiers.

De auteurs stellen dat het begrijpen van de relatie tussen vocabulaire-eigenschappen (specifiek de ratio van sterke naar ruisende voorspellers) en de vorm van de leercurves kan helpen bij het nemen van beslissingen over de optimale steekproefomvang. Dit suggereert dat:

1. Keyword Analyse als Voorspeller: Een voorlopige analyse van trefwoorden in een kleine geannoteerde steekproef kan de modelprestaties en de steilheid van de leercurve voorspellen.
2. Data Kwaliteit boven Kwantiteit: Technieken voor datacleaning die zich richten op de relevantie van documenten en het isoleren van relevante delen, kunnen waardevoller zijn dan simpelweg de omvang van de trainingscorpus vergroten.
3. Efficiëntie van Middelen: Onderzoekers kunnen potentieel computationele middelen en tijd besparen door te streven naar de grens van 600 documenten, mits de vocabulaire voldoende onderscheidend is.

De studie erkent beperkingen, waaronder mogelijke bias door de willekeurige selectie van ICD-codes (die comorbiditeiten kunnen bevatten) en de focus op binaire classificatie. De auteurs suggereren dat toekomstig werk LLMs als annotatie-assistenten kan verkennen om initiële labels te genereren voor menselijke review, wat de annotatietijd verder vermindert terwijl de kwaliteit behouden blijft.