Large Language Models to Label CT Radiology Reports for Incidental Findings Found in Lung Cancer Screening: A Comparative Analysis

Technische Samenvatting: Large Language Models voor het labelen van CT-radiologieverslagen voor incidentele bevindingen bij longkankerscreening

Probleemstelling
De implementatie van programma's voor longkankerscreening (LCS) in de Europese Unie staat voor aanzienlijke uitdagingen met betrekking tot de werklast voor radiologen bij het interpreteren van grote volumes aan laaggedoseerde CT-scans (LDCT). Naast de detectie van longkanker onthullen deze scans frequent specifieke incidentele bevindingen (SIF's), waaronder aortaklepziekte, bronchiectasieën, consolidatie, coronaire verkalking, emfyseem, interstitiële longafwijkingen (ILA), mediastinale lymfeklierafwijkingen, mediastinale massa en schildklierafwijkingen. Hoewel kunstmatige intelligentie (AI) geavanceerd is geworden in de detectie van pulmonale noduli, staan algoritmen voor SIF's nog in een vroeg stadium van ontwikkeling. Een primaire flessenhals is het gebrek aan grote, geannoteerde datasets die nodig zijn om dergelijke modellen te trainen. Bestaande datasets, zoals de National Lung Screening Trial (NLST), missen uitgebreide SIF-annotaties. Hoewel klinische radiologieverslagen een rijke bron van informatie bieden voor "zwakke supervisie", schieten traditionele op trefwoorden gebaseerde zoekmethoden tekort in het vastleggen van medische nuances, negaties en terminologische variaties. Bovendien tonen Large Language Models (LLM's) veelbelovende resultaten, maar is er een gebrek aan gevalideerde strategieën voor het gebruik van LLM's om SIF's in LCS-verslagen te labelen, met name wat betreft de effectiviteit van verschillende prompting-technieken (bijv. Chain-of-Thought) en de prestaties van lichtgewicht, privacy-bewarende open-source modellen vergeleken met propriëtaire modellen.

Methodologie
Deze retrospectieve studie evalueerde de haalbaarheid en optimale strategieën voor het gebruik van LLM's om automatisch de aanwezigheid of afwezigheid van negen SIF's in Nederlandse radiologieverslagen te labelen.

• Dataset: De studie maakte gebruik van 300 thorax/abdomen CT-verslagen van een Nederlands academisch ziekenhuis (verzameld tussen 2003 en 2020). De dataset werd geconstrueerd door 200 verslagen uit 2016–2017 te selecteren en 100 verslagen uit het volledige bereik (1997–2021) om diversiteit te waarborgen. Alle verslagen zijn gedeïdentificeerd.
• Referentiestandaard: Een enkele algemene radioloog met 32 jaar ervaring labelde de verslagen handmatig voor de negen SIF's, wat diende als de grondwaarheid (ground truth).
• Geëvalueerde modellen:
  • Propriëtair: GPT-5 en GPT-4-Turbo (via OpenAI API).
  • Open-source: Llama-3.1-8B-INST en MedGemma-4B-IT (lokaal gedraaid).
  • Baseline: Een op trefwoorden gebaseerde zoekmethode (regex).
• Prompting-strategieën: Vier verschillende strategieën werden getest voor elk model:
  1. V1: Algemene prompt om alle negen SIF's te labelen zonder specifieke instructies over de bepalingscriteria.
  2. V2: Specifieke prompts per SIF, inclusief criteria uit de verklaring van de Europese radiologische vereniging.
  3. V3: Dezelfde als V2 maar met Chain-of-Thought (CoT) redenering.
  4. V4: Dezelfde als V3 maar met few-shot voorbeelden (drie voorbeelden van verslag, redenering en output).
• Evaluatiemetrieken: Overeenstemming werd primair gemeten met behulp van Cohen's Kappa ($\kappa$), geïnterpreteerd via de categorieën van Landis en Koch (1977) (van gering tot bijna perfect). Secundaire metrieken waren sensitiviteit, specificiteit en F1-scores. Alle metrieken bevatten 95% betrouwbaarheidsintervallen berekend via bootstrapping.

Belangrijkste resultaten

• Algemene prestaties: LLM's bereikten een matige tot bijna perfecte overeenstemming met de radioloog voor de meeste SIF's, wat hun bruikbaarheid voor automatische labeling valideert. Er was echter geen enkele model-prompt combinatie die optimaal was voor alle negen bevindingen.
• Modelprestaties:
  • GPT-5 bereikte een substantiële of bijna perfecte overeenstemming voor zeven van de negen SIF's (inclusief AVD, bronchiectasieën, consolidatie, CAC, emfyseem, MLN en TA).
  • MedGemma-4B-IT (open-source) vertoonde een substantiële of hogere overeenstemming voor de meeste SIF's en presteerde opvallend beter dan het beste propriëtaire model specifiek voor Interstitiële Longafwijkingen (ILA) ($\kappa = 0,48$ vs. $0,46$).
  • Llama-3.1-8B-INST vertoonde over het algemeen een lagere overeenstemming dan de propriëtaire modellen en MedGemma.
  • Trefwoordzoekopdracht presteerde het best voor Mediastinale Massa (MM), waarschijnlijk door de lage linguïstische variabiliteit voor deze specifieke bevinding, maar presteerde over het algemeen minder goed dan LLM's vanwege een gebrekkige verwerking van negatie en context.
• Prompting-strategie: Tegen de verwachtingen in verminderde Chain-of-Thought (CoT) prompting (V3 en V4) de prestaties over het algemeen in vergelijking met niet-CoT strategieën (V1 en V2). De hoogste overeenstemmingswaarden werden voornamelijk verkregen met V1 of V2. De inclusie van few-shot voorbeelden (V4) verbeterde de overeenstemming niet en verslechterde in sommige gevallen de prestaties, mogelijk doordat modellen minder aandacht besteedden aan instructies of zich concentreerden op irrelevante delen van langere prompts.
• Foutanalyse: Onenigheid ontstond vaak doordat modellen de context verkeerd interpreteerden (bijv. het labelen van AVD op basis van verwijzingen naar de aortaboog) of door "overmatig na te denken" via CoT, wat leidde tot onzinnige rechtvaardigingen.

Betekenis en claims
De auteurs concluderen dat LLM's een levensvatbare tool zijn voor de "zwakke annotatie" van radiologieverslagen om trainingsdata te schalen voor toekomstige SIF-detectiealgoritmen. De studie benadrukt dat:

1. Geen universele strategie: Er is geen enkele optimale model of prompt voor alle SIF's; selectie moet worden afgestemd op de specifieke bevinding.
2. Prompt engineering: Voor deze specifieke taak zijn beknopte niet-CoT prompts superieur aan CoT- of few-shot benaderingen.
3. Levensvatbaarheid van open-source: Lichtgewicht, open-source modellen (specifiek MedGemma-4B-IT) kunnen prestaties leveren die vergelijkbaar zijn met of zelfs hoger zijn dan zwaardere propriëtaire modellen voor bepaalde bevindingen, wat een privacy-bewarende en kosteneffectieve optie biedt voor lokale implementatie.
4. Aanbeveling: De auteurs suggereren een pipeline voor toekomstige zwak gesuperviseerde labeling die begint met beknopte niet-CoT prompts en, waar privacy cruciaal is, gebruikmaakt van lichtgewicht open-source modellen. Ze benadrukken dat de keuze van model en prompt moet worden gevalideerd tegen een door een expert gelabelde dataset voor elke specifieke bevinding voordat grootschalige inzet plaatsvindt.

Beperkingen
De studie erkent verschillende beperkingen: de kleine omvang van de dataset (300 verslagen) resulteerde in zeer weinig gevallen voor zeldzame bevindingen zoals mediastinale massa, wat de statistische zekerheid beperkt; het gebruik van een enkele radioloog als referentiestandaard voorkomt de beoordeling van inter-beoordelaarsvariabiliteit; de studie is beperkt tot Nederlandse verslagen van één centrum; en de snelle evolutie van LLM's betekent dat deze resultaten mogelijk niet de toekomstige modelcapaciteiten weerspiegelen. Er is geen statistische significantietoetsing tussen modellen uitgevoerd vanwege het exploratieve karakter van de studie.