Large Language Model-Assisted Cleaning of Report-Derived Labels in a Large-Scale Chest CT Dataset

Technische Samenvatting: Door Large Language Models Ondersteunde Opschoning van Rapport-Afgeleide Labels in een Grootschalige Borst-CT-Dataset

Probleemstelling
Publieke medische beeldvormingsdatasets zijn cruciaal voor het benchmarken van kunstmatige intelligentiemodellen en het trainen van nieuwe algoritmen. De kwaliteit van gestructureerde labels binnen deze datasets wordt echter vaak aangetast door rapportagestijlen, negatie, onzekerheid, ambigue definities en fouten in automatische extractie. Zelfs in zorgvuldig geconstrueerde datasets zoals CT-RATE (een grootschalige publieke borst-CT-dataset met volumetrische beelden, rapporten en multi-abnormaliteit-labels), kan discrepantie tussen label en rapport voorkomen. Omdat dergelijke datasets herhaaldelijk worden gebruikt voor benchmarking, kunnen dergelijke fouten voortplanten in de evaluatie en vergelijking van modellen, wat de prestatieschattingen potentieel kan vertekenen. Er is behoefte aan schaalbare methoden om dergelijke inconsistenties te identificeren en te corrigeren zonder uitsluitend te vertrouwen op arbeidsintensieve handmatige beoordeling.

Methodologie
De auteurs ontwikkelden een door LLM ondersteund framework om de rapport-afgeleide labels in de CT-RATE-dataset te evalueren en op te schonen. De studie maakte gebruik van een retrospectieve dataset van 24.446 unieke radiologieverslagen (na deduplicatie) gekoppeld aan 18 vooraf gedefinieerde abnormaliteitscategorieën.

1. LLM Extractie: Radiologieverslagen (specifiek de secties "bevindingen" en "impressie") werden verwerkt met behulp van GPT-5.4 via Microsoft Azure AI Foundry. Het model werd geprompt om binaire labels (aanwezig/afwezig) te genereren voor de 18 categorieën op basis strikt van de tekst, waarbij onzekere bevindingen (bijv. "mogelijk") als aanwezig werden behandeld. De outputs werden beperkt tot een gestructureerd JSON-formaat.
2. Vergelijking en Identificatie van Discordantie: De door GPT-5.4 gegenereerde labels werden vergeleken met de oorspronkelijke CT-RATE-labels op instantiemateriaal. Discordante gevallen werden gecategoriseerd als ofwel bestaand-label positief/GPT-negatief, ofwel bestaand-label negatief/GPT-positief.
3. Multi-Model Validatie: Om de betrouwbaarheid te beoordelen, werden dezelfde rapporten verwerkt met behulp van GPT-5.4 mini en DeepSeek V3.2. Er werd een multi-LLM meerderheidsstemstrategie toegepast, waarbij een label werd toegewezen als ten minste twee van de drie modellen het eens waren.
4. Radiologische Adjudicatie: Drie beoordelingssets werden opgezet voor handmatige validatie:
   • Een willekeurige steekproef van 100 rapporten (1.800 labelinstanties) geannoteerd door een radiologie-fellow en gefinaliseerd door een gecertificeerd radioloog om als referentiestandaard te dienen.
   • Een algemene discordantieset van 100 instanties (50 positief/negatief en 50 negatief/positief) exclusief lymfadenopathie.
   • Een gerichte discordantieset gericht op "lymfadenopathie", de enige categorie met een Cohen's κ ≤ 0,80, waarbij tot 50 discordante instanties in elke richting werden gesampled.
5. Statistische Analyse: Overeenstemming werd gemeten met behulp van de Cohen's κ en accuratesse-metrieken. De prestaties ten opzichte van de door de radioloog geannoteerde referentielabels werden geëvalueerd via sensitiviteit, specificiteit, PPV, NPV, F1-score en Cohen's κ, berekend via label-macro averaging en micro-averaging.

Belangrijkste Resultaten

• Algehele Overeenstemming: De door GPT-5.4 gegenereerde labels vertoonden een algehele overeenstemming van 96,4% met de oorspronkelijke CT-RATE-labels, met een Cohen's κ van 0,884. De overeenstemming varieerde aanzienlijk per categorie, variërend van 99,6% voor hiatale hernia tot 79,4% voor lymfadenopathie.
• Lymfadenopathie Discrepantie: Lymfadenopathie vertoonde de laagste overeenstemming (κ = 0,309). In de gerichte beoordeling van 99 discordante lymfadenopathie-instanties ondersteunde de radiologische adjudicatie het door GPT-5.4 gegenereerde label in 91,9% van de gevallen, wat suggereert dat de oorspronkelijke CT-RATE-labels voor deze categorie vaak incorrect waren.
• Algemene Discordantie: In de algemene discordantiebeoordeling (exclusief lymfadenopathie) ondersteunden radiologen het door GPT-5.4 gegenereerde label in 74,2% van de adjudiceerbare instanties, vergeleken met 25,8% dat het oorspronkelijke CT-RATE-label ondersteunde.
• Prestaties t.o.v. Referentiestandaard: Ten opzichte van de door de radioloog geannoteerde referentielabels bereikte de multi-LLM meerderheidsstemmethode de hoogste prestaties met een label-macro-gemiddelde F1-score van 96,0% en een Cohen's κ van 0,951. Dit presteerde beter dan zowel de oorspronkelijke CT-RATE-labels (F1: 93,8%, κ: 0,923) als de enkele GPT-5.4-modellen (F1: 95,1%, κ: 0,940). Opvallend genoeg bereikte meerderheidsstemming "bijna perfecte" overeenstemming (κ > 0,80) over alle 18 categorieën.

Betekenis en Claims
Het artikel beweert dat door LLM ondersteunde label-opschoning een schaalbare en effectieve methode is voor het identificeren van klinisch relevante label-rapport discordantie in grootschalige publieke beeldvormingsdatasets. De studie demonstreert dat:

1. Discordantie Detectie: LLM's kunnen fouten in bestaande dataset-labels identificeren die mogelijk niet zichtbaar zijn via geaggregeerde overeenstemmingsmetrieken alleen.
2. Kwaliteitsverbetering: Multi-model meerderheidsstemming kan rapport-afgeleide labels verfijnen om een hogere betrouwbaarheid te bereiken dan single-model extractie of de oorspronkelijke dataset-labels.
3. Dataset Onderhoud: Deze aanpak dient als een praktisch instrument voor datasetonderhoud, wat helpt bij het prioriteren van categorieën met ambigue definities (zoals lymfadenopathie) voor deskundige beoordeling en definitie-verfijning.
4. Toekomstig Nut: De auteurs zijn van plan de opgeschoonde dataset en de bijbehorende code vrij te geven om toekomstig onderzoek te ondersteunen, met als doel de betrouwbaarheid van benchmarks die worden gebruikt voor AI-modelontwikkeling en -evaluatie te verbeteren.

De auteurs hanteren een bescheiden standpunt door te erkennen dat hun door LLM gegenereerde labels en adjudicaties gebaseerd zijn op rapporttekst en niet op beeldniveau grondwaarheid, en dat de discordantie-beoordelingssets verrijkt zijn voor onenigheid, wat betekent dat ze geen directe schattingen zijn van de algehele datasetnauwkeurigheid. Zij benadrukken de noodzaak van menselijke verificatie in validatiesubsets om potentiële biases te mitigeren die geïntroduceerd kunnen worden door door LLM gegenereerde labels.