Complete Patient-Level Leakage Among Traceable Images in a Widely Used Brain Tumor MRI Benchmark
Dit artikel onthult dat een veelgebruikte benchmark voor MRI-scans van hersentumoren lijdt aan volledige datalekken op patiëntniveau, waarbij de hoog gerapporteerde nauwkeurigheden de bekwaamheid van het model weerspiegelen om slices te herkennen van eerder geziene patiënten in plaats van de werkelijke generalisatie naar ongeziene individuen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In het vakgebied van de medische beeldvorming leren computers ziekten te herkennen door duizenden foto's van het menselijk lichaam te bestudelen. Om deze systemen te onderwijzen, verzamelen wetenschappers grote collecties scans en splitsen deze in twee groepen: één voor de computer om van te leren, en een andere om zijn kennis te testen. Het doel is om te zien of de computer een ziekte kan herkennen in een nieuwe patiënt die hij nog nooit eerder heeft gezien. Dit proces vormt de basis van moderne kunstmatige intelligentie in de gezondheidszorg, waarbij de hoop is dat een machine die getraind is op eerdere gevallen, artsen kan helpen bij het diagnosticeren van toekomstige gevallen. Echter, voor deze test om eerlijk te zijn, moeten de twee groepen werkelijk gescheiden zijn. Als de computer tijdens de training een foto van het brein van een patiënt ziet, mag hij tijdens de test geen andere foto van het brein van diezelfde patiënt zien. Als dat wel gebeurt, bewijst de computer niet dat hij de ziekte begrijpt; hij is simpelweg de patiënt aan het onthouden.
Een recente investigatie naar een populaire dataset die door duizenden onderzoekers wordt gebruikt om software voor het detecteren van hersentumoren te testen, heeft een massaal gebrek aan de hand van hoe deze scheiding werd gehanteerd aan het licht gebracht. De dataset, die meer dan zeven duizend afbeeldingen bevat gelabeld als glioma, meningioom, hypofyseadenoom of geen tumor, was breed gevierd omdat computermodellen er bijna perfecte scores op behaalden, vaak met een nauwkeurigheid van meer dan 98 procent. Deze hoge cijfers suggereerden dat de technologie klaar was voor echt gebruik. Maar de manier waarop de data was georganiseerd, bevatte een cruciaal verborgen geheim: de testafbeeldingen waren niet onafhankelijk van de trainingsafbeeldingen. Door de bestanden terug te herleiden naar hun oorspronkelijke bronnen, ontdekte een onderzoeker dat de testset vol zat met plakjes van exact dezelfde patiënten die de computer al had bestudeerd.
De onderzoeker, die onafhankelijk werkte, behandelde de dataset als een puzzel. De originele bestanden waren ontdaan van hun patiëntnamen en in mappen gesorteerd op basis van tumortype, waardoor het onmogelijk was om te zien welke afbeeldingen bij dezelfde persoon hoorden. Om dit op te lossen, vergeleek de onderzoeker de visuele inhoud van elke afbeelding in de testmap met een broncollectie die nog wel patiëntgegevens bijhield. Door de vormen en patronen van de hersenscans te matchen, was de onderzoeker in staat om duizenden afbeeldingen opnieuw te koppelen aan hun oorspronkelijke eigenaren. De resultaten waren verbijsterend. Van de bijna duizend tumorafbeeldingen die voor het testen werden gebruikt, kwamen er bijna allemaal van patiënten die al aanwezig waren in de trainingsset. Sterker nog, elke enkele traceerbare tumorafbeelding in de testgroep behoorde toe aan een patiënt die de computer al had gezien.
Deze ontdekking betekende dat de computer niet werd getest op zijn vermogen om een ziekte te herkennen in een nieuw persoon. In plaats daarvan werd hij getest op zijn vermogen om een tweede plakje te herkennen van een patiënt die hij al had onthouden. Omdat naburige plakjes van dezelfde MRI-scan erg op elkaar lijken — ze delen dezelfde schedelvorm, belichting en artefacten — kon de computer simpelweg zeggen: "Ik heb dit brein eerder gezien," en het juiste antwoord raden zonder daadwerkelijk de tumor te begrijpen. Om dit te bewijzen, draaide de onderzoeker hetzelfde computermodel opnieuw, maar dit keer met een strikte regel: de computer mocht leren van de afbeeldingen van een patiënt, maar het was hem verboden om tijdens de test enige van diezelfde afbeeldingen van die patiënt te zien.
Wanneer de computer werd gedwongen te worden geconfronteerd met patiënten die hij nog nooit had gezien, daalde zijn prestatie aanzienlijk. Op de specifieke groep afbeeldingen waar de patiënt bekend was tijdens de training, was de computer 99,12 procent van de tijd correct. Maar toen de patiënt nieuw en onbekend was, daalde de nauwkeurigheid naar 93,60 procent. Hoewel dit verschil klein mag lijken, vertegenwoordigt het een zeevoudige toename in fouten. In de wereld van de medische diagnose, waar een gemiste tumor fataal kan zijn, is een zeevoudige stijging in fouten een catastrofale mislukking van de testmethode. De onderzoeker controleerde ook of de hoge scores simpelweg te danken waren aan het onthouden van exacte dubbele bestanden. Zelfs na het verwijderen van alle identieke kopieën bleef de nauwkeurigheid kunstmatig hoog, wat bewees dat het probleem niet alleen ging over dubbele bestanden, maar over het diepere probleem van patiëntoverlap.
Om te garanderen dat deze daling in prestaties werkelijk te wijten was aan de patiëntoverlap en niet aan een andere verandering in de uitvoering van de test, creëerde de onderzoeker een controlegroep. Ze mengden dezelfde afbeeldingen in willekeurige groepen, waarbij de patiëntidentiteiten gemengd bleven, en voerden de test opnieuw uit. Deze willekeurige groepering produceerde nog steeds hoge scores, die veel dichter bij de oorspronkelijke gebrekkige resultaten lagen. Dit bevestigde dat de enige oorzaak van de daling in nauwkeurigheid de regel was die de betreffende patiënt uit de test hield. De studie vond ook dat de klasse "geen tumor", die geen patiëntidentificatoren bevatte, niet dezelfde dramatische daling vertoonde, wat verder bewees dat de fout specifiek gekoppeld was aan de aanwezigheid van patiëntidentiteit in de tumorklassen.
De implicaties van deze bevinding zijn diepgaand voor iedereen die op deze benchmarks vertrouwt. De hoge nauwkeurigheidscijfers die jarenlang op deze dataset zijn gepubliceerd, weerspiegelen niet het vermogen van de computer om te generaliseren naar nieuwe patiënten. Ze weerspiegelen een afkorting die de computer nam door bekende gezichten te herkennen. De onderzoeker heeft de gecorrigeerde datapartities en de code die werd gebruikt om het probleem op te lossen, vrijgegeven, zodat andere wetenschappers hun modellen eerlijk kunnen testen. De les is duidelijk: in de medische AI moet de eenheid van meting de patiënt zijn, niet de afbeelding. Als een computer niet het onderscheid kan maken tussen een nieuwe patiënt en een oude, heeft hij niet geleerd een ziekte te diagnosticeren; hij heeft slechts geleerd een persoon te herkennen. Totdat datasets worden georganiseerd om dit soort lekkage te voorkomen, blijft het gerapporteerde succes van deze systemen mogelijk een illusie, die een realiteit maskeert waarin de technologie veel minder klaar is voor de klinische praktijk dan de cijfers doen vermoeden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.