Cethraian-X: A Leakage-Clean, Multi-Seed Benchmark of Chest X-Ray Classification Under Weak Labels

Stel je voor dat je een computer probeert te leren een arts te zijn door hem miljoenen foto's van menselijke borstkasten te laten zien. Dit is de wereld van medische kunstmatige intelligentie, een vakgebied waar machines leren om ziekten zoals longontsteking of botbreuken te herkennen door simpelweg naar röntgenfoto's te kijken. Maar hier komt het lastige deel: computers zijn als uiterst observante studenten die soms spieken. Als je ze een foto laat zien van de arm van een patiënt in de röntgenkamer van een specifiek ziekenhuis, kan de computer leren te zeggen: "Oh, dat ziekenhuis heeft altijd longontsteking!" in plaats van daadwerkelijk naar de ziekte te zoeken. Dit wordt "data leakage" genoemd, en het is alsof een student stiekem in het antwoordenformulier kijkt voordat het examen begint. Om een eerlijk cijfer te krijgen, moeten wetenschappers ervoor zorgen dat de computer de examenvragen nog nooit eerder heeft gezien, en dat hij niet alleen minuscule, onzichtbare patronen in de pixels aan het onthouden is die toevallig herhalen. Dit artikel duikt in dat exacte probleem en vraagt: als we de data echt, echt goed opschonen, verandert het cijfer van de computer dan echt, of was hij gewoon geluksvogel?

Maak kennis met Cethraian-X, een nieuw "clean room"-experiment ontworpen om het vermogen van een computer te testen om borstkas-röntgenfoto's te lezen zonder te spieken. De onderzoekers namen een enorme, beroemde collectie van 112.120 borstkas-röntgenfoto's en onderwierpen deze aan een rigoureuze audit. Denk aan een detective die een plaats delict schoonmaakt: ze verwijderden alle dubbele foto's, controleerden of geen enkele patiënt zowel in de "oefengroep" als in de "eindexamen-groep" voorkwam, en scanden zelfs de digitale code van de afbeeldingen om er zeker van te zijn dat geen twee plaatjes stiekem identieke tweelingen waren. Ze wilden zien of de prestaties van de computer zouden dalen zodra deze sluwe kortere wegen werden geblokkeerd.

De computer die ze testten was een standaard, bekend AI-model genaamd DenseNet-121, wat lijkt op een zeer slimme maar basisale student. De onderzoekers lieten deze student de examens drie keer afleggen, gebruikmakend van drie verschillende "random seeds" (denk aan deze als verschillende startpunten voor het brein van de student) om te zien of de resultaten consistent waren. Ze hielden de rest exact hetzelfde: dezelfde foto's, dezelfde regels en dezelfde manier van nakijken.

Dit is wat ze vonden. Nadat ze de data volledig hadden schoongemaakt van al die dubbele en overlappende afbeeldingen, veranderde het algemene cijfer van de computer nauwelijks. Het behaalde een macro ROC-AUC van 0,80976 ± 0,00027. Om dat in perspectief te plaatsen: de oorspronkelijke, iets "vuilere" versie van de test had een score van 0,81030. Het verschil was minuscuul — slechts -0,00054. Dit suggereert dat voor deze specifieke computer en dit specifieke dataset, het "spieken" het cijfer niet veel heeft opgepompt. De computer was stabiel; hij kreeg hetzelfde resultaat of de data nu rommelig was of perfect schoon.

Echter, het artikel bevat een zeer belangrijke "maar". Hoewel de computer goed was in het rangschikken van ziekten (bijvoorbeeld zeggen: "deze patiënt heeft een grotere kans op een nodule dan die andere"), was hij vreselijk in het geven van echte waarschijnlijkheden. Wanneer de computer zei dat er een "70% kans" op een ziekte was, was dat niet echt 70%. De onderzoekers probeerden dit te herstellen met een techniek genaamd "temperature scaling", wat zoiets is als het aanpassen van de thermostaat op het zelfvertrouwen van de computer, maar zelfs na deze correctie waren de getallen nog steeds niet kloppend. De "Brier skill"-score, die meet hoe goed een voorspelling is vergeleken met simpelweg het gemiddelde raden, was diep negatief (-1,32902). Dit betekent dat de vertrouwenscijfers van de computer slechter waren dan nutteloos voor het nemen van echte medische beslissingen.

De studie keek ook naar specifieke ziekten. Voor iets algemeens als Effusie (vocht in de longen) was de computer redelijk. Maar voor zeldzame zaken zoals een Hernia leek de computer verbazingwekkend goed te presteren met een score van 0,91302, maar de onderzoekers waarschuwen dat dit misleidend is omdat er slechts 86 positieve gevallen in de testgroep waren — een klein aantal dat de score instabiel en onbetrouwbaar maakt. Vergelijkbaar daarmee was voor Pneumonie het vermogen van de computer om de ziekte te vinden (Average Precision) erg laag, rond de 0,05258, wat nauwelijks beter is dan willekeurig gokken gezien hoe zeldzaam de positieve gevallen in de testset waren.

De auteurs zijn zeer duidelijk over wat dit artikel niet is. Ze stellen expliciet dat dit geen medische doorbraak is. Ze hebben niet bewezen dat deze computer een arts kan vervangen, noch hebben ze aangetoond dat het werkt bij patiënten in een echt ziekenhuis. Sterker nog, ze noemen tien specifieke beperkingen, waaronder het feit dat de "labels" (de namen van de ziekten) afkomstig waren van radiologieverslagen geschreven door mensen, en niet van deskundige artsen die elke individuele afbeelding hebben gecontroleerd. Ze geven ook toe dat ze de computer niet op een andere dataset hebben getest, dus we weten niet of het elders zou werken.

Uiteindelijk is Cethraian-X een "reality check" voor het vakgebied van AI. Het laat zien dat hoewel we onze data perfect schoon kunnen maken en onze experimenten perfect reproduceerbaar kunnen maken, het onderliggende computermodel nog steeds moeite heeft om ons betrouwbare getallen te geven voor de echte wereld van de geneeskunde. De computer kan de plaatjes wel sorteren, maar hij kan een arts nog niet vertellen: "Ik ben voor 90% zeker dat deze patiënt ziek is." Voor nu staat dit werk als een solide, schone benchmark waarmee onderzoekers hun toekomstige ideeën kunnen testen, maar het trekt een harde lijn in het zand: we zijn nog niet klaar om deze machines klinische beslissingen te laten nemen.