Native image geometry and cross-partition patient overlap in a checksum-identified public liver ultrasound release: an audit of SMC-LUD

Stel je een wereld voor waarin computers worden geleerd om ziekten te zien in medische beelden, als een tweede paar ogen voor artsen. Een van de meest gebruikte hulpmiddelen hiervoor is echografie, waarbij geluidsgolven worden gebruikt om beelden van de binnenkant van het lichaam te maken, zoals de lever. Omdat deze machines breed beschikbaar en relatief goedkoop zijn, hebben wetenschappers enorme collecties van deze beelden verzameld om kunstmatige intelligentie te trainen. De hoop is dat deze computerprogramma's kunnen leren om gevaarlijke tumoren, zoals leverkanker, of onschuldige knobbeltjes, zoals goedaardige gezwellen, te herkennen door simpelweg naar de plaatjes te kijken. Voor deze training moet de computer leren de werkelijke ziekte te herkennen, en niet alleen willekeurige details over hoe de foto is gemaakt. Als de computer een afkorting leert—zoals het antwoord raden op basis van de grootte van het afbeeldingsbestand in plaats van de vorm van de tumor—zal hij falen wanneer hij een nieuwe patiënt ontmoet in een echt ziekenhuis.

Een team van onderzoekers besloot onlangs heel nauwkeurig naar een beroemde collectie lever-echografiebeelden te kijken die openbaar was gemaakt voor wetenschappers om te gebruiken. Deze collectie, bekend als de SMC-LUD, was bedoeld als een gouden standaard voor het testen van deze computerprogramma's. De oorspronkelijke beschrijving zei dat de beelden afkomstig waren van meer dan duizend verschillende patiënten en dat de gegevens zorgvuldig waren verdeeld in groepen, zodat geen enkele patiënt in meer dan één groep voorkwam. Deze scheiding is cruciaal; als de beelden van een patiënt zowel in de trainingsgroep als in de testgroep voorkomen, kan de computer simpelweg de specifieke anatomie van die persoon onthouden in plaats van de ziekte te leren diagnosticeren. De onderzoekers downloadden de volledige collectie en begonnen een minutieuze audit, waarbij ze elk enkel bestand controleerden om te zien of de werkelijkheid overeenkwam met de belofte.

Wat zij vonden was een reeks verrassingen die onze kijk op deze dataset veranderden. Ten eerste ontdekten zij dat de computer de ziekte met perfecte nauwkeurigheid kon identificeren door simpelweg naar de vorm van de afbeelding te kijken, zonder zelfs de lever binnenin te zien. Elk beeld van een kwaadaardige tumor was een perfect vierkant, terwijl elk beeld van een goedaardige groei een rechthoek was. Het was alsof de bestanden waren gestempeld met een verborgen label dat "kanker" of "niet kanker" zei, gebaseerd op hun afmetingen. Dit betekende dat een computerprogramma een perfecte score kon halen op een test door simpelweg te controleren of de afbeelding vierkant was, waarbij het de medische inhoud volledig negeerde. Dit is een klassiek voorbeeld van een technische afkorting, waarbij de machine een patroon leert in het proces van gegevensverzameling in plaats van de medische realiteit.

De audit onthulde ook dat de gegevens niet zo gescheiden waren als beweerd. Het oorspronkelijke rapport stelde dat patiënten in aparte groepen werden gehouden, maar toen de onderzoekers de werkelijke mappen op hun computers telden, ontdekten zij dat meer dan zestig procent van de patiënten verspreid was over de trainings-, test- en validatiegroepen. Sterker nog, bijna alle patiënten in de testgroep hadden ook beelden in de trainingsgroep. Dit is als het geven van een toets aan een student die vragen krijgt die hij al eerder heeft gezien in zijn huiswerkboek. Wanneer de onderzoekers de computertests opnieuw uitvoerden met alleen patiënten die in slechts één groep voorkwamen, daalde de prestatie van de computer, hoewel deze nog steeds vrij hoog bleef. Echter, toen zij de computer dwongen om de vormen van de afbeeldingen te negeren en alle plaatjes op dezelfde manier te behandelen, ging de prestatie weer terug naar perfect. Dit suggereerde dat zelfs nadat de overduidelijke vormclues waren verwijderd, andere subtiele technische details van hoe de beelden waren opgeslagen, de computer nog steeds een onrechtvaardig voordeel gaven.

De onderzoekers ontdekten ook dat de cijfers in de officiële beschrijving niet overeenkwamen met de bestanden die zij hadden gedownload. De beschrijving beweerde dat er meer dan vijf duizend beelden waren van meer dan duizend patiënten, maar de werkelijke bestanden toonden iets andere aantallen en een ander aantal patiëntenmappen. Sommige patiëntnamen in de officiële lijst hadden geen enkele afbeelding, terwijl sommige afbeeldingsmappen geen naam in de lijst hadden. Deze discrepanties suggereren dat de gegevens niet zorgvuldig waren gecontroleerd voordat ze werden vrijgegeven. De studie bewees niet dat de oorspronkelijke artsen fouten hadden gemaakt in hun medische werk, maar het toonde wel aan dat het digitale pakket dat zij vrijgaven rommelig was en verborgen aanwijzingen bevatte die kunstmatige intelligentie konden misleiden.

Dit onderzoek dient als een krachtige herinnering dat we uiterst voorzichtig moeten zijn wanneer we medische gegevens delen voor computergestuurd leren. Het doel is om machines te leren een ziekte te begrijpen, niet om de eigenaardigheden van een specifieke camera of de gewoonten van een specifieke technicus te herkennen. De onderzoekers concludeerden dat toekomstige publicaties van medische beelden veel transparanter moeten zijn. Zij stellen voor dat iedereen die dergelijke gegevens vrijgeeft, een duidelijke, onveranderlijke lijst moet verstrekken die elk beeld aan een specifieke patiënt koppelt en bevestigt dat geen enkele patiënt twee keer voorkomt. Ze raden ook aan om te controleren of alle beelden hetzelfde zijn qua grootte en formaat, zodat er geen verborgen patronen in kunnen sluipen. Zonder deze waarborgen kunnen de hoge scores die we op computertests zien een illusie zijn, en is de technologie misschien nog niet klaar om artsen in de echte wereld te helpen levens te redden.