Multimodal Skin Lesion Classification with Swin Transformer and Clinical Metadata Fusion
Dit artikel stelt een multimodale huidlaesieclassificatie-framework voor dat Swin Transformer-afgeleide beeldkenmerken fuseert met klinische metadata, waarbij een hoge nauwkeurigheid en betrouwbaarheid wordt bereikt door temperatuur-schaalcalibratie en onzekerheidsschatting, terwijl het tegelijkertijd een sterke interpreteerbaarheid demonstreert.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar in plaats van een plaats delict, kijk je naar een piepklein, lastig plekje op iemands huid. In de wereld van de geneeskunde is het vroeg opsporen van huidkanker als het vinden van een naald in een hooiberg voordat de naald schade kan aanrichten. Lange tijd hebben artsen speciale vergrootglazen gebruikt, genaamd dermoscopen, om beter naar deze plekjes te kijken, maar zelfs met de vergrootglas is het ongelooflijk moeilijk om het verschil te zien tussen een onschuldige sproet en een gevaarlijke tumor. Somsom zien twee verschillende soorten plekjes er bijna identiek uit, en soms ziet hetzelfde type plekje er totaal anders uit, afhankelijk van waar het op het lichaam zit of hoe de patiënt eruitziet. Dit is waar computerwetenschap in beeld komt, als een superkrachtige assistent. Wetenschappers hebben computers geleerd om deze plekjes te "zien" met behulp van deep learning, een vorm van kunstmatige intelligentie die leert door naar duizenden voorbeelden te kijken, net zoals een student die studeert voor een groot examen. Echter, alleen naar de foto kijken is niet altijd genoeg; de computer heeft ook het "verhaal" achter de foto nodig, zoals hoe oud de patiënt is of waar de plek zich bevindt, om de beste gok te kunnen doen.
Dit artikel introduceert een nieuwe, slimmere manier voor computers om detective te spelen. De onderzoekers bouwden een systeem dat niet alleen naar de foto van de huidlaesie staart; het leest ook de klinische aantekeningen van de patiënt, zoals leeftijd, geslacht en het exacte lichaamsdeel waar de plek zich bevindt. Ze noemen dit "multimodale leerprocessen", wat een chique manier is om te zeggen dat de computer meerdere zintuigen tegelijk gebruikt—zicht en context—om het puzzelstukje op te lossen. Om dit te doen, gebruikten ze een krachtig hulpmiddel genaamd een "Swin Transformer", wat een zeer geavanceerde cameralens is die kan inzoomen op minuscule details en kan begrijpen hoe verschillende delen van de afbeelding met elkaar samenhangen, in plaats van alleen een wazige vlek te zien. Het team testte hun systeem op een enorme publieke collectie huidafbeeldingen die bekend staat als HAM10000, die meer dan 10.000 foto's van verschillende huidcondities bevat. Ze stuitten op een lastige uitdaging: de dataset was ongebalanceerd, wat betekende dat er ontzettend veel foto's waren van veelvoorkomende, onschadelijke plekjes en heel weinig van zeldzame, gevaarlijke plekjes. Als de computer gewoon elke keer "onschadelijk" zou gokken, zou hij een hoge score halen, maar de gevaarlijke gevallen missen.
Om dit op te lossen, leerden de onderzoekers hun model om extra aandacht te besteden aan de zeldzame plekjes, een beetje zoals een leraar die ervoor zorgt dat een student de moeilijkste vragen op het examen bestudeert, en niet alleen de makkelijke. Ze voegden ook een speciale "kalibratiestap" toe, wat lijkt op het afstemmen van een radio om ervoor te zorgen dat het volume overeenkomt met het werkelijke geluid. Dit zorgt ervoor dat wanneer de computer zegt dat hij "90% zeker" is van een diagnose, hij ook echt 90% zeker is, in plaats van alleen maar zelfverzekerd te gokken. De resultaten waren indrukwekkend. Het nieuwe systeem behaalde een testnauwkeurigheid van 92,55% en een macro F1-score van 91,33%. Dit betekent dat het zeer goed was in het identificeren van alle soorten laesies, inclusief de zeldzame en gevaarlijke, zonder in de war te raken door de veelvoorkomende. Wanneer ze hun systeem vergeleken met andere systemen die alleen naar de afbeeldingen keken of alleen naar de patiëntgegevens, was hun gecombineerde aanpak de duidelijke winnaar. Het model dat alleen naar afbeeldingen keek, behaalde een nauwkeurigheid van 88,62%, en het model dat alleen naar gegevens keek, bleef ver achter met 11,13%, wat bewijst dat je echt zowel de foto als het verhaal nodig hebt om het beste antwoord te krijgen.
Het artikel laat ons ook zien hoe de computer zijn beslissingen neemt. Met behulp van een techniek genaamd "uitlegbare AI" (explainable AI), creëerden de onderzoekers heatmaps die precies benadrukken naar welke delen van de huidafbeelding de computer kijkt. Deze kaarten toonden aan dat het model zich concentreerde op de eigenlijke laesie, waarbij het afleidingen zoals haar of de kleur van de omliggende huid negeerde, precies wat een menselijke arts zou doen. Bovendien, door een methode genaamd "temperature scaling" toe te passen, brachten ze de "expected calibration error" terug van 5,18% naar 0,91%. Dit is een enorme verbetering, wat betekent dat de vertrouwensniveaus van de computer nu veel betrouwbaarder zijn. Hoewel het artikel suggereert dat dit een sterke en betrouwbare aanpak is voor automatische classificatie van huidlaesies, merkt het ook op dat toekomstig werk nodig is om deze bevindingen op verschillende groepen mensen te testen en om nog meer gedetailleerde medische informatie op te nemen. Voor nu laat deze studie zien dat wanneer je een scherp oog voor afbeeldingen combineert met een slim begrip van de context van de patiënt, je een veel nauwkeurigere en betrouwbaardere medische assistent krijgt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.