Multimodal Skin Lesion Classification with Swin Transformer and Clinical Metadata Fusion
Dieses Paper schlägt ein multimodales Framework zur Klassifizierung von Hautläsionen vor, das durch die Fusion von aus dem Swin Transformer abgeleiteten Bildmerkmalen mit klinischen Metadaten eine hohe Genauigkeit und Zuverlässigkeit durch Temperature Scaling Kalibrierung und Unsicherheitsschätzung erreicht und gleichzeitig eine starke Interpretierbarkeit aufweist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber anstatt eines Tatorts betrachten Sie einen winzigen, tückischen Fleck auf der Haut von jemandem. In der Welt der Medizin ist das frühzeitige Erkennen von Hautkrebs wie das Finden einer Nadel im Heuhaufen, bevor die Nadel Schaden anrichten kann. Lange Zeit haben Ärzte spezielle Lupen namens Dermoskope verwendet, um einen besseren Blick auf diese Flecken zu bekommen, aber selbst mit der Lupe ist es unglaublich schwer, den Unterschied zwischen einem harmlosen Leberfleck und einem gefährlichen Tumor zu erkennen. Manchmal sehen zwei verschiedene Arten von Flecken fast identisch aus, und manchmal sieht derselbe Typ von Fleck völlig anders aus, je nachdem, wo er sich am Körper befindet oder wie der Patient aussieht. Hier kommt die Informatik ins Spiel, die als supermächtiger Assistent fungiert. Wissenschaftler haben beigebracht, dass Computer diese Flecken durch „Deep Learning“ „sehen“ können – eine Art künstliche Intelligenz, die durch das Betrachten von tausenden Beispielen lernt, ganz so wie ein Schüler, der für eine große Prüfung lernt. Doch nur das Bild anzusehen, reicht nicht immer aus; der Computer muss auch die „Geschichte“ hinter dem Bild kennen, wie etwa das Alter des Patienten oder den genauen Ort des Flecks, um die beste Vermutung anzustellen.
Dieses Paper stellt eine neue, intelligentere Art vor, wie Computer Detektiv spielen können. Die Forscher bauten ein System, das nicht nur das Foto des Hautläsion betrachtet, sondern auch die klinischen Notizen des Patienten liilt, wie Alter, Geschlecht und den exakten Körperteil, an dem sich der Fleck befindet. Sie nennen dies „multimodales Lernen“, was eine schicke Art zu sagen ist, dass der Computer mehrere Sinne gleichzeitig nutzt – Sehen und Kontext –, um das Rätsel zu lösen. Um dies zu erreichen, verwendeten sie ein leistungsstarkes Werkzeug namens „Swin Transformer“, das wie ein sehr fortschrittliches Kameraobjektiv ist, das in der Lage ist, in winzige Details hineinzuzoomen und zu verstehen, wie verschiedene Teile des Bildes miteinander in Beziehung stehen, anstatt nur einen verschwommenen Klecks zu sehen. Das Team testete ihr System auf einer massiven öffentlichen Sammlung von Hautbildern namens HAM10000, die über 10.000 Bilder verschiedener Hautzustände enthält. Dabei standen sie vor einer schwierigen Herausforderung: Der Datensatz war unausgewogen, was bedeutete, dass es Unmengen an Bildern von häufigen, harmlosen Flecken gab und nur sehr wenige von seltenen, gefährlichen. Wenn der Computer einfach gelernt hätte, jedes Mal „harmlos“ zu raten, hätte er eine hohe Punktzahl erreicht, aber die gefährlichen Fälle verpasst.
Um dies zu beheben, brachten die Forscher ihrem Modell bei, den seltenen Flecken besondere Aufmerksamkeit zu schenken, so ähnlich wie ein Lehrer, der sicherstellt, dass ein Schüler die schwierigsten Fragen in der Prüfung lernt und nicht nur die leichten. Sie fügten auch einen speziellen „Kalibrierungsschritt“ hinzu, der wie das Stimmen eines Radios ist, um sicherzustellen, dass die Lautstärke tatsächlich dem tatsächlichen Klang entspricht. Dies stellt sicher, dass, wenn der Computer sagt, er sei sich zu „90 % sicher“ einer Diagnose, er sich auch wirklich zu 90 % sicher ist, anstatt nur selbstbewusst zu raten. Die Ergebnisse waren beeindruckend. Das neue System erreichte eine Testgenauigkeit von 92,55 % und einen Makro-F1-Score von 91,33 %. Das bedeutet, dass es sehr gut darin war, alle Arten von Läsionen zu identifizieren, einschließlich der seltenen und gefährlichen, ohne durch die häufigen verwirrt zu werden. Als sie ihr System mit anderen verglichen, die entweder nur die Bilder oder nur die Patientendaten betrachteten, war ihr kombinierter Ansatz der klare Gewinner. Das bildbasierte Modell erreichte eine Genauigkeit von 88,62 %, und das datenbasierte Modell lag weit zurück bei 11,13 %, was beweist, dass man sowohl das Bild als auch die Geschichte braucht, um die beste Antwort zu erhalten.
Das Paper zeigt uns auch, wie der Computer seine Entscheidungen trifft. Unter Verwendung einer Technik namens „erklärbare KI“ (Explainable AI) erstellten die Forscher Heatmaps, die genau hervorheben, auf welche Teile des Hautbildes der Computer schaut. Diese Karten zeigten, dass das Modell sich auf die eigentliche Läsion konzentrierte und Ablenkungen wie Haare oder die Farbe der umgebenden Haut ignorierte, genau so, wie es ein menschlicher Arzt tun würde. Darüber hinaus reduzierten sie durch die Anwendung einer Methode namens „Temperatur-Skalierung“ den „erwarteten Kalibrierungsfehler“ von 5,18 % auf 0,91 %. Dies ist eine enorme Verbesserung, was bedeutet, dass die Konfidenzniveaus des Computers nun viel vertrauenswürdiger sind. Während das Paper nahelegt, dass dies ein starker und zuverlässiger Ansatz für die automatisierte Klassifizierung von Hautläsionen ist, merkt es auch an, dass weitere Arbeiten nötig sind, um diese Ergebnisse an verschiedenen Personengruppen zu testen und noch detailliertere medizinische Informationen einzubeziehen. Für den Moment zeigt diese Studie, dass man, wenn man ein scharfes Auge für Bilder mit einem klugen Verständnis des Patientenkontexts kombiniert, einen viel genaueren und vertrauenswürdigeren medizinischen Assistenten erhält.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.