Calibration and Threshold Selection of Machine Learning Classifiers for Breast Tumour Diagnosis: A Decision-Support Study for Al-Driven Clinical Screening
Diese Studie bewertet die Leistung, Kalibrierung und Schwellenwertselektion von vier Machine-Learning-Klassifikatoren auf dem Wisconsin Diagnostic Breast Cancer Datensatz und zeigt auf, dass die Modelle zwar eine hohe Genauigkeit und einen hohen AUC-Wert erreichen, ihre Wahrscheinlichkeitskalibrierung jedoch je nach Algorithmus variiert und das Erreichen angestrebter Sensitivitätsschwellenwerte aufgrund begrenzter Stichprobengrößen ungewiss bleibt, was kritische Überlegungen für die KI-gestützte klinische Entscheidungsunterstützung hervorhebt.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt des medizinischen Screenings besteht das Ziel oft schlicht darin, die richtige Antwort zu erhalten: Ist ein Knoten in der Brust ein harmloses Wachstum oder ein gefährlicher Krebs? Seit Jahrzehnten entwickeln Wissenschaftler Computerprogramme, die Ärzten dabei helfen sollen, diese Unterscheidung zu treffen, indem sie Bilder von Zellen analysieren, die bei einer Biopsie entnommen wurden. Diese Programme, bekannt als Machine-Learning-Klassifikatoren, untersuchen Dutzende winziger Messwerte – wie etwa die Größe eines Zellkerns oder die Textur seiner Oberfläche –, um eine Vorhersage zu treffen. Damit ein Computer jedoch ein wirklich nützlicher Partner in der Arztpraxis sein kann, muss er mehr tun, als nur meistens richtig zu liegen. Er muss auch ehrlich über seine eigene Gewissheit sein. Wenn ein Computer sagt, dass die Wahrscheinlichkeit für Krebs bei neunzig Prozent liegt, muss diese Zahl die Realität widerspiegeln und nicht bloß eine Vermutung sein. Darüber hinaus muss der Punkt, an dem der Computer Alarm schlägt, sorgfältig gewählt werden. In der Medizin ist das Übersehen eines Krebses weitaus kostspieliger als das Auslösen eines Fehlalarms, daher benötigt das System eine Regel, die darauf abzielt, jeden möglichen Fall zu erfassen, selbst wenn dies bedeutet, einige gesunde Menschen genauer untersuchen zu müssen.
Eine aktuelle Studie von Kartik Phopase an der Sanjivani University in Indien untersucht genau diese zwei kritischen Fragen anhand eines bekannten medizinischen Datensatzes namens „Wisconsin Diagnostic Breast Cancer dataset“. Dieser Datensatz enthält Informationen zu 569 Patienten, wobei Messungen aus digitalisierten Bildern ihrer Zellen vorgenommen wurden. Die Forscher wollten sehen, ob verschiedene Arten von Lernmodellen vertrauenswürdige Wahrscheinlichkeitswerte liefern und ob die Regeln, die sie verwenden, um einen Patienten als „gefährdet“ einzustufen, Bestand haben, wenn sie an neuen, unbekannten Menschen getestet werden. Sie verglichen vier verschiedene Arten von Lernalgorithmen, die von einfachen statistischen Methoden bis hin zu komplexen Systemen reichen, die hunderte von Entscheidungsbäumen aufbauen, und testeten diese unter zwei Bedingungen: einmal unter Verwendung der zehn durchschnittlichen Messwerte der Zellen und einmal unter Verwendung aller dreißig verfügbaren Messwerte.
Die Studie begann damit, diese Computermodelle mit einem großen Teil der Daten zu trainieren und sie dann an einer separaten Gruppe von Patienten zu testen, die sie zuvor noch nie gesehen hatten. Die Ergebnisse zeigten, dass alle Modelle unglaublich geschickt darin waren, zwischen krebsartigem und nicht krebsartigem Gewebe zu unterscheiden. Tatsächlich waren sie so gut, dass die Unterschiede zwischen ihnen statistisch unbedeutend waren. Unabhängig davon, ob der Computer nur die zehn durchschnittlichen Messwerte oder alle dreißig verfügbaren Details verwendete, waren die leistungsstärksten Modelle nahezu identisch in ihrer Fähigkeit, die beiden Gruppen zu trennen. Dieser Befund deutet darauf an, dass es für diesen spezifischen Datentyp weniger wichtig ist, welchen komplexen Algorithmus man verwendet, als vielmehr sicherzustellen, dass das System korrekt konfiguriert ist. Die Forscher fanden heraus, dass das Hinzufügen detaillierterer Messwerte die Werte zwar leicht verbesserte, die Verbesserung jedoch so geringfügig war, dass sie die Gesamtschlussfolgerung nicht änderte: Die Technologie hat für diese spezifische Aufgabe bereits ihre Grenze erreicht.
Die überraschendere und praktischere Entdeckung betraf die Frage, wie gut diese Computer ihre Zuversicht kommunizieren. Eine verbreitete Annahme auf diesem Gebiet ist, dass man die Rohausgabe eines Computers immer mit einer mathematischen Formel anpassen kann, um die Wahrscheinlichkeiten genauer zu machen. Die Forscher testeten dies, indem sie die Vorhersagen ihrer Modelle mit zwei verschiedenen Anpassungsmethoden verarbeiteten. Sie fanden heraus, dass bei einigen Modellen, insbesondere den einfacheren statistischen, die Rohzahlen bereits vertrauenswürdig waren. Ein Versuch, sie anzupassen, machte die Vorhersagen tatsächlich schlechter und führte zu mehr Fehlern. Bei den komplexeren Modellen, die viele Entscheidungsbäume aufbauen, half eine andere Art der Anpassung zwar ein wenig, aber die Verbesserung war bescheiden. Die zentrale Erkenntnis ist, dass es keine universelle Lösung gibt. Ein System, das bereits gut kalibriert ist, muss nicht „neu abgestimmt“ werden, und die Anwendung einer Standardanpassung auf jedes System kann manchmal mehr Schaden als Nutzen anrichten.
Die wohl wichtigste Lektion aus der Studie bezieht sich auf den Entscheidungsschwellenwert, also den spezifischen Punkt, an dem der Computer von „wahrscheinlich gutartig“ zu „wahrscheinlich bösartig“ umschaltet. Die Forscher versuchten, eine Regel festzulegen, die mindestens fünfundneunzig Prozent aller Krebsfälle erfassen würde – ein sehr hoher Sicherheitsstandard. Sie optimierten diese Regel anhand der Trainingsdaten, bei denen der Computer die Antworten bereits kannte. Als sie dieselbe Regel auf die neue, unbekannte Patientengruppe anwandten, erfüllte sie das Ziel nicht. Anstatt fünfundneunzig Prozent der Krebsfälle zu erfassen, erfasste sie etwa dreiundneunzig Prozent. Diese Lücke entstand, weil die geringe Anzahl an Krebsfällen in der Testgruppe bedeutete, dass ein einziger verpasster Fall den Prozentsatz signifikant veränderte. Die Studie zeigt, dass eine Regel, die in den Trainingsdaten perfekt aussieht, nicht garantiert, in der realen Welt ebenso zu funktionieren. Die inhärente Unsicherheit kleiner Stichproben bedeutet, dass Ärzte sich nicht auf eine einzige Zahl verlassen können, um Sicherheit zu gewährleisten.
Letztlich dient diese Forschung als warnender Leitfaden für die Entwicklung von Werkzeugen der künstlichen Intelligenz im Gesundheitswesen. Sie zeigt, dass Computer zwar exzellent darin sein können, Muster zu erkennen, der Weg von einem hohen Score zu einem zuverlässigen medizinischen Instrument jedoch voller subtiler Fallen steckt. Die Studie bestätigt, dass die Modelle für diesen spezifischen Datensatz bereits hochgradig genau sind, ihr wahrer Wert jedoch davon abhängt, wie ihre Wahrscheinlichkeiten gemeldet und wie ihre Alarmschwellen eingestellt werden. Der Autor legt nahe, dass zukünftige Systeme nicht nur eine einzelne Risikozahl melden sollten, sondern auch aufzeigen sollten, wie unsicher diese Zahl ist. Er argumentiert, dass die Festlegung eines Sicherheitsziels basierend auf einer kleinen Gruppe von Trainingsdaten riskant ist und dass jede Regel, die einen medizinischen Alarm auslöst, mit unabhängigen Daten getestet werden sollte, wobei man sich darüber im Klaren sein muss, dass sie sich möglicherweise nicht exakt wie erwartet verhält. Der Weg nach vorn besteht nicht nur darin, den klügsten Algorithmus zu finden, sondern auch rigoros zu testen, wie sich dieser Algorithmus verhält, wenn der Einsatz hoch ist und die Daten neu sind.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.