Evaluation Metrics for Image Classification, Segmentation and Localization Mathematical Foundations, Comparative Analysis and Research Recommendations
Diese kritische Rezension synthetisiert 150 Referenzen, um 72 Evaluationsmetriken für Bildklassifizierung, Segmentierung und Lokalisierung systematisch zu kategorisieren und zu vergleichen, wobei sie mathematische Grundlagen, durchgerechnete Beispiele und Forschungsempfehlungen bietet, um die Auswahl geeigneter, komplementärer Metriken für reproduzierbare und klinisch valide Studien zu leiten.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt der medizinischen Bildgebung sind Computer bemerkenswert geschickt darin geworden, Bilder des menschlichen Körpers zu analysieren. Sie können einen Tumor entdecken, die Umrisse eines Organs nachzeichnen oder einen spezifischen Orientierungspunkt an einem Knochen lokalisieren. Doch es gibt eine verborgene Falle bei der Art und Weise, wie wir diese Maschinen beurteilen. Stellen Sie sich einen Schüler vor, der eine Prüfung ablegt, bei der der Lehrer ihn nur nach der Endpunktzahl bewertet, ohne sich anzusehen, welche spezifischen Fragen er falsch beantwortet hat. Wenn der Schüler bei einigen schwierigen Fragen geraten hat, aber dutzende leichte Fragen falsch beantwortete, könnte eine einfache Punktzahl verschleiern, dass er das Fach eigentlich nicht beherrscht. Auf die gleiche Weise kann ein Computermodell brillant erscheinen, weil es eine hohe Zahl in einem Standardtest erreicht, während es heimlich daran scheitert, die seltenen Krankheiten zu finden, die Ärzte am dringendsten aufzuspüren brauchen, oder die Ränder eines Tumors so schlecht zeichnet, dass ein Chirurg die Karte nicht verwenden kann. Das Kernproblem ist, dass die Werkzeuge, mit denen wir den Erfolg messen, oft nicht mit der realen Aufgabe übereinstimmen, die der Computer tatsächlich erfüllen soll.
Zwei Forscher, Behnam Kiani Kalejahi und Mohammad Javad Rajabi, haben einen umfassenden Leitfaden geschrieben, um dieses Missverhältnis zu beheben. Sie haben kein neues Computerprogramm entwickelt, um Krankheiten zu finden. Stattdessen haben sie eine neue Art des Denkens darüber entwickelt, wie man die bereits existierenden Programme misst. Sie haben hunderte bestehender Studien und mathematischer Methoden überprüft, um eine klare Landkarte darüber zu erstellen, was verschiedene Messungen tatsächlich aussagen. Ihre Arbeit ist eine kritische Rezension, was bedeutet, dass sie die Regeln des Spiels analysiert haben, anstatt das Spiel selbst zu spielen. Sie fanden heraus, dass das Feld voller Verwirrung steckt, weil Wissenschaftler oft dieselben Wörter verwenden, um unterschiedliche Dinge zu beschreiben, oder weil sie eine Messung wählen, die ihr Modell gut aussehen lässt, während sie dessen Fehler verbirgt. Die Arbeit argumentiert, dass es nicht den einen „besten“ Wert gibt. Stattdessen erfordert eine zuverlässige Bewertung einen kleinen, sorgfältig ausgewählten Satz verschiedener Messungen, die spezifische Fragen darüber beantworten, wie sich der Computer verhält.
Die Forscher haben ihre Erkenntnisse nach der Art der Aufgabe organisiert, die der Computer ausführt. Für die Aufgabe, lediglich zu entscheiden, ob eine Krankheit vorhanden oder nicht vorhanden ist, erklären sie, dass eine hohe Gesamtgenauigkeit irreführend sein kann, wenn die Krankheit selten ist. Sie zeigen, dass ein Modell zu 99 Prozent der Zeit richtig liegen könnte, indem es bei jedem einzelnen Patienten einfach „keine Krankheit“ diagnostiziert, doch würde es damit eine einzige kranke Person übersehen. Um dies zu vermeiden, bestehen sie darauf, dass Wissenschaftler angeben müssen, wie gut das Modell die Kranken findet und wie oft es Fehlalarme bei Gesunden auslöst, anstatt nur eine einzige Durchschnittszahl zu liefern. Sie weisen auch darauf hin, dass der Konfidenzwert (Vertrauenswert) eines Modells nicht dasselbe ist wie seine tatsächliche Genauigkeit. Ein Computer kann sich bei einer falschen Antwort sehr sicher sein, und Standardtests versäumen es oft, dies zu erfassen. Die Autoren schlagen vor, dass Forscher prüfen müssen, ob das Vertrauen des Computers mit der Realität übereinstimmt – also sicherzustellen, dass er, wenn er sagt, er sei sich zu 90 Prozent sicher, tatsächlich in 90 Prozent der Fälle auch recht hat.
Wenn die Aufgabe von einfachen Ja-Nein-Antworten zum Zeichnen von Umrissen übergeht, ändern sich die Regeln erneut. In diesem Bereich, der als Segmentierung bekannt ist, muss der Computer eine Form um ein bestimmtes Organ oder eine Läsion zeichnen. Die Forscher demonstrieren, dass zwei Modelle exakt denselben Wert für die Überlappung ihrer Zeichnung mit der korrekten Form haben können, wobei das eine Modell jedoch einen perfekten Kreis an der falschen Stelle zeichnet, während das andere eine gezackte Linie zeichnet, die den richtigen Punkt berührt. Sie zeigen, dass eine einzige Zahl nicht den Unterschied zwischen einem kleinen Fehler in der Mitte eines großen Organs und einem massiven Fehler an einer winzigen, kritischen Struktur erklären kann. Sie stellten fest, dass Wissenschaftler die Ränder dieser Zeichnungen oft ignorieren, aber in der Medizin ist der Rand oft der wichtigste Teil. Wenn ein Computer ein winziges Stück der Tumorgrenze übersieht, könnte dies dazu führen, dass ein Patient zu wenig Behandlung erhält. Die Arbeit drängt Forscher dazu, den Abstand zwischen der gezeichneten Linie und der wahren Linie zu messen, nicht nur, wie sehr sich die Formen überschneiden.
Bei der Aufgabe, spezifische Objekte wie einzelne Zellen oder Tumore zu finden und zu zählen, heben die Forscher hervor, wie leicht Ergebnisse dadurch manipuliert werden können, wie der Computer seine Funde mit der Wahrheit abgleicht. Sie erklären, dass es als Fehler gezählt werden sollte, wenn ein Computer denselben Tumor zweimal findet, doch viele Standardtests erfassen dies nicht. Sie zeigen auch, dass die Art und Weise, wie Forscher ihre Ergebnisse mitteln, das Ranking, welcher Computer der beste ist, komplett verändern kann. In einem ihrer detaillierten Beispiele erstellten sie ein Szenario, in dem ein Computer besser aussah, wenn man die Werte der einzelnen Patienten mittelte, während ein anderer Computer besser aussah, wenn man die Gesamtzahl der Pixel mittelte. Beide Computer waren identisch; nur die Mathematik änderte die Geschichte. Dies beweist, dass die Wahl der Art und Weise, wie Zahlen kombiniert werden, genauso wichtig ist wie die Zahlen selbst.
Die Arbeit befasst sich auch mit dem Thema der Unsicherheit und des menschlichen Elements. In einem echten Krankenhaus arbeitet ein Computer nicht im Vakuum; er arbeitet Hand in Hand mit Ärzten. Die Forscher zeigen, dass ein Modell, das sich weigert zu antworten, wenn es unsicher ist, nützlicher sein kann als eines, das selbstbewusst rät und dabei falsch liegt. Sie beschreiben eine Methode, bei der ein Computer „Ich weiß es nicht“ sagen und den Fall an einen menschlichen Arzt überweisen kann. Dies verbessert die Gesamtsicherheit des Systems, aber Standardtests ignorieren diese Überweisungen oft und betrachten nur die Fälle, die der Computer zu lösen versucht hat. Die Autoren argumenten, dass eine vollständige Bewertung auch die Überweisungen und die Fehler zählen muss, die auftreten, nachdem ein Mensch die Arbeit überprüft hat. Sie warnen zudem vor der Verwendung von „Fidelity“-Scores (Treue-Werten), die messen, wie realistisch ein generiertes Bild aussieht, als Ersatz für die Prüfung, ob der Computer tatsächlich die Krankheit gefunden hat. Ein Bild kann wunderschön und perfekt aussehen, während es das entscheidende medizinische Detail völlig vermissen lässt.
Im Laufe ihrer Analyse liefern die Autoren zehn spezifische, durchgearbeitete Beispiele, um ihre Punkte zu beweisen. Dies sind keine echten Patientendaten, sondern sorgfältig konstruierte Szenarien, die wie kontrollierte Experimente wirken. In einem Fall zeigen sie, wie ein Modell einen hohen Wert beim Finden von Tumoren erzielen kann, aber dennoch Schwierigkeiten hat, die seltenen, gefährlichen Tumore zu finden, weil der Test auf häufige Fälle gewichtet war. In einem anderen demonstrieren sie, wie eine winzige Verschiebung der physischen Größe eines Pixels dazu führen kann, dass ein Computer besser oder schlechter abschneidet, obwohl sich seine tatsächliche Leistung nicht verändert hat. Diese Beispiele dienen als Warnung davor, dass die in wissenschaftlichen Arbeiten berichteten Zahlen fragil sind und vollständig von den spezifischen Regeln abhängen, die zur Berechnung verwendet werden.
Die Forscher kommen zu dem Schluss, dass das Feld aufhören muss, einem einzelnen Leaderboard-Score hinterherzujagen. Stattdessen schlagen sie eine Checkliste für jeden vor, der eine Studie entwirft. Diese Checkliste zwingt Wissenschaftler dazu, genau zu definieren, was sie messen, an wem sie messen und was die Regeln für die Zählung eines Erfolgs oder eines Fehlers sind, noch bevor sie überhaupt die Ergebnisse betrachten. Sie bestehen darauf, dass die Maßeinheit mit der Einheit der Behauptung übereinstimmen muss. Wenn ein Arzt sich um den Patienten kümmert, muss der Score auch um den Patienten gehen und nicht nur um die einzelnen Bildschichten. Wenn ein Chirurg die Grenze eines Tumors wissen muss, muss der Score die Grenze messen und nicht nur das Volumen. Die Arbeit behauptet nicht, das Problem der medizinischen KI gelöst zu haben, aber sie liefert die wesentlichen Werkzeuge, um aufzuhören, die falschen Dinge zu messen. Indem die Messung mit dem eigentlichen Ziel in Einklang gebracht wird, können Forscher endlich sehen, welche Modelle wirklich hilfreich sind und welche nur gut darin sind, Tests zu bestehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.