ShortKit-ML: an open toolkit for measuring shortcut potential in medical imaging embeddings
ShortKit-ML ist ein offenes Toolkit, das eine kalibrierte konditionale Sonde einführt, um das Shortcut-Potenzial in eingefrorenen medizinischen Bildgebungs-Embeddings zu messen, wobei es zeigt, dass seine Scores zwar mit der Abhängigkeit von konfundierten Klassifikatoren von sensiblen Attributen wie dem Geschlecht korrelieren, das Werkzeug allein jedoch diese Abhängigkeit nicht bestätigen oder eliminieren kann, ohne auch den Klassifikator-Kopf selbst zu testen.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Die medizinische Bildgebung hat einen Punkt erreicht, an dem künstliche Intelligenz oft die menschliche Expertise bei der Erkennung von Krankheiten auf Röntgenbildern erreicht oder sogar übertrifft. Diese Systeme arbeiten, indem sie ein Bild zunächst in eine mathematische Zusammenfassung umwandeln – eine kompakte Liste von Zahlen, die die wesentlichen Merkmale des Bildes erfasst. Diese Zusammenfassung wird als „Embedding“ bezeichnet. Einmal erstellt, kann diese Zusammenfassung in ein einfacheres Computerprogramm eingespeist werden, um eine Diagnose zu stellen. Ein hoher Score garantiert jedoch nicht, dass das System auf das Richtige schaut. Manchmal verlassen sich diese Systeme auf sogenannte „Abkürzungen“ (Shortcuts). Eine Abkürzung ist ein Signal, das zufällig die richtige Antwort in den Trainingsdaten vorhersagt, aber nicht Teil der eigentlichen Krankheit ist. Beispielsweise könnte ein Modell lernen, einen Hüftbruch nicht durch das Betrachten des Knochens vorherzusagen, sondern indem es die Art des verwendeten Scanners oder das Krankenhaus bemerkt, in dem das Foto aufgenommen wurde. Wenn sich die Daten ändern, versagen diese Abkürzungen, und das Modell macht gefährliche Fehler.
Das Kernproblem besteht darin, dass diese Abkürzungen oft innerhalb der mathematischen Zusammenfassung selbst verborgen sind. Selbst noch bevor eine Diagnose gestellt wird, kann die Zusammenfassung bereits versteckte Hinweise auf das Alter, das Geschlecht oder die ethnische Zugehörigkeit eines Patienten enthalten. Wenn ein Modell diese Hinweise nutzt, um eine Entscheidung zu treffen, könnte es zu unfairen oder ungenauen Ergebnissen für bestimmte Bevölkerungsgruppen führen. Die Forscher standen lange vor der Frage, ob sie allein anhand der mathematischen Zusammenfassung feststellen können, ob diese versteckte Hinweise enthält, ohne das Originalbild oder die endgültige Diagnose zu benötigen. Wenn sie dieses „Abkürzungspotenzial“ frühzeitig messen können, könnten sie schlechte Modelle stoppen, bevor sie jemals an Patienten eingesetzt werden.
Ein Team von Forschern hat ein neues Open-Source-Tool namens ShortKit-ML entwickelt, um diese Frage zu beantworten. Ihre Arbeit konzentriert sich auf eine spezifische Art von Test: Können sie eine fertige mathematische Zusammenfassung betrachten und bestimmen, ob sie Informationen über ein sensibles Merkmal enthält, wie etwa das Geschlecht oder die ethnische Zugehörigkeit eines Patienten, die die Diagnose der Krankheit selbst nicht erklärt? Um dies zu erreichen, entwickelten sie eine Methode, die wie ein sehr sorgfältiger Filter wirkt. Sie nehmen die Zusammenfassung und das bekannte Krankheitsmerkmal und bitten ein einfaches Computerprogramm, das sensible Merkmal des Patienten zu erraten. Wenn das Programm das Merkmal besser als durch Zufall errät, selbst nachdem es das Krankheitsmerkmal kennt, bedeutet dies, dass die Zusammenfassung zusätzliche, unerwünschte Informationen enthält. Um sicherzustellen, dass dieser Test nicht durch zufälliges Rauschen getäuscht wird, mischen die Forscher die sensiblen Merkmale innerhalb von Patientengruppen mit demselben Krankheitsstatus neu durch. Dies erzeugt eine Baseline dafür, wie eine Zufallsvorhersage aussieht, sodass sie genau messen können, wie viel echte Information in der Zusammenfassung verborgen liegt.
Die Forscher testeten dieses Werkzeug an zwei großen Sammlungen von Thorax-Röntgenbildern, einer aus den Vereinigten Staaten und einer aus einem anderen Krankenhauswesen. Sie untersuchten sieben verschiedene Arten von vortrainierten mathematischen Zusammenfassungen, die wie unterschiedliche „Augen“ funktionieren, die darauf trainiert wurden, medizinische Bilder zu sehen. Sie überprüften diese Zusammenfassungen auf Hinweise bezüglich Geschlecht, Alter und ethnischer Zugehörigkeit. Die Ergebnisse waren klar und konsistent: Jede einzelne der getesteten Zusammenfassungen enthielt Informationen über diese Merkmale. Beim Geschlecht war die versteckte Information sehr stark; das Tool konnte das Geschlecht eines Patienten fast perfekt identifizieren, indem es nur die Zusammenfassung betrachtete, selbst wenn das Krankheitsmerkmal bekannt war. Auch die Ergebnisse für das Alter waren stark, wenn auch etwas weniger ausgeprägt. Die ethnische Zugehörigkeit war schwerer zu detektieren, und die Stärke des Signals variierte je nach der spezifischen Bildersammlung und der Art der Zusammenfassung, aber das Tool fand in den meisten Fällen dennoch Spuren davon.
Um zu verstehen, ob das Finden dieser versteckten Hinweise tatsächlich Auswirkungen hatte, führten die Forscher ein zweites Experiment durch. Sie nahmen dieselben Zusammenfassungen und trainierten ein neues, einfaches Computerprogramm für eine Diagnose, gaben ihm jedoch absichtlich Trainingsdaten, in denen die Krankheit und das sensible Merkmal vermischt waren. In diesen unordentlichen Daten war das Geschlecht oder das Alter eines Patienten stark mit dem Vorliegen der Krankheit verknüpft, was eine perfekte Falle für eine Abkürzung darstellte. Sie fanden heraus, dass die Zusammenfassungen, die im ersten Test die stärksten versteckten Hinweise zeigten, diejenigen waren, die das neue Programm am stärksten dazu verleiteten, sich auf diese Abkürzungen zu verlassen. Als die Trainingsdaten unordentlich waren, machten die Programme, die auf den „undichten“ Zusammenfassungen basierten, große Fehler, indem sie die Krankheit basierend auf dem Geschlecht des Patienten statt auf dem Röntgenbild vorhersagten. Dies bestätigte, dass der Score des Tools ein nützliches Warnsignal ist: Ein hoher Score auf der Zusammenfassung deutet darauf hin, dass ein Modell, das darauf aufgebaut ist, wahrscheinlich unfair sein wird, wenn die Trainingsdaten nicht perfekt sind.
Das Team versuchte auch, das Problem zu lösen, indem sie die Zusammenfassungen vor dem Training des Diagnoseprogramms mit vier verschiedenen Methoden „reinigten“. Sie probierten Techniken aus, die versuchen, die versteckten Hinweise zu entfernen, wie etwa das Adversarial Training, bei dem versucht wird, das System dazu zu bringen, das sensible Merkmal zu „vergessen“. Überraschenderweise funktionierten diese Methoden nicht gut. Selbst nachdem die Zusammenfassungen durch diese Werkzeuge „gereinigt“ worden waren, fanden die Diagnoseprogramme die Abkürzungen und nutzten sie weiterhin. Die einzige Methode, die das unfaire Verhalten erfolgreich stoppte, war es, das finale Diagnoseprogramm einfach auf einem perfekt ausbalancierten Datensatz neu zu trainieren, in dem jede Patientengruppe gleichermaßen repräsentiert war. Dies funktionierte zwar, änderte aber nicht die Zusammenfassung selbst, sondern nur, wie das finale Programm unterrichtet wurde. Dies deutet darauf hin, dass die Entscheidung zur Nutzung einer Abkürzung bei vielen dieser Systeme durch das finale Programm getroffen wird und nicht durch die Zusammenfassung, und dass das Reinigen der Zusammenfassung allein oft nicht ausreicht.
Die Forscher testeten ihr Tool auch an einer künstlich erstellten Abkürzung. Sie nahmen eine Reihe von Röntgenbildern und platzierten ein kleines weißes Quadrat auf die Bilder von Patienten mit einer bestimmten Krankheit. Dann speisten sie diese Bilder in das System ein und fragen, ob die Zusammenfassung das Quadrat erkennen kann. Das Tool fand es sofort und korrekt in jedem einzelnen Test, was bewies, dass es reale, physische Abkürzungen erkennt, wenn diese vorhanden sind. Die Studie zeigte jedoch auch eine Einschränkung auf: Das Tool ist sehr gut darin, Abkürzungen zu finden, die das durchschnittliche Erscheinungsbild einer Gruppe verschieben, aber es übersah subtilere Muster, bei denen die Gruppen im Durchschnitt gleich aussehen, sich aber in anderen Punkten unterscheiden. Das bedeutet, dass ein sauberer Score nicht garantiert, dass ein Modell sicher ist, aber ein „schmutziger“ Score ein definitives Warnsignal ist.
Letztendlich bietet diese Arbeit eine praktische Möglichkeit, die verborgenen Verzerrungen in der medizinischen KI zu prüfen, bevor sie Schaden anrichten. Sie zeigt, dass die meisten Standard-Zusammenfassungen medizinischer Bilder Informationen über die Demografie eines Patienten tragen und dass diese Informationen leicht zu unfairen Vorhersagen führen können, wenn die Trainingsdaten fehlerhaft sind. Die Studie kommt zu dem Schluss, dass wir zwar das Potenzial für solche Abkürzungen messen können, die Behebung des Problems jedoch nicht so einfach ist wie das Bereinigen der Daten. Das finale Diagnoseprogramm muss ebenfalls sorgfältig getestet und trainiert werden. Das Tool steht nun anderen zur Verfügung, um die Grundlage medizinischer KI-Systeme zu überprüfen und sicherzustellen, dass diese auf Evidenz und nicht auf verborgenen Vorurteilen basieren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.