Challenges in Explaining Pretrained Clinical Text Classifiers
Dieser Artikel zeigt, dass gängige Post-hoc-Erklärungsmethoden wie LIME und SHAP keine zuverlässigen Erkenntnisse für klinische Textklassifikatoren liefern, indem sie ihre Tendenz hervorheben, nicht-informative Token zu überbetonen, instabile Zuordnungen zu erzeugen und hochkonfidente Vorhersagen für inkohärente Eingaben zu liefern, wodurch die dringende Notwendigkeit klinisch sinnvoller und robuster Erklärungsstrategien unterstrichen wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter-Arzt, der Tausende von Krankenhausnotizen liest, um vorherzusagen, wie lange ein Patient im Krankenhaus bleiben wird. Er ist sehr gut im Vorhersagen, aber er ist eine „Black Box" – Sie können nicht sehen, warum er diese Vorhersage getroffen hat. Um dies zu beheben, verwenden Forscher Werkzeuge wie LIME und SHAP. Betrachten Sie diese Werkzeuge als „Textmarker", die versuchen, Ihnen zu zeigen, welche Wörter in der medizinischen Notiz für die Entscheidung des Roboters am wichtigsten waren.
Dieser Artikel ist wie eine Detektivgeschichte, in der die Autoren diese Textmarker an echten Krankenhausnotizen testen und feststellen, dass sie tatsächlich ziemlich defekt sind. Hier ist das, was sie herausfanden, einfach erklärt:
1. Das Problem des „Ein-Wort-Wunders"
Die Behauptung: Die Textmarker zeigen oft eine riesige Liste „wichtiger" Wörter an, aber in Wirklichkeit machen nur die allerersten ein oder zwei Wörter wirklich aus. Der Rest ist nur Rauschen.
Die Analogie: Stellen Sie sich vor, Sie fragen einen Freund: „Warum haben Sie dieses Auto gekauft?" und er listet 20 Gründe auf: „Es ist rot, es hat vier Räder, es hat ein Lenkrad, es hat Reifen, es hat ein Radio..." aber der einzige wahre Grund ist, dass „es rot ist". Das Textmarker-Werkzeug verhält sich wie ein schlechter Freund, der alle 20 Gründe als gleich wichtig markiert, sodass Sie denken, die Reifen und das Radio seien entscheidend gewesen, obwohl sie es nicht waren. Die Forscher fanden heraus, dass, wenn Sie das oberste Wort entfernen, das Vertrauen des Roboters einbricht, das Entfernen der nächsten 19 „wichtigen" Wörter jedoch nichts verändert.
2. Das Markieren von „Füllmaterial"
Die Behauptung: Die Werkzeuge lassen sich oft von langweiligen, unwichtigen Wörtern (wie „der", „und" oder „Ihr") oder zufälligen Symbolen ablenken, anstatt sich auf die tatsächlichen medizinischen Begriffe (wie „Niere" oder „Schmerz") zu konzentrieren.
Die Analogie: Es ist, als würde ein Lehrer einen Aufsatz eines Schülers über einen Herzinfarkt bewerten. Anstatt die Wörter „Herz", „Infarkt" oder „Brustschmerz" zu markieren, rast der Textmarker wild über die Wörter „der", „ein" und „ist". Die Forscher fanden heraus, dass die Werkzeuge von diesen „Füllwörtern" besessen waren, weil sie häufig vorkommen, und verpassten dabei völlig die eigentliche medizinische Geschichte.
3. Das Verpassen des „Phrasen"-Puzzles
Die Behauptung: Medizinische Konzepte treten oft in Wortgruppen auf (wie „chronische Nierenerkrankung"), aber die Werkzeuge betrachten Wörter einzeln.
Die Analogie: Stellen Sie sich vor, Sie versuchen, einen Satz zu verstehen, indem Sie auf einzelne Puzzleteile schauen, die über den Boden verstreut sind. Das Werkzeug könnte das Teil markieren, auf dem „Niere" steht, und das Teil, auf dem „Erkrankung" steht, aber es erkennt nicht, dass sie zusammengehören, um das Konzept der „Nierenerkrankung" zu bilden. Es behandelt sie als separate, isolierte Hinweise statt als eine einzelne, bedeutungsvolle Idee.
4. Die „Unsinn"-Falle
Die Behauptung: Die Werkzeuge testen den Roboter, indem sie den Text durcheinanderbringen (Wörter zufällig entfernen), um zu sehen, wie der Roboter reagiert. Die Forscher fanden heraus, dass selbst wenn sie die medizinische Notiz in sinnlosen Unsinn verwandelten, der Roboter immer noch eine sehr selbstbewusste Antwort gab, und das Textmarker-Werkzeug versuchte, dies trotzdem zu erklären.
Die Analogie: Stellen Sie sich vor, Sie zeigen einem Menschen einen Satz, der lautet: „Die Katze saß auf der Matte." Dann verwandeln Sie ihn in „Katze die Matte auf saß die." Ein Mensch würde sagen: „Das ergibt keinen Sinn." Aber der Roboter sagt immer noch selbstbewusst: „Das ist ein langer Krankenhausaufenthalt!" und das Textmarker-Werkzeug versucht, einen logischen Grund dafür zu finden. Das Werkzeug ist wie ein Reiseleiter, der versucht, eine Karte zu erklären, die in Konfetti zerrissen wurde; er zeigt weiterhin auf Dinge, obwohl die Karte kaputt ist.
Das Fazit
Die Studie kommt zu dem Schluss, dass diese aktuellen „Textmarker"-Werkzeuge noch nicht für den Krankenzimmeralltag bereit sind. Sie lassen sich zu leicht durch Unsinn täuschen, sie konzentrieren sich auf die falschen Wörter und sie können die Komplexität der medizinischen Sprache nicht bewältigen.
Die Autoren argumentieren, dass wir, um KI im Gesundheitswesen vertrauenswürdig zu machen, neue Werkzeuge benötigen, die Phrasen und medizinische Konzepte verstehen und nicht nur einzelne Wörter, sowie Werkzeuge, die nicht verwirrt werden, wenn der Text unordentlich oder kaputt ist. Bis dahin können wir der Erklärung des Roboter-Arztes für seine eigenen Entscheidungen nicht vollständig vertrauen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.