Grad-CAM for Vision Transformers: A Systematic Taxonomy and Audit of Methodological Ambiguity in Explainable AI
Diese Arbeit präsentiert eine systematische Taxonomie und ein Audit von 175 Studien, um die weit verbreitete methodische Ambiguität und den Mangel an rigorosen Implementierungsdetails bei der Anpassung von Grad-CAM für Vision Transformer aufzuzeigen, wobei argumentiert wird, dass die Behandlung als triviale Erweiterung seines CNN-Gegenstücks kritische Entscheidungen verschleiert, die die Reproduzierbarkeit und Interpretation beeinflussen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen zu verstehen, wie ein brillanter, superschneller Detektiv ein Rätsel löst. In den alten Zeiten benutzte dieser Detektiv ein spezielles Set an Werkzeugen: eine Lupe, die sich kleine, gitterartige Abschnitte eines Tatorts nach dem anderen ansah. Dieses Werkzeug wurde Grad-CAM genannt. Es war berühmt dafür, genau die Stellen auf einem Foto zu beleuchten, die dem Detektiv halfen, zu entscheiden: „Aha! Das ist eine Katze!“ oder „Das ist ein Auto!“ Da der Detektiv das Foto in einem ordentlichen Gitter betrachtete, konnte das Werkzeug leicht auf bestimmte Quadrate zeigen und sagen: „Wir haben das Ohr der Katze in diesem Quadrat gesehen.“
Aber vor kurzem hat der Detektiv ein massives Upgrade erhalten. Anstatt ein Gitter zu betrachten, sieht der neue Detektiv (ein Vision Transformer oder ViT) das ganze Bild auf einmal und zerlegt es in eine lange Liste von kleinen Notizen, die „Tokens“ genannt werden. Es ist, als würde man eine Geschichte lesen, in der jedes Wort ein Hinweis ist, anstatt eine Karte zu betrachten. Das Problem ist: Die alte Lupe (Grad-CAM) wurde für Gitter gebaut, nicht für Listen. Sie weiß nicht, wie sie auf ein „Wort“ in einer Liste zeigen und sagen soll: „Dieses Wort ist wichtig!“
Also begannen Wissenschaftler, das alte Magnifizierglas auf den neuen Detektivs Liste von Notizen zu erzwingen. Sie wollten sehen, warum der neue Detektiv seine Entscheidungen traf. Aber hier ist der Haken: Niemand war sich einig darüber, wie man das macht. Einige Leute zeigten auf die erste Notiz, andere auf die Mitte, wieder andere auf die gesamte Liste, und manche raten einfach nur. Dieses Papier ist wie ein Detektivinspektor, der kommt, um alle Berichte zu prüfen. Er will wissen: „Verwenden wir das Werkzeug tatsächlich korrekt, oder tun wir nur so, als ob?“
Die Prüfung: Ein systematisches Chaos
Die Autoren dieses Papers, Casey Wall und ihr Team, beschlossen, selbst zum Detektiv zu werden. Sie machten eine massive Jagd durch die wissenschaftliche Literatur und suchten nach jedem Paper, das versuchte, das alte „Grad-CAM“-Werkzeug auf den neuen „Vision Transformer“-Detektiven anzuwenden. Sie begannen mit einem riesigen Stapel von über 550 Papern. Nach einem sehr sorgfältigen Auswahlprozess grenzten sie es auf 175 Paper ein, die tatsächlich versuchten, diese Methode anzuwenden.
Was sie fanden, war ein ziemliches Durcheinander. Sie entdeckten, dass die meisten dieser Paper den neuen Listen-basierten Notizen des Detektivs immer noch wie das alte Gitter behandelten. Sie verwendeten das Werkzeug, ohne wirklich zu erklären, wie sie es anpassten.
Das Paper führt eine „Taxonomie“ ein, was nur ein schicker Begriff für eine detaillierte Checkliste oder ein Menü der Auswahlmöglichkeiten ist. Die Autoren erkannten, dass man beim Versuch, Grad-CAM auf einen Vision Transformer anzuwenden, mehrere große Entscheidungen treffen muss, und fast niemand schrieb sie auf:
- Wohin man schaut: Schaut man auf die allererste Notiz, die der Detektiv geschrieben hat? Die mittlere? Die abschließende Zusammenfassung?
- Was man misst: Misst man, wie wichtig eine spezifische Notiz ist, oder wie sehr der „Hauptgedanke“ (das [CLS]-Token) des Detektivs die anderen Notizen berücksichtigt?
- Wie man es mischt: Wenn der Detektiv viele verschiedene „Köpfe“ (wie viele verschiedene Perspektiven) hat, mittelt man dann alle zusammen oder betrachtet man sie einzeln?
Die Autoren führten einige Tests durch, um zu zeigen, wie sehr diese Entscheidungen ins Gewicht fallen. Sie nahmen ein Standardmodell und ließen dasselbe Bild mit unterschiedlichen Einstellungen aus ihrer Checkliste durch das Modell laufen. Das Ergebnis? Die „Heatmaps“ (die leuchtenden Bilder, die zeigen, was das Modell gesehen hat) sahen je nach den getroffenen Entscheidungen völlig unterschiedlich aus. Eine Einstellung hob vielleicht den Hund im Foto hervor, eine andere den Rasen, und eine dritte zeigte fast gar nichts an.
Das große Problem: „Plug-and-Play“ ohne Anleitung
Die Studie ergab, dass von den 175 untersuchten Papern sage und schreibe 101 (etwa 58 %) einfach das Original-Paper für den alten gitterbasierten Detektiv zitierten und nicht erklärten, wie sie es für den neuen listenbasierten Detektiven adaptierten. Weitere 17 Paper verwiesen lediglich auf eine Code-Bibliothek (ein GitHub-Repository), ohne die Mathematik dahinter zu erklären. Nur 26 Paper (etwa 15 %) nahmen sich tatsächlich die Zeit, ihre spezifischen Entscheidungen zu erklären oder ein Paper zu zitieren, das dies tat.
Die Autoren argumentieren, dass dies ein ernstes Problem ist. Wenn ein Wissenschaftler sagt: „Wir haben Grad-CAM verwendet, um zu zeigen, dass unser Modell fair ist“, aber nicht verrät, welche Version von Grad-CAM er verwendet hat, kann man dem Ergebnis nicht trauen. Es ist, als würde ein Koch sagen: „Ich habe einen Kuchen gebacken“, ohne zu sagen, ob er Mehl oder Sand verwendet hat oder ob er ihn für 10 Minuten oder für 10 Stunden gebacken hat. Das Ergebnis sieht zwar wie ein Kuchen aus, aber man kann nicht sicher sein, ob es derselbe Kuchen ist, von dem alle anderen sprechen.
Was das Paper tatsächlich sagt (und nicht sagt)
Das Paper ist sehr vorsichtig damit, nicht zu sagen: „Hier ist der eine richtige Weg, dies zu tun“. Stattdessen legen sie nahe, dass es noch keine einzelne „richtige“ Antwort gibt. Sie stellten fest, dass sich das Fachgebiet noch nicht auf einen Standardweg geeinigt hat.
Sie schließen explizit die Idee aus, dass man einfach die alte Formel nehmen und sie ohne Nachdenken auf das neue Modell stülpen kann. Sie zeigen, dass dies zu „methodischer Ambiguität“ führt, was ein schicker Ausdruck für „Verwirrung darüber, wie das Werkzeug funktioniert“ ist.
Die Autoren schlagen vor, dass die Forschung vorankommen kann, wenn Forscher aufhören, Grad-CAM bei diesen neuen Modellen als einen einfachen, automatischen Schritt zu behandeln. Sie müssen genau aufschreiben, welches „Feature“ sie ausgewählt, welchen „Gradienten“ sie gemessen und wie sie die Daten wieder in ein Bild „umgeformt“ haben.
Warum das wichtig ist
Dies ist nicht nur akademisches Nörgeln. Diese Heatmaps werden verwendet, um zu beweisen, dass KI-Modelle sicher, fair und vertrauenswürdig sind, besonders in wichtigen Bereichen wie der medizinischen Diagnose oder bei selbstfahrenden Autos. Wenn die Erklärung vage ist, können wir nicht sicher sein, ob die KI tatsächlich auf das Richtige schaut. Das Paper kommt zu dem Schluss, dass wir, solange Wissenschaftler nicht anfangen, bei ihren Entscheidungen extrem spezifisch zu sein, die leuchtenden Bilder, die wir in Forschungsarbeiten sehen, eher dazu dienen könnten, cool auszusehen, als die Wahrheit zu sagen.
Kurz gesagt legt das Paper nahe, dass wir aufhören müssen zu raten und anfangen müssen, unsere Rezepte aufzuschreiben. Bis dahin bleibt das „Grad-CAM“, das wir bei diesen neuen KI-Modellen sehen, ein wenig mysteriös, und wir können nicht sicher sein, was es uns eigentlich mitteilen will.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.