Position: Explanation Stability Is a Property of the Model Method Pair, Not the Model

Stellen Sie sich vor, Sie versuchen herauszufinden, warum ein Roboter-Koch beschlossen hat, Ihren Toast zu verbrennen. Sie fragen den Roboter: „Warum haben Sie das getan?“ Und der Roboter zeigt mit einem leuchtenden Finger auf das Brot. Aber hier ist der Haken: Der Roboter hat zwei verschiedene Arten zu zeigen. Die eine Art, nennen wir sie „Den Laserpointer“, hebt die exakte Stelle hervor, an der das Brot am heißesten war. Die andere Art, „den Scheinwerfer“, wirft einen breiten Strahl über den gesamten Toaster und betont den allgemeinen Bereich. Wenn Sie nur den Laserpointer verwenden, könnten Sie denken, der Roboter sei sehr konsistent. Aber wenn Sie zum Scheinwerfer wechseln, zeigt der Roboter plötzlich auf einen völlig anderen Teil der Küche! Dies ist der Kern eines wachsenden Problems in der Welt der Künstlichen Intelligenz (KI), speziell in einem Bereich namens Erklärbare KI (Explainable AI, XAI).

In der Welt der KI bauen wir „Modelle“ (denken Sie an superintelligente digitale Gehirne), die Entscheidungen treffen, wie zum Beispiel das Erkennen von Krankheiten in Röntgenbildern. Aber diese Modelle sind oft „Black Boxes“ – wir wissen, was hineingeht und was herauskommt, aber wir wissen nicht immer, wie sie zu einer Entscheidung gekommen sind. Um dies zu beheben, nutzen Wissenschaftler „Attributionsmethoden“. Diese Werkzeuge fungieren wie Textmarker; sie zeigen uns, welche Teile eines Bildes (wie ein dunkler Fleck auf einem Röntgenbild) am wichtigsten für die Entscheidung der KI waren. Lange Zeit gingen Forscher davon aus, dass, wenn ein KI-Modell stabil und zuverlässig ist, sein Textmarker immer auf denselben Punkt zeigen würde, egal welches Werkzeug man zur Hervorhebung verwendet. Dieser Artikel argumentiert, dass diese Annahme falsch ist. Er legt nahe, dass die „Stabilität“ einer Erklärung nicht eine Eigenschaft des KI-Gehirns selbst ist, sondern ein Ergebnis des spezifischen Textmarker-Werkzeugs, das man gerade verwendet. Wenn man das Werkzeug wechselt, kann sich die Geschichte, die die KI erzählt, komplett ändern, selbst wenn die endgültige Antwort der KI gleich bleibt.

Der große Highlighter-Wechsel

Die Autoren dieser Arbeit, Kabilan Elangovan und Daniel Ting, beschlossen, diese Idee mit einem kontrollierten Experiment unter Verwendung von Thorax-Röntgenaufnahmen auf die Probe zu stellen. Sie nahmen drei berühmte KI-Modelle – DenseNet201, ResNet50V2 und InceptionV3 – und brachten sie bei, fünf verschiedene Lungenerkrankungen zu erkennen, darunter Pneumonie und COVID-19. Sie trainierten diese Modelle, bis sie ihre Aufgabe unglaublich gut beherrschten und eine Erfolgsrate (AUC) von über 99 % für alle drei erreichten. Mit anderen Worten: Sie waren alle gleichermaßen brillant in der Diagnose der Krankheit.

Dann kam die Wendung. Die Forscher baten diese Modelle, ihr Warum für die Diagnosen unter Verwendung von zwei sehr unterschiedlichen Highlighter-Werkzeugen zu erklären: LayerCAM und Grad-CAM++.

• LayerCAM ist wie ein hochauflösendes Mikroskop. Es betrachtet das Bild Pixel für Pixel und bewahrt dabei feine Details und lokale Texturen.
• Grad-CAM++ ist eher wie ein Weitwinkelobjektiv. Es betrachtet das große Ganze und nutzt komplexe Mathematik, um verschiedene Teile des Bildes basierend auf ihrer allgemeinen Bedeutung zu gewichten.

Die Forscher wollten sehen: Wenn sie die Modelle leicht veränderten (ein Prozess, der als „Fine-Tuning“ bezeichnet wird), würden die Highlighter stabil bleiben? Würden sie weiterhin auf dieselben Lungenstellen zeigen?

Die Wendung: Es kommt auf das Werkzeug an

Hier wird die Geschichte wild. Die Ergebnisse zeigten, dass die „Stabilität“ der Erklärung vollständig davon abhing, welchen Highlighter man verwendete. Es war, als würde man drei verschiedene Personen bitten, ein Gemälde zu beschreiben; eine Person sagt vielleicht: „Dieses Gemälde ist stabil, weil sich die Farben nicht ändern“, während eine andere sagt: „Nein, die Formen verschieben sich wild.“ Beide könnten recht haben, aber sie wenden unterschiedliche Regeln an.

• Die InceptionV3-Überraschung: Als die Forscher LayerCAM (das Mikroskop) verwendeten, wirkte InceptionV3 wie das stabilste Modell. Es behielt seinen Fokus fest bei sich, mit einem Stabilitätswert (IoU) von 0,777. Es schien das perfekte, zuverlässige KI-Modell zu sein.

• Der Grad-CAM++ Schock: Doch als sie zu Grad-CAM++ (dem Weitwinkelobjektiv) wechselten, brach InceptionV3 zusammen. Sein Stabilitätswert sank auf 0,643, eine massive Degradation von 17,3 %. Plötzlich war das Modell, das so beständig aussah, eigentlich sehr wackelig, nur weil sich das Werkzeug geändert hatte.

• Der DenseNet201 Held: Auf der anderen Seite war DenseNet201 der Ruhepol im Sturm. Egal, ob sie das Mikroskop oder das Weitwinkelobjektiv verwendeten, sein Stabilitätswert änderte sich kaum. Er ging von 0,699 auf 0,690, eine winzige Variation von 1,3 %. Dieses Modell schien eine „methodenagnostische“ Natur zu haben, was bedeutet, dass seine Erklärungen unabhängig vom verwendeten Werkzeug konsistent blieben.

• Der ResNet50V2 Kampf: ResNet50V2 hatte eine schwere Zeit. Es startete mit einem moderaten Wert von 0,519 unter LayerCAM, stürzte aber unter Grad-CAM++ auf 0,383 ab. Es war instabil, egal was passierte, aber der Abfall war besonders dramatisch.

Der schockierendste Teil? Alle drei Modelle lieferten immer noch zu 99 % die richtige Diagnose. Ihre „Antworten“ waren perfekt, aber ihre „Gründe“ verschoben sich wie Sandburgen im Wind, je nachdem, welches Werkzeug man zur Betrachtung nutzte.

Warum das wichtig ist: Die Falle der „illusorischen Sicherheit“

Der Artikel argumentt, dass diese Entdeckung eine wichtige Regel in der Art und Weise, wie wir KI vertrauen, bricht. Derzeit, wenn ein Forscher sagt: „Unser KI-Modell ist stabil und vertrauenswürdig“, beweist er dies oft durch Ergebnisse aus nur einem einzelnen Highlighter-Werkzeug. Dieser Artikel besagt, dass das wissenschaftlich ungültig ist. Es ist, als würde man behaupten, ein Auto sei „sicher“, weil es einen Crashtest mit einer bestimmten Art von Airbag bestanden hat, aber niemals mit einer anderen getestet wurde.

Die Autoren weisen darauf hin, dass, wenn man InceptionV3 nur durch die LayerCAM-Linse betrachtet, man glauben könnte, es sei die beste Wahl für ein Krankenhaus. Aber wenn das Krankenhaus tatsächlich Grad-CAM++ verwendet (oder wenn die Software aktualisiert wird und das Werkzeug wechselt), könnten die Erklärungen der KI unzuverlässig werden und Ärzte potenziell in die Irre führen. Der Artikel legt nahe, dass Erklärungsstabilität keine Eigenschaft des Modells selbst ist, sondern eine Eigenschaft des „Modell + Methode“-Paares. Man kann die beiden nicht trennen.

Das Fazit: Überprüfen Sie Ihre Werkzeuge

Was sollten wir also tun? Die Autoren schlagen einige Änderungen vor, wie wir KI untersuchen und regulieren sollten:

1. Vertrauen Sie nicht auf ein einzelnes Werkzeug: Forscher sollten niemals behaupten, ein Modell sei „stabil“, es sei denn, sie haben es mit mindestens zwei verschiedenen Highlighter-Methoden getestet. Wenn sich die Ergebnisse wild unterscheiden, ist das Modell nicht stabil, sondern nur glücklich mit diesem einen Werkzeug.
2. Regulierungsbehörden müssen spezifisch sein: Wenn medizinische Geräte von Behörden wie der FDA zugelassen werden, muss das spezifische Highlighter-Werkzeug, das die Erklärung erzeugt, festgeschrieben werden. Wenn ein Krankenhaus das Werkzeug später ändert, muss das Gerät möglicherweise neu zugelassen werden, da sich der „Grund“, den die KI angibt, ändern könnte.
3. Wählen Sie die richtige Architektur: Wenn Sie eine medizinische KI entwickeln, möchten Sie vielleicht ein Modell wie DenseNet201 wählen, das seine Position gegenüber verschiedenen Werkzeugen behauptet, anstatt InceptionV3, das fragil ist und stark von der spezifischen Methode abhängt.

Kurz gesagt, dieser Artikel ist ein Weckruf. Er sagt uns, dass in der Welt der KI die „Wahrheit“ einer Erklärung nicht nur vom KI-Gehirn abhängt, sondern auch von der Brille, mit der wir es betrachten. Wenn wir wollen, dass wir KI in lebensbedrohlichen Situationen wie der Medizin vertrauen können, müssen wir sicherstellen, dass unsere Erklärungen standhalten, egal welche Brille wir aufsetzen.