🤖 AI

Activation-Deactivation: A General Framework for Robust Post-hoc Explainable AI

Dieses Paper führt Activation-Deactivation (AD) ein, ein neuartiges Post-hoc-Erklärbarkeitsframework, das Eingabestörungen durch die Deaktivierung interner Modelle ersetzt, um robustere und transferierbarere Erklärungen zu generieren, ohne zusätzliches Training zu erfordern.

Ursprüngliche Autoren: Akchunya Chanchal, David A. Kelly, Hana Chockler

Veröffentlicht 2026-07-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Akchunya Chanchal, David A. Kelly, Hana Chockler

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr intelligenten, aber geheimnisvollen Roboter, der auf Bilder schaut und Ihnen sagt, was er sieht (wie „Das ist ein Steinbock!“ oder „Das ist ein Schnabeltier!“). Das Problem ist, dass der Roboter eine „Black Box“ ist – Sie können nicht sehen, wie er denkt. Sie wollen wissen: Welche Teile des Bildes haben den Roboter dazu gebracht, „Steinbock“ zu sagen?

Dies ist das Problem der erklärbaren KI (Explainable AI, XAI). Das Paper stellt eine neue Methode vor, um diese Frage zu beantworten, nämlich die Aktivierungs-Deaktivierung (Activation-Deactivation, AD), und ein spezielles Werkzeug dafür namens convad.

So funktioniert es, erklärt mit einfachen Analogien:

Die alte Art: Das „Schlechte-Nachbarn-Problem“

Derzeit versuchen die meisten Methoden, die Entscheidung des Roboters zu erklären, indem sie das Bild mutieren lassen.

Die Analogie: Stellen Sie sich vor, Sie möchten wissen, ob eine berühmte Suppe eines Kochs wegen der Karotten gut schmeckt. Um das zu testen, nehmen Sie einen Löffel der Suppe und ersetzen die Karotten durch... Toilettenpapier, Sand oder blaue Farbe.
Das Problem: Wenn Sie Toilettenpapier in die Suppe geben, ist die Suppe keine „Suppe“ mehr. Sie ist ein seltsames, „Out-of-Distribution“-Chaos. Wenn der Koch sagt: „Das schmeckt mir nicht“, wissen Sie nicht, ob es daran liegt, dass die Karotten fehlen, oder einfach nur daran, dass Sie die Suppe mit Toilettenpapier ruiniert haben.
Im Paper: Dies wird als Verwendung von „Out-of-Distribution-Mutanten“ bezeichnet. Alte Methoden maskieren Teile des Bildes mit zufälligen Werten (wie Null, Grau oder Rauschen). Je nachdem, womit Sie maskieren, erhalten Sie unterschiedliche, oft verwirrende Antworten. Manchmal denkt der Roboter, ein Bild eines Schneemanns sei ein Schaf, nur weil Sie den Schnee mit der falschen Farbe maskiert haben.

Die neue Art: Der „Stumme Schalter“ (Aktivierungs-Deaktivierung)

Die Autoren sagen: „Warum die Zutaten ändern? Sagen Sie dem Roboter einfach, er soll sie ignorieren.“

Die Analogie: Anstatt die Karotten durch Toilettenpapier zu ersetzen, stellen Sie sich vor, Sie würden einfach das Licht im Küchenbereich ausschalten, in dem die Karotten liegen. Die Karotten sind immer noch da, aber die Augen des Kochs (die Sensoren des Roboters) können sie nicht sehen. Der Rest der Suppe bleibt vollkommen normal.
Wie es funktioniert: Das Tool convad verändert das Bild gar nicht. Stattdessen geht es in das Gehirn des Roboters (das neuronale Netz) und betätigt Schalter. Wenn ein Teil des Bildes „maskiert“ werden soll, verhindert das Tool, dass die Information von diesem Teil des Bildes durch das Gehirn des Roboters fließt. Es sagt effektiv: „Tu so, als würde dieser Teil des Bildes nicht existieren“, ohne die Bilddaten tatsächlich zu verändern.

Warum ist das besser?

Kein Ratespiel: Alte Methoden erfordern, dass Sie raten: „Soll ich mit Schwarz maskieren? Grau? Weiß?“ Das Paper zeigt, dass die Antwort sich komplett ändert, je nachdem, was Sie raten. convad benötigt kein Raten. Es schaltet das Signal einfach aus.
Stabilität: Da es keine seltsamen „Toilettenpapier“-Pixel einführt, ist die Reaktion des Roboters viel zuverlässiger. Das Paper hat dies an vielen verschiedenen Arten von Robotern (Modellen) und Bildern (Datensätzen) getestet.
Die „Goldlöckchen-Zone“: Die Forscher fanden heraus, dass die Erklärungen von convad genau richtig sind. Sie sind nicht zu groß (verschwenden keinen Platz mit irrelevanten Pixeln), sie sind nicht zu verrauscht (verwirrend) und sie sind sehr robust (sie funktionieren auch dann noch, wenn man das Bild vor einem einfarbigen Hintergrund platziert).

Die Ergebnisse

Das Paper hat convad gegen die derzeit besten Methoden (wie LayerMask, LIME und Grad-CAM) getestet.

Robustität: convad war 30–40 % besser darin, Erklärungen zu liefern, denen der Roboter tatsächlich vertraut, selbst wenn sich der Hintergrund änderte.
Übertragbarkeit: Wenn Sie die „wichtigen Teile“ eines Bildes mit convad für eine bestimmte Art von Roboter finden, funktionieren dieselben Teile meistens auch für einen anderen Typ von Roboter. Andere Methoden scheitern oft an diesem Punkt.
Kein Training nötig: Sie können jeden bereits trainierten Roboter nehmen, convad einstecken und es funktioniert sofort. Sie müssen den Roboter nicht neu lehren.

Die Haken (Einschränkungen)

Interner Zugriff: Um convad zu nutzen, müssen Sie in der Lage sein, das Gehirn des Roboters zu öffnen und die Drähte zu berühren (Zugriff auf die internen Schichten des Modells haben). Sie können es nicht bei einem Roboter verwenden, bei dem Sie nicht in das Innere schauen können (eine echte „Black Box“).
Leckage (Leakage): Manchmal, wenn der „Aus“-Schalter nicht perfekt ist, kann ein winziger Teil der Information „durchsickern“, wie ein Lichtschein unter einer Tür. Die Autoren räumen dies ein, sagen aber, dass es ein seltener Grenzfall ist.

Zusammenfassung

Das Paper schlägt eine neue Art vor, KI-Entscheidungen zu verstehen. Anstatt das Eingabebild mit seltsamen Werten zu manipulieren (wie das „Toilettenpapier“-Suppen-Beispiel), sagt convad der KI einfach, sie solle bestimmte Teile des Bildes ignorieren, indem das Signal innerhalb des Modells unterbrochen wird. Dies führt zu klareren, zuverlässigeren und vertrauenswürdigeren Erklärungen dafür, warum eine KI eine Entscheidung getroffen hat.

Technisches Resümee: Aktivierungs-Deaktivierung (AD) für robuste Post-hoc-Erklärbare KI

1. Problemstellung

Aktuelle perturbationsbasierte Methoden der erklärbaren KI (XAI), wie LIME, SHAP und REX, verlassen sich auf die Erstellung von „Mutanten“ der Eingangsdaten durch das Maskieren oder Verdecken spezifischer Merkmale. Diese Methoden ersetzen maskierte Pixel typischerweise durch vordefinierte Werte (z. B. Null, Mittelwert, Gaußsches Rauschen oder Gaußsches Unschärfe-Blurring). Die Autoren argumentieren, dass dieser Ansatz Out-of-Distribution (o.o.d.) Eingaben erzeugt, was Zweifel an der Treue (Faithfulness) der resultierenden Erklärungen aufkommen lässt.

Die Wahl des Maskierungswerts beeinflusst die Qualität der Erklärung erheblich. Wie in der Arbeit demonstriert wird, können unterschiedliche Maskierungswerte (z. B. Null vs. Maximum) zu sehr unterschiedlichen minimalen hinreichenden Pixelmengen (Minimal Sufficient Pixel Sets, MSPS) führen, von denen einige möglicherweise nicht mit der menschlichen Intuition oder den tatsächlichen Entscheidungsgrenzen des Modells übereinstimmen. Darüber hinaus erfordern bestehende Methoden oft domänenspezifische Anpassungen oder Expertenwissen zur Auswahl des „korrekten“ Maskierungswerts, was Subjektivität und Inkonsistenz einführt.

2. Methodik: Aktivierungs-Deaktivierung (AD)

Das Paper stellt die Aktivierungs-Deaktivierung (AD) vor, ein neuartiges Forward-Pass-Paradigma, das die Notwendigkeit einer Eingabe-Perturbation vollständig eliminiert. Anstatt das Eingabebild zu modifizieren, modifiziert AD den internen Zustand des Modells während der Inferenz.

Kernmechanismus:

Konzept: AD „schaltet“ Teile des Modells aus, die den beabsichtigten Perturbationen entsprechen. Es schränkt die Ausbreitung von Aktivierungen ein, die mit maskierten Eingangsmerkmalen assoziiert sind, und zwingt das Modell effektiv dazu, diese Regionen zu ignorieren, ohne die Eingangsverteilung zu verändern.
Implementierung (convad): Die Autoren implementieren AD für Convolutional Neural Networks (CNNs) über einen Algorithmus namens convad.
- Checkpoints: Der Algorithmus setzt Checkpoints an spezifischen Schichten (z. B. vor dimensionalitätsändernden Operationen oder zwischen Convolutional-Schichten).
- Positions-Attribution: Er nutzt eine Positions-Attributionsfunktion, $\Phi_i$ , um das Verhältnis von maskierten zu unmaskierten Merkmalen zu berechnen, die zu einer spezifischen Aktivierung beitragen.
- Schwellenwertbildung: Ein Hyperparameter $\tau$ bestimmt den Schwellenwert für die Deaktivierung. Wenn das Verhältnis der maskierten Merkmale $\tau$ überschreitet, wird die entsprechende Aktivierung auf Null gesetzt.
- Masken-Propagation: Die Maske wird aktualisiert und durch das Netzwerk propagiert. Für formerhaltende Operationen wird eine Mittelwert-Kernel-Konvolution verwendet, um die Maske zu aktualieren. Für dimensionalitätsändernde Operationen wird die Maske basierend auf der spezifischen Operation angepasst (z. B. Padding mit Einsen oder Nullen).

Theoretische Garantien:
Das Paper beweist, dass, wenn die Eingangsmaske „leer“ ist (alle Einsen), das mit convad instrumentierte Modell $N'$ identisch zum Originalmodell $N$ agiert. Dies stellt sicher, dass das Framework das Basisverhalten des Modells nicht verändert, wenn keine Merkmale maskiert werden – eine Garantie, die die Autoren als bei ähnlichen Werkzeugen wie LayerMask vermisst beschreiben.

3. Zentrale Beiträge

Neuartiges Paradigma: Einführung von AD, welches die Eingabe-Perturbation durch die Deaktivierung interner Aktivierungen ersetzt und somit die Eingangsmerkmale des Modells strikt innerhalb der Verteilung (In-Distribution) hält.
Algorithmus-Implementierung: Entwicklung von convad, einem „Drop-in“-Mechanismus für trainierte CNNs, der keine zusätzliche Trainingsphase, kein Fine-Tuning und kein domänenspezifisches Wissen über Maskierungswerte erfordert.
Theoretischer Rahmen: Formale Definitionen für Positionsfunktionen und Positions-Attributionsfunktionen innerhalb des AD-Frameworks sowie Beweise für die Verhaltensäquivalenz zum Originalmodell unter unmaskierten Bedingungen.
Umfassende Evaluierung: Ein strenger Vergleich gegen State-of-the-Art (SOTA) Black-Box- und White-Box-Methoden (LIME, Grad-CAM, REX) über mehrere Architekturen (ResNet-50, RegNetY-12GF, EfficientNet-V2) und Datensätze (ImageNet-1k, ImageNet-v2, PASCAL-VOC) hinweg.

4. Experimentelle Ergebnisse

Die Autoren evaluierten die Qualität der Erklärungen basierend auf Robustheit, Transferierbarkeit, Größe, Redundanz und Überlappung.

Robustheit: convad übertraf alle maskierungsbasierten Strategien konsistent. Auf einfarbigen Hintergründen behielten die convad-Erklärungen die korrekte Klassifizierung signifikant häufiger bei. Auf In-Distribution (i.i.d.) Hintergründen zeigte convad eine etwa 20%ige Robustheit bei hohen Konfidenzschwellenwerten und übertraf andere Methoden im Durchschnitt um 30–40%.
Transferierbarkeit: Die durch convad generierten MSPSs zeigten eine bis zu 22% bessere Transferierbarkeit über verschiedene Modellarchitekturen hinweg, was darauf hindeutet, dass sie sich auf wahrhaft diskriminative Merkmale statt auf Abkürzungen (Shortcuts) verlassen.
Goldilocks-Zone: Die Analyse des Zusammenhangs zwischen Robustheit, Erklärungsgröße und Rauschen zeigte, dass convad-Erklärungen eine „Goldilocks-Zone“ besetzen: Sie sind hochgradig robust, weisen wenig Rauschen (Redundanz) auf und sind kompakt in der Größe. Andere Methoden neigten dazu, in mindestens einer dieser Dimensionen zu scheitern.
Unabhängigkeit von Maskierungswerten: Im Gegensatz zu Perturbationsmethoden, bei denen die Ergebnisse drastisch je nach gewähltem Maskierungswert variieren (z. B. Null vs. Maximum), lieferte convad konsistente Ergebnisse, ohne eine Wahl des Okklusionswerts zu erfordern.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass AD den grundlegenden Fehler der perturbationsbasierten XAI adressiert: die Erzeugung von Out-of-Distribution-Eingaben. Durch die Deaktivierung von Aktivierungen anstatt der Mutation von Eingaben liefert convad Erklärungen, die:

Robuster sind: Weniger sensitiv gegenüber der spezifischen Wahl der Perturbationsstrategie.
Transferierbarer sind: Als wichtig identifizierte Merkmale sind konsistent über verschiedene Modellarchitekturen hinweg.
Modell-agnostisch (innerhalb der Architektur) sind: Der Algorithmus ist für alle Modelle derselben Architektur (CNNs) identisch und erfordert kein erneutes Training.
Treue (Faithful) besitzen: Die Erklärungen halten sich strikt an die Konfidenzschwellen und die Entscheidungslogik des Modells, ohne künstliche Artefakte durch Maskierungswerte einzuführen.

Die Autoren kommen zu dem Schluss, dass die aktuelle Implementierung zwar auf CNNs beschränkt ist und White-Box-Zugriff erfordert, um interne Schichten zu modifizieren, das AD-Framework jedoch eine prinzipielle Alternative zum Maskieren bietet, welche die Zuverlässigkeit von Post-hoc-Erklärungen signifikant verbessert. Zukünftige Arbeiten planen die Erweiterung dieses Frameworks auf Transformer- und Attention-basierte Modelle.