🤖 machine learning

Learning Quantifiable Visual Explanations Without Ground-Truth

Dieser Beitrag stellt eine wahrheitsgehaltsunabhängige, quantifizierbare Metrik zur Bewertung von XAI-Methoden auf Basis von Eingabeperturbation sowie Notwendigkeit und hinreichender Bedingung vor, die anschließend genutzt wird, um ein neuartiges Adaptermodul zu trainieren, das für Black-Box-Modelle überlegene kausale Erklärungen generiert, ohne deren Leistung zu beeinträchtigen.

Ursprüngliche Autoren: Amritpal Singh, Andrey Barsky, Mohamed Ali Souibgui, Ernest Valveny, Dimosthenis Karatzas

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Amritpal Singh, Andrey Barsky, Mohamed Ali Souibgui, Ernest Valveny, Dimosthenis Karatzas

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen brillanten, aber schweigsamen Koch (ein Deep-Learning-Modell), der jedes Mal ein perfektes Gericht (eine Vorhersage) zubereiten kann. Sie fragen: „Warum haben Sie diesem Suppe Salz hinzugefügt?" Der Koch zeigt nur auf den ganzen Topf und sagt: „Wegen der Zutaten." Das ist nicht sehr hilfreich. Sie wollen genau wissen, welche Prise Salz entscheidend war.

In der Welt der Künstlichen Intelligenz ist dies das Problem der Erklärbaren KI (XAI). Wir müssen wissen, welche Teile eines Bildes (wie ein Pixel eines Katzenohrs) tatsächlich dazu geführt haben, dass der Computer entschieden hat: „Ja, das ist eine Katze."

Das Problem ist, dass wir keinen „Lösungsschlüssel" (Ground Truth) haben, um zu überprüfen, ob die Erklärung des Kochs richtig ist. Wir können den Computer nicht fragen: „Was hat Sie wirklich dazu gebracht, das zu denken?", weil der Computer nicht weiß, wie er sich in menschlichen Begriffen erklären soll.

Diese Arbeit stellt zwei Hauptdinge vor, um dies zu lösen: ein neues Lineal, um Erklärungen zu messen, und ein neues Werkzeug, um bessere Erklärungen zu erstellen.

1. Das neue Lineal: MSI (Minimality-Sufficiency Integration)

Stellen Sie sich vor, Sie versuchen, einem Freund zu erklären, warum Sie einen bestimmten Film gewählt haben.

Der alte Weg (Bestehende Metriken): Sie könnten sagen: „Ich habe ihn wegen der Schauspieler, des Regisseurs, der Musik, der Beleuchtung, des Popcorns und des Wetters draußen gewählt." Das ist technisch wahr (all diese Dinge haben Sie beeinflusst), aber es ist zu viel Information. Es ist wie die gesamte Seite eines Buches zu markieren, um zu zeigen, wo die Geschichte stattfindet.
Das Problem: Aktuelle „Lineale" für KI-Erklärungen vergeben oft hohe Punktzahlen für diese langen, unordentlichen Erklärungen. Es ist ihnen egal, ob Sie irrelevante Details (wie das Wetter) einbezogen haben.
Das neue Lineal (MSI): Die Autoren haben eine neue Metrik namens MSI entwickelt. Sie bewertet eine Erklärung anhand zweier Regeln:
1. Ausreichendheit: Wenn ich Ihnen nur die wichtigen Teile gebe (die Schauspieler und die Handlung), können Sie den Film dann immer noch erraten? (Ja, das ist „ausreichend").
2. Minimalität: Haben Sie nur die wichtigen Teile einbezogen oder auch das Wetter und das Popcorn mit hereingezogen? (Sie sollten „minimal" sein).

Die Analogie: Denken Sie an einen Scheinwerfer auf einer Bühne.

Eine schlechte Erklärung wirft das Licht auf das ganze Theater, einschließlich des Publikums und der Ausgangsschilder. Es ist „ausreichend" (Sie können den Schauspieler sehen), aber es ist nicht „minimal".
Eine gute Erklärung wirft einen engen, hellen Strahl nur auf das Gesicht des Schauspielers. Es ist sowohl ausreichend (Sie sehen den Schauspieler) als auch minimal (kein verschwendetes Licht).

Die Arbeit behauptet, dass MSI besser darin ist, den Unterschied zwischen einem engen Scheinwerfer und einem unordentlichen Flutlicht zu erkennen als die alten Lineale. Es belohnt Erklärungen, die „genau richtig" sind – weder zu groß noch zu klein.

2. Das neue Werkzeug: LAX (Learnable Adapter eXplanation)

Jetzt, wo wir ein besseres Lineal haben, wie bringen wir der KI bei, bessere Antworten zu geben?

Normalerweise benötigen Sie, um einer KI beizubringen, sich zu erklären, einen Lehrer mit einem Lösungsschlüssel (z. B. einen Menschen, der einen Kreis um die Katze zeichnet). Aber wir haben diese Lösungsschlüssel nicht.

Die Lösung: Die Autoren haben ein „Plug-in"-Modul namens LAX entwickelt.

Wie es funktioniert: Stellen Sie sich die KI als eine Blackbox vor. LAX ist ein kleiner, intelligenter Adapter, den Sie außen an die Box klemmen.
Das Training: Anstatt einen menschlichen Lehrer zu fragen, spielt LAX ein Spiel namens „Was wäre wenn?":
1. Es betrachtet ein Bild und zeichnet einen „Scheinwerfer" (eine Maske) auf die Teile, die es für wichtig hält.
2. Es verdeckt den Rest des Bildes.
3. Es fragt die Blackbox: „Wenn ich Ihnen nur die Teile unter meinem Scheinwerfer zeige, können Sie dann immer noch die Antwort korrekt erraten?"
4. Wenn die Blackbox „Ja" sagt, bekommt LAX einen Punkt für Ausreichendheit.
5. Wenn LAX den Scheinwerfer zu groß gemacht hat (zu viel abdeckend), erhält es eine Strafe für Minimalität.
6. LAX passt seinen Scheinwerfer kontinuierlich an, bis es den kleinsten, präzisesten Bereich findet, der es der Blackbox immer noch ermöglicht, die Antwort richtig zu erhalten.

Das Ergebnis: Die Arbeit zeigt, dass dieses LAX-Werkzeug, das mit ihrem neuen MSI-Lineal trainiert wurde, „Scheinwerfer" erzeugt, die viel schärfer und genauer sind als andere gängige Methoden (wie Grad-CAM). Es gelingt ihm, die „Nadel im Heuhaufen" zu finden, ohne jemals einen Menschen zu benötigen, der ihm zeigt, wo die Nadel ist.

Zusammenfassung der Behauptungen

Das Problem: Wir können nicht messen, ob KI-Erklärungen gut sind, weil uns „korrekte" Beispiele fehlen, mit denen wir sie vergleichen können.
Die Metrik (MSI): Eine neue Möglichkeit, Erklärungen zu bewerten, die sie dafür belohnt, präzise (minimal) und wirksam (ausreichend) zu sein, anstatt nur viel Boden abzudecken.
Die Methode (LAX): Eine neue Trainingstechnik, die einer KI beibringt, diese präzisen Erklärungen zu generieren, indem sie ein Selbstkontroll-Spiel spielt, ohne dass menschlich gelabelte Daten benötigt werden.
Das Ergebnis: Wenn an Bildern von Zahlen, Vögeln und alltäglichen Objekten getestet, erzeugte die LAX-Methode Erklärungen, die bei der neuen MSI-Metrik höher bewertet wurden und „menschlich-intuitiver" wirkten (fokussiert auf die richtigen Merkmale) als bestehende Methoden.

Die Arbeit schließt, dass wir durch die Verwendung dieses neuen Lineals und dieses neuen Trainingswerkzeugs KI-Systeme dazu bringen können, sich klarer und zuverlässiger zu erklären, selbst wenn wir keinen Lehrbuch-Lösungsschlüssel haben, um sie zu verifizieren.

Technisches Fazit: Erlernbare quantifizierbare visuelle Erklärungen ohne Ground-Truth

1. Problemstellung

Erklärbare Künstliche Intelligenz (XAI) ist entscheidend für die Validierung und Sicherstellung des verantwortungsvollen Einsatzes von Deep-Learning-Modellen, insbesondere in hochriskanten Domänen, die Transparenz erfordern. Die Bewertung der Qualität visueller Erklärungen (z. B. Saliency Maps) bleibt jedoch eine erhebliche Herausforderung. Der Bereich fehlt es an einem standardisierten Metrik, weil:

Fehlen von Ground-Truth: Die meisten Datensätze enthalten keine Pixel-level-Ground-Truth-Annotationen dafür, was eine „korrekte" Erklärung ausmacht.
Einschränkungen bestehender Metriken: Aktuelle perturbationsbasierte Metriken (z. B. Insertion, Deletion, MoRF) stimmen oft nicht mit menschlicher Intuition überein. Sie können Erklärungen, die große, irrelevante Bereiche abdecken, hohe Werte zuschreiben oder scheitern daran, zwischen mehreren plausiblen Zuordnungspfaden zu unterscheiden. Sie bestrafen oft Kompaktheit oder haben Schwierigkeiten, wenn für eine einzelne Vorhersage mehrere gültige Erklärungen existieren.

2. Methodik

Der Artikel schlägt einen zweifachen Beitrag vor: eine neue Evaluierungsmetrik und eine neuartige Methode zur Generierung von Erklärungen, die für diese Metrik optimiert ist.

A. Die Minimality-Sufficiency-Integration (MSI)-Metrik
Die Autoren führen MSI ein, eine perturbationsbasierte Metrik, die entwickelt wurde, um Erklärungen basierend auf zwei Prinzipien zu bewerten, die aus dem Information-Bottleneck-Rahmenwerk abgeleitet sind:

Genügsamkeit (Sufficiency): Die Erklärung muss genügend Informationen enthalten, damit das Modell eine korrekte Vorhersage treffen kann.
Minimalität: Die Erklärung sollte so kompakt wie möglich sein und irrelevante Bereiche vermeiden.

MSI wird als Summe eines Basiswerts und einer Masken-Strafe berechnet:

Basiswert: Misst die diskriminierende Kraft der Erklärung. Er vergleicht die Vorhersagegenauigkeit des Modells, wenn nur „relevante" Pixel (oberhalb eines Schwellenwerts $\alpha_{min}$ ) beibehalten werden, mit dem Fall, wenn nur „nicht-relevante" Pixel beibehalten werden. Er integriert zudem die Fläche unter der Kurve (AUC) der Perturbationsleistung (sowohl Insertion als auch Deletion), die bei $\alpha_{min}$ abgeschnitten wird.
Masken-Strafe: Ein Term, der den Anteil der als „wichtig" betrachteten Pixel (oberhalb von $\alpha_{min}$ ) bestraft. Dies erzwingt Sparsamkeit und belohnt Erklärungen, die mit weniger Pixeln Genügsamkeit erreichen.
Endwert: $MSI = \text{Basiswert} - \text{Masken-Strafe}$ .

Diese Metrik ist so konzipiert, dass sie Fälle handhabt, in denen mehrere gültige Erklärungen existieren (z. B. ein Bild mit mehreren unterschiedlichen Objekten, die eine Klassen-Vorhersage auslösen könnten), indem sie die Trennung relevanter und nicht-relevanter Bereiche belohnt, ohne eine einzige eindeutige Ground-Truth-Maske vorauszusetzen.

B. Das Learnable Adapter eXplanation (LAX)-Rahmenwerk
Um die MSI-Metrik zu nutzen, schlagen die Autoren LAX vor, eine selbstüberwachte Methode zur Generierung von Erklärungen ohne Ground-Truth-Annotationen.

Architektur: LAX fungiert als leichtgewichtiges Adapter-Modul, das auf einem eingefrorenen, vortrainierten Black-Box-Modell trainiert wird (architekturunabhängig). Es nimmt Merkmalsrepräsentationen vom Backbone entgegen und gibt eine pixelweise Wichtigkeits-Heatmap aus.
Optimierungsziel: Der Trainingsverlust wird aus dem Information-Bottleneck-Prinzip abgeleitet und so angenähert, dass er handhabbar ist:
- Minimalität ( $I(X, T)$ ): Wird über einen entropiebasierten Regularisierungsterm für die Maske erzwungen. Im Gegensatz zur Standard- $\ell_1$ -Regularisierung erzeugt die Entropie-Regularisierung schärfere, semantisch aussagekräftigere Masken, die sich auf kritische Bereiche konzentrieren.
- Genügsamkeit ( $I(T, y)$ ): Wird durch Maximierung der gegenseitigen Information zwischen der maskierten Eingabe $T$ und dem Label $y$ erzwungen. Dies wird angenähert durch Minimierung des Cross-Entropy-Verlusts zwischen der Vorhersage des Modells auf dem maskierten Bild und dem Ground-Truth-Label.
Endverlust: $L_{LAX} = L_{CE}(y, \hat{y}) + \lambda L_{entropy}(M)$ .

Das Modul wird trainiert, eine Maske zu generieren, die, wenn sie auf die Eingabe angewendet wird, es dem eingefrorenen Modell ermöglicht, eine hohe Vorhersagegenauigkeit zu bewahren, während die Maske so spärlich wie möglich gehalten wird.

3. Hauptbeiträge

MSI-Metrik: Eine neuartige, quantifizierbare Metrik für XAI, die Genügsamkeit und Minimalität ausbalanciert und die Unfähigkeit bestehender Metriken adressiert, zwischen kompakten und diffusen Erklärungen zu unterscheiden oder mehrere gültige Zuordnungspfade zu handhaben.
LAX-Rahmenwerk: Ein modellunabhängiger, selbstüberwachter Erklärungsgenerator, der lernt, kompakte, kausale Erklärungen zu produzieren, indem er direkt das MSI-Ziel optimiert (über seine Entropie- und Fidelity-Komponenten), ohne Ground-Truth-Saliency Maps zu benötigen.
Empirische Validierung: Demonstration, dass von LAX generierte Erklärungen State-of-the-Art-Baselines (Grad-CAM, Layer-CAM, Attention Rollout usw.) auf mehreren Datensätzen (Synthetic MNIST, CUB-200, CIFAR-10) und Architekturen (CNNs, Vision Transformer) übertreffen.

4. Ergebnisse

Experimente wurden auf drei Datensätzen mit unterschiedlicher Komplexität durchgeführt:

Synthetic MNIST: LAX schnitt bei allen Metriken, einschließlich MSI, deutlich besser ab als alle Baselines und zeigte starke Minimalität und Genügsamkeit in Szenarien mit geringer Ambiguität.
CUB-200 (Vögel): Während Standardmetriken (Insertion/Deletion) oft unentschlossen waren oder eine ähnliche Leistung zwischen LAX und Grad-CAM zeigten, erreichte LAX den höchsten MSI-Wert, was einen diskriminierenderen Fokus anzeigt.
CIFAR-10: LAX führte bei insertionsbasierten Metriken. In Szenarien, in denen mehrere informative Bereiche existieren (was zu gemischten Ergebnissen bei deletionsbasierten Metriken für Baselines führte), bewertete MSI LAX erfolgreich hoch, wohingegen traditionelle Metriken Schwierigkeiten hatten, die Qualität zu differenzieren.
Vision Transformer (ViT): LAX erzielte bei ViT-Modellen eine überlegene Leistung im Vergleich zu Attention Rollout und Grad-CAM, insbesondere bei MSI-Werten, was die Anwendbarkeit der Methode über CNNs hinaus bestätigt.

Die qualitative Analyse zeigte, dass LAX schärfere, fokussiertere Heatmaps erzeugt als die oft diffusen oder verrauschten Saliency Maps konkurrierender Methoden.

5. Bedeutung und Behauptungen

Der Artikel behauptet, dass das Fehlen einer standardisierten Evaluierungsmetrik den Fortschritt der XAI behindert hat. Durch die Einführung von MSI stellen die Autoren ein Werkzeug bereit, das besser mit menschlichen Intuitionen bezüglich der Erklärungsqualität übereinstimmt, indem es Erklärungen belohnt, die sowohl für die Entscheidung genügsam als auch in ihrem Umfang minimal sind.

Die Bedeutung von LAX liegt in seiner Fähigkeit, hochwertige Erklärungen für jedes vortrainierte Black-Box-Modell zu generieren, ohne Ground-Truth-Annotationen oder ein erneutes Training des Basismodells zu benötigen. Die Autoren positionieren dies als einen Schritt hin zu zuverlässigeren und rechenschaftspflichtigeren KI-Systemen, bei denen Erklärungen quantitativ validiert und optimiert werden können. Die Arbeit legt nahe, dass zukünftige Bemühungen in der XAI sich auf Metriken konzentrieren sollten, die den Trade-off zwischen Informationsvollständigkeit und Sparsamkeit berücksichtigen, und dass optimierungsbasierte Ansätze effektiv lernen können, diese Kriterien zu erfüllen.