Informative Perturbation Selection for Uncertainty-Aware Post-hoc Explanations

Die Arbeit stellt \texttt{EAGLE} vor, ein post-hoc-Erklärungsframework, das die Perturbationsauswahl als informationstheoretisches aktives Lernproblem formuliert, um effizient stabile und reproduzierbare lokale Surrogatmodelle mit Unsicherheitsschätzungen zu lernen.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen riesigen, undurchsichtigen Roboter (einen sogenannten „Black-Box"-KI-Modell), der Entscheidungen trifft – zum Beispiel, ob ein Kredit bewilligt wird oder ob ein Bild eine Katze zeigt. Das Problem: Niemand weiß genau, warum der Roboter diese Entscheidung getroffen hat. Er gibt nur das Ergebnis aus, aber keine Erklärung.

Um das Vertrauen in diese KI zu stärken, brauchen wir eine Art „Übersetzer", der uns sagt: „Der Roboter hat den Kredit abgelehnt, weil das Einkommen zu niedrig war."

Das ist das Ziel von EAGLE (Expected Active Gain for Local Explanations), einer neuen Methode, die in diesem Papier vorgestellt wird. Hier ist die Erklärung in einfachen Worten, mit ein paar bildhaften Vergleichen:

1. Das Problem: Der zufällige Streifzug

Bisherige Methoden (wie LIME) versuchen, den Roboter zu verstehen, indem sie ihn mit vielen zufälligen Fragen testen.

• Die Analogie: Stellen Sie sich vor, Sie versuchen, die Regeln eines unbekannten Spiels herauszufinden, indem Sie blindlings Würfel werfen und schauen, was passiert.
• Das Problem: Wenn Sie 100 Würfe machen, könnten Sie 90 davon in Bereiche werfen, die für die aktuelle Situation gar nicht wichtig sind. Das Ergebnis ist oft ungenau, und wenn Sie es nochmal versuchen, erhalten Sie ein völlig anderes Ergebnis. Es ist wie ein Wetterbericht, der jeden Morgen anders ist, obwohl die Wolken gleich aussehen.

2. Die Lösung: EAGLE als intelligenter Detektiv

EAGLE ist nicht blind. Es nutzt eine Strategie, die man als „intelligentes Fragen" bezeichnen könnte.

• Die Analogie: Statt blind zu würfeln, ist EAGLE wie ein Detektiv, der genau weiß, wo er suchen muss. Wenn er unsicher ist, welche Regel gilt, stellt er gezielt Fragen genau in diesem unsicheren Bereich.
• Wie es funktioniert: EAGLE fragt sich ständig: „Welche nächste Frage wird mir den meisten neuen Wissen bringen?" Es ignoriert Bereiche, in denen es sich schon sicher ist, und konzentriert sich auf die „Grauzonen".

3. Der Trick: Die perfekte Balance

EAGLE muss zwei Dinge gleichzeitig beachten:

1. Nähe: Die Fragen müssen nah an der ursprünglichen Entscheidung liegen (man will ja nicht erklären, warum der Roboter diesen Kredit abgelehnt hat, indem man fragt, was bei einem Millionär passiert wäre).
2. Neugier (Unsicherheit): Die Fragen müssen dort gestellt werden, wo das Modell am meisten „zögert".

Die Metapher:
Stellen Sie sich vor, Sie malen ein Bild von einem Freund.

• Die alten Methoden malten einfach zufällig Punkte auf das Papier und hofften, dass sie das Gesicht treffen.
• EAGLE hingegen schaut erst, wo die Konturen unscharf sind (z. B. die Kante des Kinns), und malt dort ganz präzise nach. Es weiß genau, wo es noch Informationen braucht, um das Bild scharf zu machen, ohne Zeit mit dem Hintergrund zu verschwenden.

4. Warum ist das besser?

• Stabilität: Wenn Sie EAGLE zweimal starten, bekommen Sie fast das gleiche Ergebnis. Bei den alten Methoden war das Ergebnis oft ein Glücksspiel.
• Effizienz: EAGLE braucht weniger Fragen (weniger Rechenzeit), um eine gute Erklärung zu finden. Es ist wie ein Student, der lernt, indem er nur die Aufgaben macht, die er noch nicht versteht, statt jedes Mal das ganze Buch von vorne zu lesen.
• Vertrauen: EAGLE sagt Ihnen nicht nur was wichtig ist, sondern auch, wie sicher es sich dabei ist. Es gibt eine Art „Vertrauens-Score" mit.

Zusammenfassung in einem Satz

EAGLE ist wie ein kluger Assistent, der statt blind herumzustochern, gezielt die richtigen Fragen stellt, um uns schnell und zuverlässig zu erklären, warum eine KI eine bestimmte Entscheidung getroffen hat – und das mit einer Zuverlässigkeit, die bisherige Methoden nicht hatten.

Der wissenschaftliche Kern (für die Neugierigen):
Technisch gesehen nutzt EAGLE ein mathematisches Werkzeug namens „erwarteter Informationsgewinn". Es berechnet, wie stark die Unsicherheit über die Erklärung sinkt, wenn man eine bestimmte Frage stellt. Dadurch spart es Zeit und liefert stabilere Ergebnisse als die bisherigen Besten.

Technische Zusammenfassung

1. Problemstellung

Im Bereich des Explainable AI (XAI) besteht ein zentrales Problem bei der Erklärung komplexer, „black-box" Machine-Learning-Modelle darin, dass bestehende Post-hoc-Methoden (Methoden, die nach dem Training des Modells angewendet werden) oft unzuverlässig und instabil sind.

• Herausforderung: Bekannte Methoden wie LIME, GLIME oder BayesLIME generieren Erklärungen, indem sie lokale Surrogatmodelle (z. B. lineare Modelle) um einen Datenpunkt herum anpassen. Dies geschieht durch das Erstellen von gestörten (perturbierten) Eingaben in der Nachbarschaft des interessierenden Samples.
• Unsicherheit: Da diese Methoden auf endlichen Stichproben und zufälligen Perturbationen basieren, entstehen Erklärungen mit hoher Varianz. Die Feature-Importanz-Scores können zwischen verschiedenen Läufen stark variieren.
• Mangel an Prinzipien: Bestehende Ansätze zur Unsicherheitsquantifizierung (wie BayesLIME) verwenden oft heuristische Strategien zur Auswahl der Perturbationen (z. B. basierend auf der Vorhersagevarianz), die jedoch die Lokalität (die Nähe zum ursprünglichen Sample) nicht systematisch in die Auswahl informativer Punkte integrieren. Dies führt dazu, dass epistemische Unsicherheit (Unsicherheit des Modells) nicht effizient reduziert wird.

Das Ziel ist es, eine prinzipielle, stichproben-effiziente Strategie zur Auswahl von Perturbationen zu entwickeln, die die Unsicherheit der lokalen Erklärung minimiert, während die Lokalität gewahrt bleibt.

2. Methodik: EAGLE Framework

Die Autoren schlagen EAGLE (Expected Active Gain for Local Explanations) vor, ein Framework, das Active Learning mit informationstheoretischen Kriterien kombiniert.

• Bayesianisches Surrogat-Modell: EAGLE nutzt ein bayesianisches lineares Regressionsmodell als Surrogat. Dies ermöglicht die Berechnung posteriorer Verteilungen über die Feature-Koeffizienten ($\phi$) und liefert somit nicht nur Punktschätzungen, sondern auch Unsicherheitsschätzungen (Konfidenzintervalle).

• Aktive Lernstrategie: Anstatt Perturbationen zufällig zu generieren, wählt EAGLE aktiv diejenigen aus einer Kandidatenmenge aus, die den größten erwarteten Informationsgewinn (Expected Information Gain, EIG) für das Surrogatmodell liefern.

• Die Akquisitionsfunktion:
  Das Kernstück ist die Herleitung einer neuen Akquisitionsfunktion. Theoretisch wird gezeigt, dass die Maximierung des erwarteten Informationsgewinns für ein lineares bayesianisches Surrogat äquivalent zur Maximierung des gewichteten Ausdrucks ist:
  $$\text{Score}(z) = \pi_{x_0}(z) \cdot z^\top V_\phi z$$
  Dabei ist:

  • $z$: Der Kandidat für eine Perturbation.
  • $V_\phi$: Die Posterior-Kovarianzmatrix der Koeffizienten (repräsentiert die epistemische Unsicherheit).
  • $\pi_{x_0}(z)$: Ein Lokalitäts-Kernel, der Punkte nahe am Original-Sample $x_0$ höher gewichtet.
  • $z^\top V_\phi z$: Misst die Unsicherheit in Richtung des Vektors $z$.

  Unterschied zu BayesLIME: Während BayesLIME nur die Vorhersagevarianz betrachtet, integriert EAGLE explizit den Lokalitäts-Kernel $\pi_{x_0}(z)$ in die Akquisitionsfunktion. Dies stellt sicher, dass die Suche nach informativen Punkten nicht die Nachbarschaft des Samples verlässt.

• Algorithmus: Der Prozess beginnt mit einer kleinen Menge an Seed-Perturbationen. In jedem Schritt werden neue Kandidaten aus einem Pool generiert, bewertet und die besten $B$ (Batch-Größe) ausgewählt, um das Surrogatmodell iterativ zu verfeinern.

3. Wichtige Beiträge

1. Neues Framework (EAGLE): Einführung des ersten prinzipiellen Frameworks, das informationstheoretisches Active Learning für lokale Post-hoc-Erklärungen nutzt, um epistemische Unsicherheit gezielt zu reduzieren.
2. Theoretische Garantien:
   • Die Autoren leiten eine Obergrenze für das kumulative Informationswachstum her: Es skaliert als $O(d \log t)$, wobei $d$ die Dimensionalität und $t$ die Anzahl der Samples ist.
   • Es werden Schranken für die Stichprobenkomplexität (Sample Complexity) abgeleitet. Um eine Genauigkeit $\nu$ mit Konfidenz $1-\delta$ zu erreichen, wächst die benötigte Anzahl an Abfragen linear mit $d$ und logarithmisch mit $1/\delta$.
3. Novel Acquisition Function: Die Herleitung der spezifischen Formel $\pi_{x_0}(z) z^\top V_\phi z$, die Lokalität und Unsicherheit mathematisch fundiert verbindet.
4. Umfassende Evaluation: Experimente auf tabellarischen (COMPAS, German Credit, Adult, Magic) und Bilddatensätzen (MNIST, ImageNet) mit Black-Box-Modellen (Random Forest, CNN, VGG-16).

4. Ergebnisse

Die experimentellen Ergebnisse bestätigen die theoretischen Vorhersagen und zeigen eine deutliche Überlegenheit gegenüber State-of-the-Art-Baselines (LIME, GLIME, BayesLIME, US-LIME, Tilia, UnRAvEL):

• Erklärungsstabilität (Jaccard-Ähnlichkeit): EAGLE erzielt konsistent die höchsten Jaccard-Scores über mehrere Läufe hinweg. Dies bedeutet, dass die identifizierten Top-Features stabil sind und nicht zufällig variieren. Auf Bilddaten war der Vorsprung besonders groß.
• Sampling-Qualität (D-Effizienz & CIG):
  • D-Effizienz: Misst die Reduktion des Volumens der Posterior-Kovarianz. EAGLE konvergiert schneller und erreicht bei gleicher Anzahl an Abfragen eine ca. 1,5-fach höhere D-Effizienz als BayesLIME.
  • Kumulativer Informationsgewinn (CIG): EAGLE sammelt Informationen effizienter.
• Stichproben-Effizienz: EAGLE erreicht die gleiche Qualität wie BayesLIME bei 500 Abfragen bereits mit deutlich weniger Abfragen (Einsparungen von 22% bis 38% bei D-Effizienz und 52% bis 88% bei Stabilitätsmetriken).
• Laufzeit: Obwohl EAGLE komplexer ist als einfaches LIME, ist es effizienter als BayesLIME und UnRAvEL, da die gezielte Auswahl weniger Abfragen benötigt, um stabile Ergebnisse zu erzielen.

5. Bedeutung und Fazit

Die Arbeit stellt einen wichtigen Meilenstein in der Entwicklung mathematisch fundierter Active-Learning-Methoden für XAI dar.

• Vertrauenswürdigkeit: Durch die explizite Quantifizierung und Reduktion der epistemischen Unsicherheit werden Erklärungen verlässlicher und weniger anfällig für Zufallseffekte.
• Ressourceneffizienz: Die Methode reduziert den Bedarf an teuren Black-Box-Abfragen (Queries), was in Szenarien mit hohem Rechenaufwand oder Kosten für Datenabfragen kritisch ist.
• Prinzipieller Ansatz: Statt auf Heuristiken zu setzen, bietet EAGLE eine theoretisch abgesicherte Basis für die Auswahl von Perturbationen, die sowohl die Lokalität als auch die Informationsdichte berücksichtigt.

Zusammenfassend zeigt EAGLE, dass die Integration von Active Learning und Bayesianischer Inferenz zu robusteren, stabileren und effizienteren Erklärungen für Black-Box-Modelle führt.