GRALIS: A Unified Canonical Framework for Linear Attribution Methods via Riesz Representation

Dieser Artikel stellt GRALIS vor, ein einheitliches mathematisches Fundament, das auf dem Rieszschen Darstellungssatz beruht, eine kanonische Form für lineare Attributionsmethoden etabliert, gleichzeitig 13,5 von 14 axiomatischen Eigenschaften erfüllt und formale Garantien für Vollständigkeit, Konvergenz und Multi-Skalen-Interaktionen bietet, die einzelnen XAI-Methoden fehlen.

Das Wesentliche

Stellen Sie sich vor, Sie haben ein sehr intelligentes, aber mysteriöses „Black-Box"-Computerprogramm (ein tiefes neuronales Netz), das ein Bild einer Brustgewebeprobe betrachtet und entscheidet, ob sie gutartig oder bösartig ist. Sie wissen, was es entschieden hat, aber Sie haben keine Ahnung, warum. Es ist wie ein Arzt, der Ihnen eine Diagnose stellt, sich aber weigert, Ihnen das Röntgenbild zu zeigen oder seine Begründung zu erläutern.

Um dies zu lösen, haben Wissenschaftler Werkzeuge für „Erklärbare KI" (XAI) erfunden. Betrachten Sie diese Werkzeuge als verschiedene Übersetzer, die versuchen, die Logik der Black-Box zu erklären. Doch bis jetzt sprachen diese Übersetzer völlig unterschiedliche Sprachen:

• GradCAM zeigt mit Gradienten auf die „Hot Spots" im Bild.
• SHAP spielt ein Spiel des „Was-wäre-wenn wir dieses Merkmal entfernen?".
• LIME erstellt eine einfache, lokale Karte um das spezifische Bild herum.
• Integrated Gradients verfolgt einen Pfad von einem leeren Bild zum realen Bild.

Das Problem? Man konnte ihre Antworten nicht vergleichen. Es war wie der Versuch, eine Karte, die in Meilen gezeichnet ist, mit einer zu vergleichen, die in Kilometern gezeichnet ist, ohne eine Umrechnungsformel.

Hier kommt GRALIS ins Spiel: Der universelle Übersetzer

Diese Arbeit stellt GRALIS (Gradient-Riesz-Averaged-Locally-Integrated-Shapley) vor. Betrachten Sie GRALIS nicht nur als neues Werkzeug, sondern als ein Master-Framework, das beweist, dass all diese verschiedenen Übersetzer eigentlich dieselbe zugrunde liegende Sprache sprechen, nur mit unterschiedlichen Akzenten.

Hier ist die Kernidee, aufgeschlüsselt mit einfachen Analogien:

1. Das „universelle Rezept" (Die kanonische Form)

Die Autoren entdeckten, dass man, wenn man die spezifischen Tricks von GradCAM, SHAP, LIME und Integrated Gradients entfernt, alle genau dasselbe mathematische Rezept befolgen. Sie berechnen alle lediglich einen gewichteten Durchschnitt von Beiträgen.

Stellen Sie sich vor, Sie machen einen Smoothie, um die Entscheidung der KI zu erklären.

• Die Zutaten ($\Delta$): Dies sind die „marginalen Beiträge". Wie sehr hat das Hinzufügen eines bestimmten Merkmals (wie eines Pixels oder einer Pixelgruppe) die Meinung der KI verändert?
• Das Kochbuch ($w$): Dies ist die „Gewichtungsfunktion". Sie entscheidet, wie viel Bedeutung jeder Zutat beigemessen wird.
• Der Mixer ($Q$): Dies ist der „Indexraum". Es ist der Behälter, in dem alles zusammen gemischt wird.

GRALIS beweist, dass jede faire, lineare und kontinuierliche Art, die Entscheidung der KI zu erklären, muss wie dieses Smoothie-Rezept aussehen. Dies basiert auf einem berühmten mathematischen Satz, dem Riesz-Darstellungssatz, der im Wesentlichen besagt: „Wenn Sie etwas fair und kontinuierlich messen wollen, müssen Sie es auf diese Weise tun."

2. Reparatur der „defekten Werkzeuge"

Die Arbeit weist darauf hin, dass die alten Werkzeuge spezifische Mängel hatten, wie ein Auto mit einem platten Reifen oder einem defekten Motor:

• GradCAM hatte einen „ReLU"-Filter (ein Filter, der negative Werte abschneidet). Die Autoren sagen, dieser Filter bricht die Mathematik, was einen Vergleich mit anderen Werkzeugen unmöglich macht. Sie schlagen eine „linearisierte" Version (GradCAM-lin) vor, die diesen Filter entfernt und sie in das universelle Rezept passt.
• LIME versagte oft darin, zur Gesamtvorhersage aufzusummieren (wie ein Budget, das nicht aufgeht). GRALIS behebt dies, indem es sicherstellt, dass das Axiom der „Vollständigkeit" erfüllt ist.
• SHAP ignorierte die „Krümmung" (wie Merkmale sanft interagieren). GRALIS füllt diese Lücke, indem es den Pfad zwischen den Merkmalen betrachtet, nicht nur die Start- und Endpunkte.

3. Das „Spiel der Koalitionen"

Eine der coolsten Erkenntnisse der Arbeit ist, wie sie Interaktionen behandelt.
Stellen Sie sich ein Teamprojekt vor, bei dem der Erfolg davon abhängt, wie die Menschen zusammenarbeiten.

• Alte Methoden fragten normalerweise nur: „Wie viel hat Person A beigetragen?"
• GRALIS fragt: „Wie viel hat Person A beigetragen, wenn sie mit Person B arbeitet? Was ist mit, wenn A, B und C zusammenarbeiten?"

Dies geschieht, indem das Bild in ein kooperatives Spiel verwandelt wird. Es gruppiert Pixel in „Koalitionen" (wie Superpixel) und berechnet genau, wie viel jede Gruppe zum Endergebnis beiträgt. Die Arbeit beweist mathematisch, dass GRALIS diese „Interaktionswerte" exakt berechnet, nicht als Näherung.

4. Die „Multi-Scale"-Ansicht

Manchmal muss man ein Bild aus der Ferne betrachten (das große Ganze) und manchmal aus der Nähe (die Details).

• Alte Methoden wählten normalerweise nur eine Skala.
• GRALIS verfügt über eine Funktion namens MS-GRALIS (Multi-Scale GRALIS). Es betrachtet das Bild auf verschiedenen Detailebenen (wie herein- und herauszoomen) und kombiniert sie mit „optimalen Gewichten". Es ist wie ein Fotograf, der eine Weitwinkelaufnahme, eine Normalaufnahme und eine Nahaufnahme macht und sie dann perfekt mischt, damit Sie keine wichtigen Details verpassen.

5. Der „Beweis" (Theoreme)

Die Arbeit sagt nicht nur „das funktioniert"; sie liefert sieben formale Theoreme (mathematische Beweise), die garantieren:

• Vollständigkeit: Die Erklärungen summieren sich zu 100 % der Entscheidung auf.
• Konvergenz: Wenn Sie die Berechnung viele Male durchführen, nähert sich die Antwort der Wahrheit immer mehr an (mit einer bekannten Fehlergrenze).
• Eindeutigkeit: Es gibt nur eine korrekte Art, diese Formel zu schreiben.
• Interaktion: Sie berechnet korrekt, wie Merkmale sich gegenseitig beeinflussen.

6. Die „Testfahrt"

Die Autoren testeten dies an einem realen Datensatz von Brustkrebsbildern (BreaKHis). Sie sagten nicht nur „es sieht gut aus"; sie überprüften, ob das Entfernen der „wichtigen" Teile, die die KI hervorgehoben hatte, tatsächlich die Vorhersage der KI veränderte.

• Ergebnis: Als sie die am stärksten hervorgehobenen Bereiche entfernten, sank das Vertrauen der KI in eine „bösartige" Diagnose erheblich (in 96 % der Fälle). Dies beweist, dass das Werkzeug tatsächlich die richtigen Stellen findet und nicht nur rät.

Zusammenfassung

GRALIS ist eine mathematische Vereinheitlichung, die besagt: „All diese verschiedenen Arten, KI zu erklären, sind eigentlich dasselbe Ding, nur durch verschiedene Linsen betrachtet." Es bietet ein einziges, rigoroses Framework, das die Mängel der alten Werkzeuge behebt, einen fairen Vergleich ermöglicht und garantiert, dass die Erklärungen mathematisch fundiert, vollständig und in der Lage sind, zu erkennen, wie Merkmale zusammenarbeiten.

Es ist wie das endliche Erkennen, dass alle verschiedenen Dialekte einer Sprache eigentlich dieselbe Sprache sind, und wir nun ein Wörterbuch haben, das sie alle perfekt übersetzt.

Technische Zusammenfassung

Technische Zusammenfassung: GRALIS – Ein einheitlicher kanonischer Rahmen für lineare Attributionsmethoden

1. Problemstellung

Das Feld der erklärbaren Künstlichen Intelligenz (XAI) für tiefe neuronale Netze ist derzeit fragmentiert. Bedeutende Attributionsmethoden – wie GradCAM, SHAP, LIME und Integrated Gradients (IG) – operieren auf unterschiedlichen theoretischen Grundlagen, was sie formal unvergleichlich macht. Diese Fragmentierung führt zu einer empirischen statt rigorosen Methodenwahl, bei der Attributionskarten verschiedener Techniken nicht systematisch verglichen oder kombiniert werden können.

Bisherige Versuche, diese Methoden zu vereinheitlichen, waren unvollständig:

• Ancona et al. zeigten, dass gradientenbasierte Methoden (wie GradCAM) als lineare Form „Gradient $\times$ Eingabe" ausgedrückt werden können, bewiesen jedoch nicht, dass diese Struktur notwendig ist, und schlossen SHAP oder LIME nicht ein.
• Covert und Lee vereinten LIME, SHAP und IG über Shapley-Spiele, schlossen jedoch GradCAM aus, da dessen ReLU nach der Aggregation die Linearität verletzt, die für ihren Rahmen erforderlich ist.

Folglich verbleiben sechs strukturelle Lücken in der Literatur:

1. Beliebige Baselines: IG verlässt sich auf eine feste Baseline, was die Ergebnisse drastisch je nach dieser Wahl verändert.
2. Ignorierte Krümmung: SHAP vergleicht Koalitionen, ignoriert jedoch den Pfad (die Krümmung) zwischen ihnen.
3. Fehlende Vollständigkeit: LIME-Koeffizienten summieren sich nicht notwendigerweise zur Differenz des Modelloutputs.
4. Räumliche Einschränkung: GradCAM ist auf CNN-Feature-Maps beschränkt und gilt nicht für dichte Schichten oder Transformer.
5. Fehlende Interaktionen: Die meisten Methoden produzieren marginale Attributionen und erfassen keine integrierten Feature-Interaktionen.
6. Keine Multi-Skalen-Aggregation: Keine Methode aggregiert Attributionen über Abstraktionsebenen hinweg mit mathematisch optimalen Gewichten.

2. Methodik: Das GRALIS-Framework

Der Artikel schlägt GRALIS (Gradient-Riesz-Averaged Locally-Integrated Shapley) vor, ein mathematisches Framework, das lineare additive Attributionsmethoden unter einer einzigartigen kanonischen Struktur vereint, die aus dem Rieszschen Darstellungssatz abgeleitet ist.

Die kanonische Form

GRALIS postuliert, dass jedes additive, lineare und stetige Attributionsfunktional in $L^2(Q, \mu)$ eine eindeutige kanonische Darstellung zulässt:
$$\phi_i(f, x, x') = \int_Q w(q) \cdot \Delta_i(f, x, x', q) \, d\mu(q)$$
Wobei:

• $Q$ der Integrationsindexraum ist (z. B. Pfade, Koalitionen oder Feature-Maps).
• $w(q)$ eine Gewichtsfunktion ist.
• $\Delta_i$ der marginale Beitrag des Features $i$ ist.

Diese Form umfasst bestehende Methoden als Spezialfälle:

• GradCAM-lin: Eine linearisierte Version von GradCAM (ohne die ReLU nach der Aggregation), wobei $Q$ Kanäle und Positionen repräsentiert.
• SHAP: Wobei $Q$ Koalitionen repräsentiert.
• LIME: Wobei $Q$ lokale Perturbationen repräsentiert.
• Integrated Gradients: Wobei $Q$ Integrationspfade repräsentiert.

Wichtige algorithmische Komponenten

1. Bedingte Integrationspfade: Im Gegensatz zu Standard-IG, das über einen globalen Pfad integriert, integriert GRALIS über Pfade, die auf spezifische Koalitionen $S$ konditioniert sind. Features außerhalb von $S$ bleiben während der Integration auf der Baseline, wodurch die für diese Koalition spezifische Krümmung erfasst wird.
2. GRALIS-MC: Um die exponentielle Komplexität exakter Shapley-Werte ($O(2^n)$) zu adressieren, führt der Artikel eine Monte-Carlo-Näherung ein. Dies reduziert die Komplexität auf $O(m \cdot n \cdot k)$ mit einer expliziten Fehlergrenze, die den Monte-Carlo-Stichprobenfehler ($O(1/\sqrt{m})$) und den Riemann-Integrationsfehler ($O(1/k)$) kombiniert.
3. Interaktionswerte: GRALIS induziert ein kooperatives Spiel $v_G$ aus dem kontinuierlichen Raum über eine messbare Projektion $\rho$. Es berechnet Shapley-Interaktionswerte (SIVs) exakt auf diesem induzierten Spiel mittels der Möbius-Transformation, anstatt sie zu approximieren.
4. Multi-Skalen-Erweiterung (MS-GRALIS): Für Modelle mit mehreren Schichten aggregiert GRALIS Attributionen unter Verwendung von Gewichten $\lambda_\ell$, die aus der inverse Varianz-Gewichtung abgeleitet sind, um die Gesamtvarianz der Attribution zu minimieren.

3. Wichtige Beiträge und theoretische Garantien

Der Artikel stellt sieben formale Theoreme auf, die Garantien bieten, die bei einzelnen Methoden fehlen:

• T1 (Einheitliche kanonische Form): Beweist mittels des Riesz-Theorems, dass die Integralform $(Q, w, \Delta)$ die notwendige und eindeutige Darstellung für jedes additive, lineare und stetige Attributionsfunktional ist.
• T2 (Exakte Vollständigkeit): Garantiert, dass die Summe der Attributionen der Differenz zwischen dem Modelloutput und der Baseline entspricht ($f(x) - f(x')$).
• T3 (Konvergenz): Liefert eine Konvergenzschranke für GRALIS-MC und zeigt explizite Fehlerterme sowohl für das Sampling als auch für die Pfaddiskretisierung.
• T4 (Exakte SIVs): Zeigt, dass GRALIS Shapley-Interaktionswerte exakt auf dem induzierten kooperativen Spiel $v_G$ berechnet und damit die bei der Interaktionsschätzung oft vorkommende Zirkularität oder Approximation vermeidet.
• T5 (Hoeffding-ANOVA): Zeigt, dass unter Feature-Unabhängigkeit die GRALIS-Terme mit der Hoeffding-funktionalen Zerlegung übereinstimmen.
• T6 (Sobol-Indizes): Stellt fest, dass Sobol-Sensitivitätsindizes ein lokaler Grenzfall von GRALIS sind.
• T7 (Multi-Skalen-Optimierung): Beweist, dass die inverse Varianz-Gewichtung die optimalen Gewichte für die Multi-Skalen-Aggregation liefert.

Algebraische Begründung: Anhang X nutzt die Möbius-Transformation, um die Korrespondenz zwischen dem kontinuierlichen GRALIS-Integral und diskreten Shapley-Interaktionswerten rigoros zu begründen, und beweist, dass GRALIS ein gültiges kooperatives Spiel $v_G$ konstruiert und SIVs exakt darauf berechnet.

4. Experimentelle Validierung

Der Artikel berichtet über eine vorläufige Validierung an einer Aufgabe zur Klassifizierung von Brusthistologie unter Verwendung des BreaKHis-Datensatzes (1.187 Bilder) und eines mit Knowledge Distillation trainierten DenseNet-121-Modells.

• Implementierung: Verwendung von SLIC-Superpixel-Segmentierung ($n_{seg} \approx 25$), 30 Monte-Carlo-Permutationen mit antithetischem Sampling und 10 Integrationsschritten.
• Treue: Bewertet über das Löschen von Superpixeln. Bei malignen Bildern reduzierte das Entfernen der Superpixel mit der höchsten Attribution das Vertrauen in Malignität in 96 % der Fälle (mittlerer Abfall von +0,025 bis +0,027). Bei benignen Bildern war der Effekt symmetrisch und theoretisch kohärent (das Entfernen benigner Evidenz erhöhte das Vertrauen in Malignität).
• Metriken:
  • SAL (Saliency): 0,762 (Identifizierung semantisch kohärenter Regionen).
  • Kompaktheit ($\phi_{active}$): 0,39, eine 19-fache Verbesserung gegenüber Varianten im Feature-Raum.
  • Deletion AUC: Vorläufige Schätzungen zeigen einen positiven AUC für maligne Bilder und einen symmetrisch negativen AUC für benignes Bilder, konsistent mit der klassenbedingten Struktur.

Hinweis: Die Autoren stellen ausdrücklich fest, dass ein vollständiger vergleichender Benchmark gegen Baseline-Methoden (GradCAM, KernelSHAP, LIME, IG) für ein Begleitpapier geplant ist.

5. Bedeutung und Behauptungen

Der Artikel behauptet, dass GRALIS die Fragmentierung der XAI durch eine vereinheitlichende mathematische Begründung für lineare Attributionsmethoden auflöst. Seine Bedeutung liegt in:

1. Formale Vereinheitlichung: Es ist das erste Framework, das GradCAM (linearisiert), SHAP, LIME und IG gleichzeitig unter einer einzigen notwendigen kanonischen Form umfasst.
2. Strukturelle Vollständigkeit: Es erfüllt eine breitere Menge axiomatischer Eigenschaften (13,5/14 im strukturellen Vergleich des Artikels) als jede bestehende Methode, einschließlich Vollständigkeit, Sensitivität, Lokalität und exakter Interaktionen.
3. Theoretische Strenge: Es geht über empirische Beobachtungen hinaus und beweist, dass Linearität eine strukturelle Notwendigkeit für additive Attributionen ist, und löst die „Lücke" zwischen gradientenbasierten und spieltheoretischen Methoden.
4. Optimalität: Es liefert die ersten mathematisch abgeleiteten optimalen Gewichte für die Multi-Skalen-Aggregation.

Die Autoren nehmen eine bescheidene Haltung bezüglich des experimentellen Umfangs ein und erkennen an, dass die aktuelle Validierung ein Proof-of-Concept auf einem einzigen Datensatz und einer einzigen Architektur ist. Sie betonen, dass die theoretischen Beiträge (Theoreme 1–7) unter den angegebenen Linearitäts- und Stetigkeitsbedingungen uneingeschränkt gelten, unabhängig von den empirischen Ergebnissen. Das Framework deckt keine nichtlinearen Methoden ab (z. B. Standard-GradCAM mit ReLU, Attention-Maps), da diese außerhalb der Bedingungen des Rieszschen Darstellungssatzes liegen, eine Einschränkung, die die Autoren ausdrücklich für zukünftige Arbeiten notieren.