GRALIS: A Unified Canonical Framework for Linear Attribution Methods via Riesz Representation

Dit artikel introduceert GRALIS, een verenigd wiskundig raamwerk dat is gebaseerd op de representatiestelling van Riesz en een canonieke vorm voor lineaire attributiemethoden vaststelt, waarbij gelijktijdig 13,5 van de 14 axiomatische eigenschappen worden voldaan en formele garanties worden geboden voor volledigheid, convergentie en multi-schaalinteracties die individuele XAI-methoden missen.

De kern

Stel je voor dat je een zeer slim, maar mysterieus "black box"-computerprogramma (een diep neurale net) hebt dat naar een afbeelding van een borstweefselmonster kijkt en beslist of het goedaardig of kwaadaardig is. Je weet wat het besliste, maar je hebt geen idee waarom. Het is als een arts die je een diagnose geeft, maar weigert de röntgenfoto te tonen of hun redenering uit te leggen.

Om dit op te lossen, hebben wetenschappers "uitlegbare AI" (XAI)-tools uitgevonden. Denk aan deze tools als verschillende vertalers die proberen de logica van de black box uit te leggen. Tot nu toe spraken deze vertalers echter volledig verschillende talen:

• GradCAM wijst met behulp van gradiënten naar de "hete plekken" op de afbeelding.
• SHAP speelt een spel van "wat als we dit kenmerk verwijderen?".
• LIME bouwt een eenvoudige, lokale kaart rond de specifieke afbeelding.
• Integrated Gradients traceert een pad van een lege afbeelding naar de echte.

Het probleem? Je kon hun antwoorden niet vergelijken. Het was als proberen een kaart die in mijlen is getekend te vergelijken met een die in kilometers is getekend, zonder een omrekenformule.

Presentatie van GRALIS: De Universele Vertaler

Dit artikel introduceert GRALIS (Gradient-Riesz Averaged Locally-Integrated Shapley). Denk aan GRALIS niet alleen als een nieuw hulpmiddel, maar als een meesterkader dat bewijst dat al deze verschillende vertalers eigenlijk dezelfde onderliggende taal spreken, alleen met verschillende accenten.

Hier is de kernidee, opgesplitst met eenvoudige analogieën:

1. Het "Universele Recept" (De Canonieke Vorm)

De auteurs ontdekten dat als je de specifieke trucs van GradCAM, SHAP, LIME en Integrated Gradients weglaat, ze allemaal exact hetzelfde wiskundige recept volgen. Ze berekenen allemaal een gewogen gemiddelde van bijdragen.

Stel je voor dat je een smoothie maakt om de beslissing van de AI uit te leggen.

• De Ingrediënten ($\Delta$): Dit zijn de "marginale bijdragen". Hoeveel veranderde het toevoegen van een specifiek kenmerk (zoals een pixel of een groep pixels) het oordeel van de AI?
• Het Receptenboek ($w$): Dit is de "gewichtsfunctie". Het bepaalt hoeveel belang aan elk ingrediënt wordt gegeven.
• De Blender ($Q$): Dit is de "indexruimte". Het is de container waar alles samen wordt gemengd.

GRALIS bewijst dat elke eerlijke, lineaire en continue manier om de beslissing van de AI uit te leggen er moet uitzien als dit smoothierecept. Dit is gebaseerd op een beroemd wiskundig theorema, het Riesz Representatietheorema, dat in wezen zegt: "Als je iets eerlijk en continu wilt meten, moet je het op deze manier doen."

2. Het Repareren van de "Gebroken Tools"

Het artikel wijst erop dat de oude tools specifieke gebreken hadden, zoals een auto met een platte band of een kapotte motor:

• GradCAM had een "ReLU"-filter (een filter dat negatieve waarden afsnijdt). De auteurs zeggen dat dit filter de wiskunde verstoort, waardoor het onmogelijk is om het te vergelijken met andere tools. Zij stellen een "gelineariseerde" versie voor (GradCAM-lin) die dit filter verwijdert, waardoor het past bij het universele recept.
• LIME slaagde er vaak niet in om op te tellen tot de totale voorspelling (zoals een budget dat niet klopt). GRALIS lost dit op door te zorgen dat het axioma van "compleetheid" wordt voldaan.
• SHAP negeerde de "kromming" (hoe kenmerken soepel met elkaar interageren). GRALIS vult dit gat door te kijken naar het pad tussen kenmerken, niet alleen naar de start- en eindpunten.

3. Het "Spel van Coalities"

Een van de coolste inzichten van het artikel is hoe het interacties behandelt.
Stel je een teamproject voor waarbij het succes afhankelijk is van hoe mensen samenwerken.

• Oude methoden vroegen meestal alleen: "Hoeveel heeft Persoon A bijgedragen?"
• GRALIS vraagt: "Hoeveel heeft Persoon A bijgedragen terwijl hij samenwerkte met Persoon B? En wat als A, B en C samenwerken?"

Dit doet het door de afbeelding om te zetten in een coöperatief spel. Het groepeert pixels in "coalities" (zoals superpixels) en berekent precies hoeveel elke groep bijdraagt aan de uiteindelijke score. Het artikel bewijst wiskundig dat GRALIS deze "interactiewaarden" exact berekent, niet als een benadering.

4. Het "Multi-Schaal" Beeld

Soms moet je naar een afbeelding kijken van veraf (het grote plaatje) en soms van dichtbij (de details).

• Oude methoden kozen meestal één schaal.
• GRALIS heeft een functie genaamd MS-GRALIS (Multi-Scale GRALIS). Het bekijkt de afbeelding op verschillende niveaus van detail (zoals in- en uitzoomen) en combineert deze met "optimale gewichten". Het is als een fotograaf die een wijdbeeld, een medium shot en een close-up maakt, en ze vervolgens perfect mengt zodat je geen belangrijke details mist.

5. Het "Bewijs" (Theorema's)

Het artikel zegt niet alleen "dit werkt"; het levert zeven formele theorema's (wiskundige bewijzen) die garanderen:

• Compleetheid: De uitleggen tellen op tot 100% van de beslissing.
• Convergentie: Als je de berekening vele malen uitvoert, komt het antwoord dichter en dichter bij de waarheid (met een bekende foutmarge).
• Uniciteit: Er is slechts één juiste manier om deze formule te schrijven.
• Interactie: Het berekent correct hoe kenmerken elkaar beïnvloeden.

6. De "Proefrit"

De auteurs testten dit op een real-world dataset van borstkankerafbeeldingen (BreaKHis). Ze zeiden niet alleen "het ziet er goed uit"; ze controleerden of het verwijderen van de "belangrijke" delen die de AI had gemarkeerd, daadwerkelijk de voorspelling van de AI veranderde.

• Resultaat: Toen ze de top-gemarkeerde gebieden verwijderden, daalde het vertrouwen van de AI in een "kwaadaardige" diagnose aanzienlijk (96% van de tijd). Dit bewijst dat het hulpmiddel echt de juiste plekken vindt en niet alleen maar giswerk doet.

Samenvatting

GRALIS is een wiskundige unificatie die zegt: "Al deze verschillende manieren om AI uit te leggen zijn eigenlijk hetzelfde, alleen bekeken door verschillende lenzen." Het biedt een enkel, streng kader dat de gebreken van de oude tools verhelpt, het mogelijk maakt om ze eerlijk te vergelijken, en garandeert dat de uitleggen wiskundig sound, compleet zijn en in staat om te detecteren hoe kenmerken samenwerken.

Het is alsof je eindelijk beseft dat alle verschillende dialecten van een taal eigenlijk dezelfde taal zijn, en dat we nu een woordenboek hebben dat ze allemaal perfect vertaalt.

Technische samenvatting

Technische Samenvatting: GRALIS – Een Unificerend Canoniek Kader voor Lineaire Attributiemethoden

1. Probleemstelling

Het vakgebied van Explainable AI (XAI) voor diepe neurale netwerken is momenteel gefragmenteerd. Bekende attributiemethoden – zoals GradCAM, SHAP, LIME en Integrated Gradients (IG) – opereren op verschillende theoretische fundamenten, waardoor ze formeel niet vergelijkbaar zijn. Deze fragmentatie leidt tot een empirische in plaats van een rigoureuze methodeselectie, waarbij attributiekarten van verschillende technieken niet systematisch kunnen worden vergeleken of gecombineerd.

Eerdere pogingen om deze methoden te unificeren waren gedeeltelijk:

• Ancona et al. stelden vast dat op gradiënten gebaseerde methoden (zoals GradCAM) kunnen worden uitgedrukt als een lineaire vorm "gradiënt $\times$ input", maar bewezen niet dat deze structuur noodzakelijk is, noch namen ze SHAP of LIME op.
• Covert en Lee unificeerden LIME, SHAP en IG via Shapley-spellen, maar sloten GradCAM uit omdat de post-aggregatie ReLU hun vereiste lineariteit schendt.

Bijgevolg blijven zes structurele gaten in de literatuur bestaan:

1. Arbitraire Baselines: IG is afhankelijk van een vaste baseline, wat de resultaten drastisch verandert op basis van die keuze.
2. Genegeerde Kromming: SHAP vergelijkt coalities maar negeert het pad (de kromming) ertussen.
3. Gebrek aan volledigheid: LIME-coëfficiënten hoeven niet op te tellen tot het verschil in modeloutput.
4. Ruimtelijke beperking: GradCAM is beperkt tot CNN-functiemaps en is niet van toepassing op dichte lagen of Transformers.
5. Ontbrekende interacties: De meeste methoden produceren marginale attributies en slagen er niet in geïntegreerde feature-interacties vast te leggen.
6. Geen multi-schaal aggregatie: Geen enkele methode aggregatie attributies over abstractieniveaus met wiskundig optimale gewichten.

2. Methodologie: Het GRALIS-kader

Het artikel stelt GRALIS (Gradient-Riesz Averaged Locally-Integrated Shapley) voor, een wiskundig kader dat lineaire additieve attributiemethoden unificeert onder een unieke canonieke structuur afgeleid van de Riesz-representatiestelling.

De Canonieke Vorm

GRALIS stelt dat elke additieve, lineaire en continue attributiefunctionaal in $L^2(Q, \mu)$ een unieke canonieke representatie toestaat:
$$\phi_i(f, x, x') = \int_Q w(q) \cdot \Delta_i(f, x, x', q) \, d\mu(q)$$
Waarbij:

• $Q$ de integratie-indexruimte is (bijv. paden, coalities of functiemaps).
• $w(q)$ een gewichtsfunctie is.
• $\Delta_i$ de marginale bijdrage van feature $i$ is.

Deze vorm omvat bestaande methoden als speciale gevallen:

• GradCAM-lin: Een gelijnde versie van GradCAM (waarbij de post-aggregatie ReLU wordt verwijderd) waarbij $Q$ kanalen en posities vertegenwoordigt.
• SHAP: Waarbij $Q$ coalities vertegenwoordigt.
• LIME: Waarbij $Q$ lokale perturbaties vertegenwoordigt.
• Integrated Gradients: Waarbij $Q$ integratiepaden vertegenwoordigt.

Belangrijkste Algorithmische Componenten

1. Gecconditioneerde Integratiepaden: In tegenstelling tot standaard IG, dat over een globaal pad integreert, integreert GRALIS over paden die zijn geconditioneerd op specifieke coalities $S$. Features buiten $S$ blijven tijdens de integratie op de baseline, waardoor kromming specifiek voor die coalitie wordt vastgelegd.
2. GRALIS-MC: Om de exponentiële complexiteit van exacte Shapley-waarden ($O(2^n)$) aan te pakken, introduceert het artikel een Monte Carlo-benadering. Dit reduceert de complexiteit tot $O(m \cdot n \cdot k)$ met een expliciete foutgrens die Monte Carlo-steekproeffout ($O(1/\sqrt{m})$) en Riemann-integratiefout ($O(1/k)$) combineert.
3. Interactiewaarden: GRALIS induceert een cooperatief spel $v_G$ vanuit de continue ruimte via een meetbare projectie $\rho$. Het berekent Shapley Interactiewaarden (SIV's) exact op dit geïnduceerde spel met behulp van de Möbius-transformatie, in plaats van ze te benaderen.
4. Multi-schaal Extensie (MS-GRALIS): Voor modellen met meerdere lagen aggregatie GRALIS attributies met gewichten $\lambda_\ell$ afgeleid van inverse variantie-gewichting, waardoor de totale variantie van de attributie wordt geminimaliseerd.

3. Belangrijkste Bijdragen en Theoretische Garanties

Het artikel stelt zeven formele stellingen vast die garanties bieden die ontbreken bij individuele methoden:

• T1 (Unificerende Canonieke Vorm): Bewijst via de Riesz-stelling dat de integraalvorm $(Q, w, \Delta)$ de noodzakelijke en unieke representatie is voor elke additieve, lineaire en continue attributiefunctionaal.
• T2 (Exacte Volledigheid): Garandeert dat de som van attributies gelijk is aan het verschil tussen de modeloutput en de baseline ($f(x) - f(x')$).
• T3 (Convergentie): Biedt een convergentiegrens voor GRALIS-MC, met expliciete fouttermen voor zowel steekproeven als paddiscretisatie.
• T4 (Exacte SIV's): Demonstreert dat GRALIS Shapley Interactiewaarden exact berekent op het geïnduceerde cooperatieve spel $v_G$, waardoor de circulariteit of benadering die vaak voorkomt bij interactieschatting wordt vermeden.
• T5 (Hoeffding ANOVA): Toont aan dat onder feature-onafhankelijkheid GRALIS-termen samenvallen met de Hoeffding functionele decompositie.
• T6 (Sobol-indices): Stelt vast dat Sobol-sensitiviteitsindices een lokaal limietgeval van GRALIS zijn.
• T7 (Multi-schaal Optimalisatie): Bewijst dat inverse variantie-gewichting de optimale gewichten biedt voor multi-schaal aggregatie.

Algebraïsche Rechtvaardiging: Bijlage X maakt gebruik van de Möbius-transformatie om de correspondentie tussen de continue GRALIS-integraal en discrete Shapley Interactiewaarden rigoureus te rechtvaardigen, en bewijst dat GRALIS een geldig cooperatief spel $v_G$ construeert en SIV's daarop exact berekent.

4. Experimentele Validatie

Het artikel rapporteert voorlopige validatie op een taak voor classificatie van borsthistologie met behulp van de BreaKHis-dataset (1.187 afbeeldingen) en een DenseNet-121-model getraind met kennisdistillatie.

• Implementatie: Gebruik van SLIC superpixel-segmentatie ($n_{seg} \approx 25$), 30 Monte Carlo-permutaties met antithetische steekproeven en 10 integratiestappen.
• Betrouwbaarheid: Geëvalueerd via superpixel-verwijdering. Voor maligne afbeeldingen verlaagde het verwijderen van top-attributie superpixels de maligne betrouwbaarheid in 96% van de gevallen (gemiddelde daling +0,025 tot +0,027). Voor goedaardige afbeeldingen was het effect symmetrisch en theoretisch coherent (het verwijderen van goedaardig bewijs verhoogde de maligne betrouwbaarheid).
• Maten:
  • SAL (Saliency): 0,762 (identificatie van semantisch coherente regio's).
  • Compactheid ($\phi_{active}$): 0,39, een 19x verbetering ten opzichte van varianten in de feature-ruimte.
  • Deletie AUC: Voorlopige schattingen tonen een positieve AUC voor maligne afbeeldingen en een symmetrische negatieve AUC voor goedaardige afbeeldingen, consistent met de class-voorwaardelijke structuur.

Opmerking: De auteurs stellen expliciet dat een volledige vergelijkende benchmark tegen basismethoden (GradCAM, KernelSHAP, LIME, IG) is gepland voor een begeleidend artikel.

5. Betekenis en Claims

Het artikel claimt dat GRALIS de fragmentatie van XAI oplost door een unificerende wiskundige rechtvaardiging te bieden voor lineaire attributiemethoden. De betekenis hiervan ligt in:

1. Formele Unificatie: Het is het eerste kader dat tegelijkertijd GradCAM (gelijnde versie), SHAP, LIME en IG omvat onder één noodzakelijke canonieke vorm.
2. Structurele Volledigheid: Het voldoet aan een breder scala aan axiomatische eigenschappen (13,5/14 in de structurele vergelijking van het artikel) dan welke bestaande methode dan ook, inclusief volledigheid, sensitiviteit, localiteit en exacte interacties.
3. Theoretische Rigor: Het gaat verder dan empirische observatie door te bewijzen dat lineariteit een structurele noodzaak is voor additieve attributies, waardoor de "kloof" tussen op gradiënten gebaseerde en op speltheorie gebaseerde methoden wordt overbrugd.
4. Optimaliteit: Het biedt de eerste wiskundig afgeleide optimale gewichten voor multi-schaal aggregatie.

De auteurs houden een bescheiden standpunt aan met betrekking tot de experimentele reikwijdte, en erkennen dat de huidige validatie een proof-of-concept is op één dataset en architectuur. Ze benadrukken dat de theoretische bijdragen (Stellingen 1–7) onvoorwaardelijk gelden onder de gestelde lineariteits- en continuïteitsvoorwaarden, onafhankelijk van de empirische resultaten. Het kader bestrijkt geen niet-lineaire methoden (bijv. standaard GradCAM met ReLU, attentiekarten) aangezien deze buiten de Riesz-representatievoorwaarden vallen, een beperking die de auteurs expliciet noteren voor toekomstig werk.