Axiomatic On-Manifold Shapley via Optimal Generative Flows

Deze paper introduceert een nieuwe theorie voor on-manifold Shapley-attributie die gebruikmaakt van optimale generatieve stromen om artefacten te elimineren en wiskundig bewezen stabiele, geometrisch consistente verklaringen voor XAI te leveren.

De kern

Stel je voor dat je een heel slimme, maar mysterieuze robot hebt die foto's bekijkt en zegt: "Dit is een kat!" of "Dit is een auto!". Je vraagt je af: "Waarom denk je dat? Welke delen van de foto waren het belangrijkst?"

Dit is wat Explainable AI (XAI) doet: het probeert de gedachten van de robot te onthullen. Een populaire methode hiervoor heet Shapley-waarden. In het kort: het probeert te berekenen hoeveel elk klein stukje van de foto (bijvoorbeeld één pixel) heeft bijgedragen aan het eindresultaat.

Maar hier zit een groot probleem, en dat is waar dit nieuwe artikel over gaat.

Het Probleem: De "Valse" Baseline

Stel je voor dat je de robot vraagt: "Wat zou je zeggen als dit stukje van de foto er niet was?"
Om dit te beantwoorden, moet de robot iets invullen op die plek. Meestal gebruiken onderzoekers een heel saaie, grijze vlek of een wazige achtergrond als "standaard" (de baseline).

Het probleem is dat deze grijze vlekken niet bestaan in de echte wereld. Een kat heeft geen grijze vlekken op zijn oren; een auto heeft geen wazige plekken op zijn wielen.
Wanneer de robot naar zo'n onnatuurlijke, grijze plek kijkt, raakt hij in de war. Hij ziet dingen die er niet zijn (artefacten) en geeft een verkeerde uitleg. Het is alsof je iemand vraagt wat hij zou denken als hij op de maan zou staan, terwijl hij nog nooit buiten de aarde is geweest. Zijn antwoord is dan puur speculatie, geen echte logica.

De Oplossing: De "Optimale Stroom"

De auteurs van dit paper zeggen: "Laten we stoppen met het invullen van valse, grijze plekken. Laten we in plaats daarvan een natuurlijk pad volgen."

Ze gebruiken een wiskundig concept dat lijkt op waterstromen of windstromen.

1. Het Idee van de Stroom:
   Stel je voor dat je een foto van een wolk (de "standaard") hebt en je wilt die langzaam transformeren in een foto van een echte kat (de "data"). In plaats van de kat plotseling op de wolk te plakken (wat vreemd en onnatuurlijk is), laten we de wolk langzaam veranderen. De wolken veranderen in vacht, de vacht krijgt vorm, en de oren komen tevoorschijn.
   Dit pad van verandering is een stroom (flow). Het blijft de hele tijd op een "natuurlijk pad" (het manifold), wat betekent dat elke tussenvorm eruitziet als iets dat in de echte wereld zou kunnen bestaan.

2. De Kortste Weg (De Geodeet):
   Er zijn oneindig veel manieren om een wolk in een kat te veranderen. Je kunt het langzaam doen, je kunt het snel doen, je kunt er gekke bochten in maken.
   De auteurs zeggen: "Laten we de meest efficiënte, rechtste weg kiezen." In de wiskunde noemen ze dit een geodeet. Het is alsof je de kortste, meest energiezuinige route kiest tussen twee punten.
   Ze gebruiken een techniek genaamd Optimal Transport (optimale vervoer). Dit zorgt ervoor dat de verandering van de ene foto naar de andere zo soepel en logisch mogelijk verloopt, zonder rare sprongen.

Waarom is dit beter?

• Geen Valse Werelden: Omdat het pad altijd door "natuurlijke" beelden gaat, raakt de robot niet in de war door onbestaande grijze vlekken. De uitleg die hij geeft, is gebaseerd op echte, logische veranderingen.
• Stabiliteit: Als je een andere willekeurige route kiest, krijg je misschien een ander antwoord. Maar als je de kortste, meest efficiënte route kiest, krijg je altijd hetzelfde, eerlijke antwoord. Het is de "standaard" route.
• Betrouwbaarheid: De auteurs bewijzen wiskundig dat als je deze specifieke route kiest, de uitleg die je krijgt de enige juiste manier is om de bijdrage van elk pixel te meten, volgens de regels van de speltheorie (Shapley).

De Analogie: De Reis van A naar B

Stel je voor dat je een reisplanner hebt die moet uitleggen waarom je van punt A (een lege foto) naar punt B (een foto van een hond) bent gegaan.

• De oude manier: De planner zegt: "We zijn eerst naar een vreemde, grijze dimensie gegaan die er niet bestaat, en toen plotseling naar de hond." De uitleg is verwarrend en onbetrouwbaar.
• De nieuwe manier (dit paper): De planner zegt: "We zijn een soepele, natuurlijke weg gevolgd. We zijn langzaam van een wazige vorm naar een snuit gegaan, toen naar oren, en toen naar poten. Elke stap was logisch."

Conclusie

Dit paper introduceert een nieuwe, wiskundig perfecte manier om AI's uit te leggen. In plaats van te raden wat er zou zijn als een deel van de foto weg was (wat vaak tot rare, onnatuurlijke resultaten leidt), volgen ze een natuurlijk, soepel pad door de wereld van mogelijke beelden.

Ze gebruiken wiskunde om de "kortste en snelste" route te vinden tussen een standaardbeeld en de echte foto. Hierdoor krijgen we uitleggen die niet alleen wiskundig correct zijn, maar ook betrouwbaar en logisch voor mensen om te begrijpen. Het is alsof we eindelijk een GPS hebben die de echte weg volgt, in plaats van een route die door de lucht vliegt.

Technische samenvatting

1. Het Probleem

Bestaande methoden voor post-hoc uitlegbaarheid (XAI), zoals Shapley-waarden en geïntegreerde gradiënten (Integrated Gradients - IG), kampen met twee fundamentele beperkingen:

• Off-manifold artefacten: Traditionele Shapley-methoden vereisen een "baseline" (referentie) om de afwezigheid van een feature te simuleren. Het kiezen van een willekeurige baseline (bijv. een zwart beeld of een onscherpe versie) leidt vaak tot input-waarden die niet voorkomen in de echte data-distributie (off-manifold). Modellen reageren hier vaak onstabiel of onlogisch op, wat tot misleidende uitleggen leidt.
• Combinatorische complexiteit en willekeur: Het exact berekenen van Shapley-waarden is onuitvoerbaar voor hoge dimensies. Pad-integraal-methoden (zoals IG) omzeilen dit door een rechte lijn te gebruiken, maar de keuze voor het pad en de baseline blijft heuristisch en willekeurig. Er ontbreekt een theoretisch kader dat bepaalt welk pad "kanoniek" of optimaal is.

2. Methodologie

De auteurs stellen een nieuw theoretisch kader voor: Axiomatische On-Manifold Shapley via Optimale Generatieve Stromen. De kern van de methode is het vervangen van heuristische paden door wiskundig geoptimaliseerde trajecten op het data-manifold.

• Van Baselines naar Stromen: In plaats van te kijken naar alle mogelijke subsets van features, wordt het gedrag van het model geanalyseerd langs een gladde pad dat een referentieverdeling ($p_0$) verbindt met de waargenomen data ($p_1$). Dit pad fungeert als een "gestructureerd coalitie-vormingsproces".
• Optimale Transport (Wasserstein-2): Om de ambiguïteit van padkeuze op te lossen, wordt het pad gedefinieerd als de oplossing van een variatieprobleem. De auteurs kiezen het pad dat de kinetische energie minimaliseert bij het transporteren van massa van $p_0$ naar $p_1$. Dit komt overeen met de Benamou-Brenier dynamische formulering van de kwadratische Wasserstein-2 afstand.
• Kanonieke Paden: Dit optimalisatieprobleem resulteert in een unieke familie van karakteristieke krommen (geodesics) op het data-manifold. Deze paden worden gegenereerd door een Rectified Flow (of een vergelijkbaar generatief model) dat is getraind om deze optimale transportstroom te benaderen.
• Axiomatische Basis: De auteurs bewijzen een representatietheorema: voor een vast pad is de Aumann-Shapley lijnintegraal van de modelgradiënt de enige functionele die voldoet aan de klassieke Shapley-axioma's (efficiëntie, symmetrie, dummy, additiviteit) en bovendien reparameterisatie-invariantie (de uitleg hangt niet af van de snelheid waarmee het pad wordt afgelegd).

3. Belangrijkste Bijdragen

1. Theoretisch Kader: Definities van pad-gebaseerde attributieregels op gladde manifolds met uitgebreide axioma's, inclusief reparameterisatie-invariantie.
2. Uniciteitsbewijs: Bewijs dat flow-gebaseerde Aumann-Shapley attributies (gedefinieerd via gradiënt-lijnintegralen) de unieke oplossing zijn die voldoet aan deze axioma's.
3. Kanonieke Padselectie: Koppeling van padkeuze aan Wasserstein-2 optimal transport. Door de stroming te minimaliseren die de kinetische energie minimaliseert, wordt een canonieke, wiskundig onderbouwde attributieregel verkregen die geen handmatige baseline-selectie vereist.
4. Stabiliteit en Consistentie:
   • Voor additieve modellen herleidt de methode zich exact tot klassieke Shapley-waarden.
   • Voor generieke modellen worden stabiliteitsgrenzen bewezen: de fout in de attributie schaalt voorspelbaar met de fout in de benadering van de generatieve stroom.
5. Implementatie: Een efficiënte numerieke implementatie die de ODE van de stroom oplost en de integraal benadert, met een complexiteit die lineair is in het aantal stappen (in plaats van exponentieel zoals bij discrete Shapley).

4. Resultaten

De methode is geëvalueerd op drie regimes: CUB-200 (hoge onzekerheid), CIFAR-10 (standaard benchmark) en CelebA-HQ (hoge resolutie).

• Axiomatische Validatie: De numerieke integratie convergeert snel; bij 50 stappen is de fout in de volledigheid (completeness axiom) verwaarloosbaar (< 5%).
• Geometrische Stabiliteit: Het gebruik van "Reflowed" stromen (2-RF) die de kinetische actie minimaliseren, leidt tot een niet-lineaire verbetering in stabiliteit vergeleken met één-staps benaderingen (1-RF). Dit resulteert in een sterkere correlatie in feature-importantie-rangschikkingen tussen verschillende seeds.
• Stabiliteitsgrenzen: Er is een sterke lineaire correlatie gevonden tussen de fout in de generatieve stroom en de fout in de attributie, wat de theoretische stabiliteitsgrenzen empirisch bevestigt.
• Geometrische Fidelity:
  • Flow Consistency Error (FCE): De voorgestelde methode (Geodesic Flow) reduceert de FCE met vijf ordes van grootte ten opzichte van diffusie-baselines (DDIM), wat aantoont dat het pad strikt op het data-manifold blijft.
  • Structure-Aware Total Variation (SATV): De gegenereerde attributiekarten zijn schoner en minder ruisachtig dan die van Integrated Gradients (IG) of DDIM, omdat ze geen "shattered gradients" (gebroken gradiënten) in off-manifold gebieden ervaren.
• Visuele Kwaliteit: In hoge resolutie (CelebA-HQ) captureert de methode fijne semantische details (zoals baard, neus, ogen) zonder de overmatige vervaging of artefacten die bij andere methoden voorkomen.

5. Betekenis en Impact

Dit werk vormt een brug tussen Optimal Transport-theorie en betrouwbare AI.

• Oplossing voor Baseline-probleem: Het transformeert de keuze van een baseline van een heuristische, willekeurige beslissing naar een strikt variatieprobleem over kansverdelingen.
• Semantische Betrouwbaarheid: Door attributies te beperken tot het data-manifold, worden artefacten die ontstaan door het interpreteren van modellen in gebieden waar ze niet voor zijn getraind, geëlimineerd.
• Toepassingsgebied: De methode is cruciaal voor hoog-risico domeinen (zoals medische beeldvorming), waar "uitleg-hallucinaties" (artefacten door off-manifold imputatie) gevaarlijke beslissingen kunnen veroorzaken.
• Theoretische Rigor: Het biedt een wiskundig onderbouwd, uniek en stabiel alternatief voor bestaande XAI-methoden, waarbij de intrinsieke geometrie van de data wordt gerespecteerd als een voorwaarde voor eerlijke uitleg.

Kortom, de paper introduceert een nieuwe standaard voor Shapley-attributie die wiskundig kanoniek is, wiskundig stabiel en semantisch betrouwbaarder dan bestaande heuristische benaderingen.