Technische Samenvatting: OperatorSHAP

Probleemstelling

Neurale operatoren zijn ontworpen om afbeeldingen tussen functieruimtes te leren, wat een grid-agnostische flexibiliteit biedt die essentieel is voor fysieke toepassingen met partiële differentiaalvergelijkingen (PDE's). Deze modellen kunnen inputs accepteren die gesampled zijn op onregelmatige grids of variërende resoluties (bijv. 128 versus 1.024 punten) zonder hertraining. Echter, het interpreteren van deze modellen blijft een aanzienlijke uitdaging.

In veiligheidskritische fysieke domeinen (bijv. beoordeling van structurele belasting, weerwaarschuwingen) is het begrijpen van modelvoorspellingen van vitaal belang. Hoewel Shapley-waarden een theoretisch onderbouwde attributiemethode bieden die voldoet aan wenselijke axioma's, is hun computationele kosten tijdens inferentie prohibitief. Bestaande geamortiseerde explainers, zoals FastSHAP, zijn beperkt tot homogene inputs (vaste, regelmatige grids). Ze kunnen de heterogene grids en onregelmatige geometrieën die gebruikelijk zijn bij wetenschappelijke data (bijv. ongestructureerde meshes van sensorplaatsingen of adaptieve verfijning) niet direct aan. Bovendien is het definiëren van geamortiseerde Shapley-waarden op heterogene grids niet triviaal, omdat attributies afhankelijk zijn van zowel het totale aantal spelers als de ruimtelijke afstanden tussen naburige spelers.

Methodologie

De auteurs introduceren OperatorSHAP, een grid-agnostische attributiemethode en trainingsprocedure die de geamortiseerde Shapley-schatting uitbreidt naar neurale operatoren. De aanpak overbrugt de kloof tussen discrete Shapley-waarden en continue functieruimtes via de volgende stappen:

1. Theoretisch Kader: Aumann–Shapley-waarden

Het artikel legt een theoretische basis door neurale operator-games te verbinden met de Aumann–Shapley-waarde, een uitbreiding van Shapley-waarden naar games met oneindig veel spelers (niet-atomaire maatruimtes).

• Smooth Operator Games: De auteurs definiëren een "smooth operator game" waarbij de inputruimte een Sobolev-ruimte $H^s$ is (met $s > d/2$). Door gladde maskers (bump-functies) te gebruiken om het ruimtelijke domein te partitioneren, garanderen ze dat de operator Fréchet-differentieerbaar is.
• pNA Class: Ze bewijzen dat deze smooth operator games behoren tot de pNA-klasse (games met einddimensionale representaties via niet-atomaire maten). Dit garandeert het bestaan van een unieke Aumann–Shapley-waarde, berekenbaar via een diagonale formule met betrekking tot de Fréchet-afgeleide.
• Verbinding met Integrated Gradients: De afgeleide Aumann–Shapley-waarde wordt getoond gelijk te zijn aan een functiewaarde Integrated Gradient (IG) formule, waarbij de attributie de integraal is van de directionele afgeleide langs een pad van een baseline naar de input.

2. Geamortiseerde Grid-Agnostische Explainer

Om deze waarden computationeel haalbaar te maken, stellen de auteurs voor om een neurale operator-explainer (bijv. een FNO) te trainen om de Aumann–Shapley-dichtheid te benaderen.

• Trainingsdoel: De explainer $\Phi_\theta$ wordt getraind met een FastSHAP-achtige loss. In plaats van de Shapley-waarden voor elke sample individueel te berekenen, geeft de explainer een continue attributieveld $\phi$ voor een gegeven input $u$.
• Discretisatie: Tijdens de training wordt het continue outputveld geïntegreerd over specifieke coalitie-regio's (partities) om discrete waarden te produceren. De loss minimaliseert de gewogen Mean Squared Error (MSE) tussen deze geïntegreerde waarden en de ware coalitie-waarden $v(S)$.
• Grid Agnosticism: Omdat de explainer een neurale operator is, leert het een mapping van functieruimtes naar functieruimtes. Het kan getraind worden op samples met variërende grid-resoluties en onregelmatige meshes. Eenmaal getraind kan hetzelfde model attributies genereren voor inputs op elk grid-resolutie zonder hertraining, waardoor het de onderliggende Aumann–Shapley-dichtheid effectief leert.

Belangrijkste Bijdragen

1. Theoretische Fundamenten: Het artikel biedt een rigoureus wiskundig kader voor attributies in functieruimtes, waarbij wordt aangetoond dat smooth neurale operator-games goed gedefinieerde Aumann–Shapley-waarden toestaan. Het verbindt deze waarden met de diagonale formule en Integrated Gradients.
2. Geamortiseerde Grid-Agnostische Explainer: De auteurs stellen een trainingsprocedure voor (Algoritme 1) die het mogelijk maakt om FastSHAP-achtige explainers te trainen op onregelmatige en heterogene grids. Dit maakt het genereren van Shapley-achtige attributies voor neurale operatoren over willekeurige resoluties mogelijk.
3. Empirische Validatie: De methode wordt gevalideerd op negen PDE-datasets (inclusclusief 1D/2D gestructureerde grids en ongestructureerde MeshGraphNets benchmarks). De resultaten tonen aan dat OperatorSHAP attributies produceert die consistent zijn met state-of-the-art discrete Shapley-benaderaars (RegressionMSR) over verschillende resoluties, terwijl het aanzienlijk snellere inferentiesnelheden biedt.

Experimentele Resultaten

De auteurs hebben OperatorSHAP geëvalueerd tegenover KernelSHAP, RegressionMSR en Integrated Gradients op diverse PDE's (Burgers, Heat, Shallow Water, etc.) en MeshGraphNets-datasets.

• Kwaliteit van Attributie: Over resoluties variërend van $n=16$ tot $n=1024$, behaalde OperatorSHAP Pearson-correlaties en genormaliseerde NRMSE die vergelijkbaar met of beter zijn dan RegressionMSR. Opvallend genoeg, terwijl klassieke methoden bij elke resolutie opnieuw uitgevoerd moesten worden, gebruikte OperatorSHAP één enkele getrainde model voor alle resoluties.
• Inferentiesnelheid: OperatorSHAP is ordes van grootte sneller dan de baselines. Het levert volledige attributies terug in een enkele forward pass met een budget van nul per sample, terwijl baselines duizenden backbone-evaluaties per sample vereisen.
• Transfereerbaarheid: De getrainde explainer werd succesvol getransfereerd over grid-groottes zonder hertraining, waarbij de hoge getrouwheid aan de referentie-attributies behouden bleef, zelfs wanneer de input grid-structuur veranderde (bijv. van 64 naar 1024 punten).
• Beperkingen: De auteurs merken op dat hoewel amortisatie de inferentietijd bespaart, de initiële kosten voor training aanzienlijk zijn. Daarnaast kunnen klassieke methoden met lage budgetten bij zeer lage aantallen spelers beter presteren dan OperatorSHAP, maar dit gat wordt aanzienlijk groter naarmate de resolutie toeneemt.

Betekenis

Het artikel claimt dat OperatorSHAP de praktische toepassing van Shapley-waarde verklaringen in de fysieke wetenschappen mogelijk maakt, waar data inherent heterogeen en grid-agnostisch is. Door de discrete Shapley-waarde te verbinden met de continue Aumann–Shapley-waarde, bieden de auteurs een theoretische rechtvaardiging voor het trainen van explainers op functieruimtes. Dit maakt het interpreteren van neurale operatoren op onregelmatige meshes en variërende resoluties mogelijk—een capaciteit die voorheen onbeschikbaar was voor geamortiseerde explainers. Het werk suggereert dat voor industriële toepassingen die een hoge doorvoer en hoge inzet vereisen (bijv. real-time weerswaarschuwingen of structurele monitoring), geamortiseerde explainers zoals OperatorSHAP een noodzakelijke stap zijn naar schaalbare en betrouwbare AI-interpreteerbaarheid in dynamische systemen.