Technische Samenvatting: Sails – Surrogaat-gebaseerde Analyse van Interacties via Lokale Effect-smooths

Probleemstelling

Feature-interacties zijn een primaire drijfveer voor het voorspellende vermogen van complexe machine learning (ML) modellen, maar bestaande XAI-methoden worstelen ermee om deze volledig te karakteriseren. Huidige benaderingen richten zich doorgaans op ofwel:

1. Detectie en Kwantificering: Methoden zoals de H-statistiek of Shapley-interactie-indices identificeren dat er een interactie bestaat en meten de sterkte ervan, maar onthullen niet de functionele vorm.
2. Beperkte Visualisatie: Methoden zoals 2D-ALE (Accumulated Local Effects) of REPID (Regional Effects) visualiseren interacties, maar produceren vaak moeilijk te interpreteren 3D-plots, slagen er niet in continue heterogeniteit te vangen, of zijn beperkt tot specifieke interactietypes (bijv. product-separable).

Er is een duidelijke kloof in de XAI-toolkit voor een geïntegreerd, model-agnostisch framework dat in staat is om pairwise interacties te detecteren, hun functionele vorm (lineair, product-separable, of niet-product-separable) te categoriseren en op maat gemaakte, interpreteerbare visualisaties te bieden voor elk type.

Methodologie: Het Sails Framework

Sails (Surrogate-based Analysis of Interactions via Local effect Smooths) is een model-agnostisch framework ontworpen om pairwise interacties van een Feature of Interest (FOI) te analyseren door interpreteerbare Generalized Additive Model (GAM) surrogaatmodellen te fitten op de lokale effecten van een black-box model. Het framework werkt in twee opeenvolgende stappen gevolgd door drie geïntegreerde capaciteiten.

1. Schatting van Lokale Effecten

Sails maakt gebruik van de lokale decomponeerbaarheid van ALE-afgeleiden. Voor een black-box model $\hat{f}$ is het lokale effect met betrekking tot een feature $x_j$ gedefinieerd als $h(x_j, x_{-j}) = \partial_j \hat{f}(x_j, x_{-j})$.

• Interval Partitioning: De FOI ($X_j$) wordt verdeeld in $K$ intervallen.
• Finite Differences: Lokale effecten worden geschat voor observaties binnen elk interval met behulp van eindige verschillen van de modelvoorspellingen, genormaliseerd door de intervalbreedte.
• Theoretische Basis: Volgens de functionele ANOVA (FANOVA) decompositie komt de variatie in lokale effecten, indien $X_j$ vaststaat, uitsluitend voort uit interacties waarbij $X_j$ betrokken is. Hiermee wordt de heterogeniteit in deze lokale effecten over andere features heen een indicator voor interactie.

2. GAM Surrogaat Fitting

Voor elk interval $k$ van de FOI fitteert Sails een apart GAM-surrogaatmodel:

• Inputs: De overige features $X_{-j}$.
• Target: De geschatte lokale effecten $\hat{h}^{(i)}_k$.
• Structuur: $\hat{s}^{(k)}(x_{-j}) = \hat{s}^{(k)}_0 + \sum_{l \neq j} \hat{s}^{(k)}_l(x_l)$.
• Interpretatie: De smooth termen $\hat{s}^{(k)}_l$ worden geacht de partiële afgeleiden van de interactiecomponenten ($\partial_j g_{jl}$) te benaderen tot een centreringsconstante.

3. Geïntegreerde Capaciteiten

Op basis van de gefitteerde surrogaatmodellen voert Sails drie taken uit:

(i) Interactie Detectie

Sails test de significantie van de smooth termen voor elke feature $X_l$ binnen elk interval met behulp van F-tests op de basiscoëfficiënten.

• Aggregatie: Omdat tests over intervallen heen afhankelijk zijn, worden p-waarden geaggregeerd met behulp van de harmonische gemiddelde p-waarde om een globale maatstaf voor significantie te bieden.
• Correctie: Een Benjamini-Hochberg false discovery rate (FDR) correctie wordt toegepast voor meerdere vergelijkingen.
• Heuristiek: Vanwege het gebrek aan additieve ruis in de lokale effectberekeningen en het gebruik van gepenaliseerde splines, worden de resulterende p-waarden behandeld als een heuristiek voor globale interactie-significantie in plaats van exacte statistische waarden.

(ii) Interactie Categorisering

Sails categoriseert gedetecteerde interacties in drie typen met behulp van $R^2$-gebaseerde heuristische maten afgeleid van de smooth termen:

1. Lineair: Als de smooth termen $\hat{s}^{(k)}_l$ identiek zijn over de intervallen heen (tot een constante), is de interactie lineair ten opzichte van de FOI. Dit wordt gemeten door $R^2_{lin}$, die een enkele curve fitteert op gepoolde evaluaties.
2. Product-Separable: Als de smooth termen dezelfde vorm delen maar enkel verschillen door een schaalfactor, is de interactie product-separable ($g_{jl}(x_j, x_l) = \phi_j(x_j)\phi_l(x_l)$). Dit wordt gemeten door $R^2_{prod}$, die een enkele curve fitteert op de ratio's van de smooth termen bij een referentiepunt.
3. Niet-Product-Separable: Indien geen van beide condities standhoudt, wordt de interactie gecategoriseerd als algemeen/niet-separable.

(iii) Op Maat Gemaakte Visualisatie

Afhankelijk van de categorisering genereert Sails specifieke visualisaties:

• Lineair: Visualiseert de univariate smoother $\phi_l(x_l)$.
• Product-Separable: Visualiseert de vorm van $\phi_l(x_l)$ via de ratio-gebaseerde smoother.
• Algemeen: Voor niet-separable interacties integreert Sails de smooth termen $\hat{s}^{(k)}_l$ over de intervallen heen om de interactiefunctie $g_{jl}$ te reconstrueren, waarbij dubbele centrering wordt toegepast om FANOVA-restricties af te dwingen. Dit biedt een 2D-visualisatie van hoe het interactie-effect varieert met de interagerende feature voor verschillende intervallen van de FOI.

Empirische Evaluatie en Resultaten

Het framework werd gevalideerd via gecontroleerde simulaties en een real-world toepassing.

Simulaties

Experimenten werden uitgevoerd op synthetische data met variërende correlatiestructuren en interactie-ordes (lineair, product-separable, niet-separable, en hogere-orde).

• Detectie: Sails identificeerde interactieve features correct met lage fout-positieve ratio's onder zowel onafhankelijke als gecorreleerde features. Het bleef robuust, zelfs bij sterke correlaties, en identificeerde ruis-features correct als niet-interactief.
• Categorisering: Onder onafhankelijke features onderscheidde Sails perfect tussen lineaire, product-separable en niet-separable interacties.
  • Beperkingen: $R^2_{prod}$ degradeerde onder sterke correlaties (door verschuivingen in centrering) en hogere-orde interacties (door surrogaat-misspecificatie). $R^2_{lin}$ was robuuster, maar degradeerde ook licht bij niet-lineaire hogere-orde termen.
• Visualisatie:
  • Lineaire en product-separable visualisaties kwamen nauw overeen met de grondwaarheid onder onafhankelijkheid.
  • De algemene integratie-gebaseerde visualisatie slaagde erin complexe interactievormen (bijv. sinusgolven) te herstellen onder onafhankelijkheid.
  • Onder correlaties en hogere-orde interacties vertoonden de visualisaties artefacten of een verminderde ondersteuning, maar bleven informatieve benaderingen.

Real-World Toepassing

Sails werd toegepast op een XGBoost-model dat het energieverbruik in Tetouan, Marokko, voorspelt, waarbij general_diffuse_flows (zonnestraling) als de FOI werd gebruikt.

• Resultaten: Het framework identificeerde interacties met Uur, Temperatuur, UnixTime en Woonsnelheid.
• Interpretatie:
  • Uur: Onthulde dat intermediaire stralingsniveaus correleren met een toename in avondverbruik (avondverlichting), terwijl lage straling correleert met dagverbruik (bewolkte verlichting).
  • Temperatuur: Toonde synergetische effecten waarbij lage straling + lage temperatuur (verwarming + verlichting) en hoge straling + hoge temperatuur (koeling) beide het verbruik verhogen.
  • Woonsnelheid: Vertoonde een bijna product-separable vorm, met curves die een consistente vorm delen over de intervallen heen.
• Surrogaat Fit: De gemiddelde in-sample $R^2$ van de GAM-surrogaten was 0,96, wat aangeeft dat ze het merendeel van de lokale effect-variatie hebben gevangen.

Betekenis en Claims

Het artikel beweert dat Sails een kritieke kloof in de XAI-toolbox vult door verder te gaan dan louter interactiedetectie naar het karakteriseren van de functionele vorm van pairwise interacties.

• Model-Agnostisch: Het werkt met elk black-box model.
• Geïntegreerde Workflow: Het combineert detectie, categorisering en visualisatie in één enkele pijplijn.
• Interpreteerbaarheid: Door interacties te categoriseren, maakt het op maat gemaakte visualisaties mogelijk die gemakkelijker te interpreteren zijn dan generieke 3D-contourplots.
• Robuustheid: Het demonstreert effectiviteit in het detecteren van interacties, zelfs in de aanwezigheid van feature-correlaties, een veelvoorkomend probleem in real-world data.

Beperkingen en Toekomstig Werk

De auteurs erkennen enkele beperkingen:

1. Taakomvang: Momenteel beperkt tot regressietaken; uitbreiding naar classificatie is toekomstig werk.
2. Theoretische Garanties: De veronderstelling dat smooth termen de FANOVA partiële afgeleiden benaderen, mist een rigoureus theoretisch bewijs.
3. Correlatiegevoeligheid: De categoriseringsmaten ($R^2_{prod}$) zijn gevoelig voor sterke feature-correlaties.
4. Interactie-orde: Het framework gaat uit van pairwise interacties; hogere-orde interacties kunnen leiden tot surrogaat-misspecificatie en artefacten.
5. Toekomstige Richtingen: Potentiële uitbreidingen omvatten het gebruik van GA2M-surrogaten voor hogere-orde interacties, het toepassen van de methode op andere lokale effect-methoden (bijv. ICE, Shapley-waarden), en het verenigen van de aanpak met GADGET voor regionale effecten.