Technische Samenvatting: Voorbij Additieve Decomposities: Interpreteerbaarheid door Separabiliteit

Probleemstelling

Interpreteerbare machine learning staat voor een fundamentele spanning tussen voorspellende nauwkeurigheid en structurele transparantie. Hoewel "black-box"-modellen (bijv. diepe neurale netwerken, gradient boosting ensembles) state-of-the-art prestaties leveren, ontbreken bij hen leesbare structuren. Daarentegen bieden "glass-box"-modellen zoals Generalized Additive Models (GAMs) transparantie, maar falen ze vaak bij het vastleggen van complexe interacties of leunen ze op fout gespecificeerde parametrische aannames.

Huidige interpreteerbaarheidsmethoden, inclusief post-hoc verklaringen (bijv. SHAP, Integrated Gradients) en glass-box modellen, vertrouwen grotendeens op additieve decomposities. De auteurs stellen dat additieve representaties lijden aan kritieke faalmodi in aanwezigheid van sterke interacties:

1. Signaalannulering: Lokale SHAP-verklaringen kunnen hoofd- en interactie-effecten tegen elkaar wegstrepen, wat leidt tot een nul-attributie voor actieve kenmerken.
2. Interactie-maskering: Partial dependence plots (PDPs) marginaliseren over andere kenmerken, waardoor hogere-orde interactie-informatie effectief wordt weggegooid en alleen hoofdeffecten worden teruggewonnen.
3. Off-Support Extrapolatie: Marginale middeling in gecorreleerde kenmerkruimtes kan leiden tot spookpatronen in gebieden met een lage dichtheid.

Het artikel stelt dat deze beperkingen voortkomen uit het inherente onvermogen van additieve projecties om multiplicatieve of scheidbare interactiestructuren getrouw weer te geven zonder informatieverlies.

Methodologie: Tensor Separation Learning (TSL)

De auteurs stellen Tensor Separation Learning (TSL) voor, een regressiemodel dat is ontworpen om een som van rank-1 producten van univariate per-feature functies te leren. In tegenstelling tot standaard scheidbare modellen, legt TSL specifieke structurele beperkingen op om stabiliteit en interpreteerbaarheid te waarborgen.

Modelformulering

De TSL-schatter $\hat{m}(x)$ wordt gedefinieerd als een som van $R$ stadia, waarbij elk stadium $\ell$ het verschil is tussen twee positieve scheidbare producten:
$$\hat{m}(x) = \sum_{\ell=1}^{R} \left( \lambda^{(\ell)}_+ \prod_{j=1}^p \hat{m}^{(\ell)}_{+,j}(x_j) - \lambda^{(\ell)}_- \prod_{j=1}^p \hat{m}^{(\ell)}_{-,j}(x_j) \right)$$
Kernbeperkingen zijn onder meer:

• Positiviteit: Alle componentfuncties $\hat{m}^{(\ell)}_{\pm,j}(x_j)$ zijn beperkt tot strikt positieve waarden ($>0$). Dit zorgt ervoor dat elke component zijn product ondubbelzinnig versterkt of onderdrukt, wat de tekenambiguïteit die inherent is aan onbeperkte producten wegneemt.
• Geordend Verschil: Elk stadium is een verschil van twee positieve termen, waardoor het model de mogelijkheid heeft om getekende bijdragen te representeren terwijl de positieve factoren behouden blijven.

Parametrisatie: Backbone en Tilt

Om de interpreteerbaarheid te verbeteren, introduceren de auteurs een backbone/tilt herparametrisatie voor elk paar kenmerken in een stadium:
$$\hat{m}^{(\ell}_{\pm,j}(x_j) = b^{(\ell)}_j(x_j) e^{\pm d^{(\ell)}_j(x_j)}$$

• Backbone ($b$): Representeert de gedeelde magnitude of "activiteitspoort" van het stadium. Het bepaalt waar het stadium actief is (waarden nabij nul schakelen het stadium uit).
• Tilt ($d$): Representeert de getekende disbalans tussen de positieve en negatieve takken. Het controleert de directionaliteit van de bijdrage.
  Deze decompositie scheidt de magnitude van een effect van de getekende richting, wat getrouwe visualisatie mogelijk maakt zelfs wanneer de netto getekende bijdrage nabij nul is door annulering.

Fit-procedure

TSL maakt gebruik van een stagewise greedy procedure met orthogonale refitting:

1. Stagewise Fitting: In elk stadium $\ell$ past het model de huidige residuen aan met behulp van een grid-tensor verfijningsaanpak geïnspireerd op CART (Classification and Regression Trees). Het leert stuksgewijs constante univariate functies op een adaptieve partitie.
2. Bagging en Aggregatie: Om variantie te verminderen, worden meerdere grid-tensoren parallel gefit op bootstrap-steekproeven. Een op gelijkenis gebaseerd aggregatieschema (verankerd aan een referentiegrid en het filteren van uitschieters) combineert deze tot een enkele stadium-voorspeller.
3. Orthogonale Refitting: Na het fitten van een nieuw stadium worden alle stadium-coëfficiënten $\{\lambda^{(k)}_\pm\}$ gezamenlijk geoptimaliseerd via kleinste kwadraten tegen de doelvariabele $y$. Deze backfitting zorgt ervoor dat de coëfficiënten optimaal zijn gegeven de huidige set van stadia.

Belangrijkste Bijdragen

1. Tensor Separation Learning (TSL): Een nieuw regressiealgoritme dat de conditionele gemiddelde schat als een som van verschillen van positieve rank-1 scheidbare producten.
2. Model-Native Interpreteerbaarheid: De auteurs bewijzen dat voor TSL het gefitte model exact gereconstrueerd kan worden vanuit zijn eerste-orde partial dependence functies (tot constante factoren). In tegenstelling tot post-hoc methoden zijn de visualisaties van TSL (1D partial dependence curves) geen benaderingen maar getrouwe representaties van de gefitte componenten. De backbone/tilt decompositie stelt gebruikers in staat om onderscheid te maken tussen magnitude (activiteit) en richting (getekende disbalans).
3. Approximatietheorie: Het artikel vestigt een $O(1/\sqrt{r})$ approximatie-snelheid voor de TSL-hypotheseklasse op functies met begrensde gemengde $p$-de orde partiële afgeleiden (specifiek in de Sobolev-ruimte $W^{(1,1)}_{mix}$), gebruikmakend van het Orthogonal Greedy Approximation (OGA) framework.

Experimentele Resultaten

De auteurs evalueerden TSL op de OpenML CTR 23 regressie suite (27 datasets) tegen state-of-the-art baselines:

• Baselines: Black-box modellen (XGBoost, LightGBM, Random Forest) en interpreteerbare modellen (Explainable Boosting Machines (EBM), SepALS — een scheidbaar model zonder TSL's beperkingen).
• Prestaties: TSL bereikt competitieve voorspellende prestaties. In de interpreteerbare groep staat TSL in de top 3 op 17 van de 27 datasets en is het het beste interpreteerbare model op 5.
• Vergelijkende Analyse:
  • TSL presteert beter dan EBM en tree ensembles op datasets met sterke low-rank scheidbare structuren (bijv. socmob, California housing).
  • Op California housing legt TSL gelokaliseerde, niet-monotone ruimtelijke interacties vast (bijv. kustpremies) die EBM en XGBoost afvlakken of niet in 1D-samenvattingen kunnen isoleren.
  • Synthetische Casestudy: In een synthetisch voorbeeld waar een sterk kwadratisch effect wordt gemaskeerd door een derde-orde interactie (resulterend in een nul 1D partial dependence), slaagt TSL erin de onderliggende magnitude te herstellen via de backbone-curves, terwijl standaard PDPs en ICE-curves er niet in slagen het signaal te onthullen zonder complexe aggregatie.
  • Ablatie: Het verwijderen van de positiviteitsbeperking en de ordered-difference structuur (TSL 1-product) verslechtert de prestaties aanzienlijk, wat bevestigt dat deze beperkingen cruciaal zijn voor representatieve flexibiliteit en stabiliteit.

Betekenis en Claims

Het artikel claimt dat TSL een duidelijk pad naar interpreteerbaarheid biedt door "voorbij additieve decomposities" te gaan. De primaire betekenis ligt in:

• Getrouwe Visualisatie: Door scheidbaarheid en positiviteit af te dwingen, zorgt TSL ervoor dat partial dependence plots de exacte vorm van de gefitte factoren herstellen, waardoor het informatieverlies en de maskering die inherent zijn aan additieve projecties van interactieve modellen worden vermeden.
• Omgaan met Interacties: TSL biedt een mechanisme om hoge-orde interacties te visualiseren en te begrijpen via 1D-samenvattingen (backbone en tilt) zonder terug te vallen op opake black-box verklaringen of hoogdimensionale plots.
• Competitieve Nauwkeurigheid: Het demonstreert dat een glass-box model met een scheidbare structuur kan concurreren met krachtige tree-ensemble black boxes op regressiebenchmarks, wat de opvatting uitdaagt dat hoge nauwkeurigheid het opofferen van interpreteerbaarheid vereist.

De auteurs blijven bescheiden over beperkingen en erkennen dat de approximatiesnelheden van TSL afhankelijk zijn van gemengde gladheid-aannames en dat de scheidbare representatie lijdt aan niet-identificeerbaarheid (wat de specifieke aggregatie/filteringsprocedures vereist die beschreven zijn). Ze merken op dat op puur additieve problemen bestaande methoden zoals EBM mogelijk sterkere baselines blijven.