Generalized Functional ANOVA in Closed-Form: A Unified View of Additive Explanations

Technische Samenvatting: Generaliseerde Functionele ANOVA in Gesloten Vorm

Probleemstelling
Moderne machine learning-modellen, met name complexe ensemble-methoden en neurale netwerken, werken vaak als ondoorzichtige "black boxes", waardoor de mapping van invoer naar uitvoer moeilijk te interpreteren is. Hoewel Explainable AI (XAI) talloze post-hoc verklaringstechnieken (zoals SHAP, LIME) en van nature interpreteerbare modellen (zoals GAMs, EBM) heeft voortgebracht, staan deze benaderingen voor twee hoofdkritiekpunten: ze vertrouwen vaak op heuristische constructies die rigoureuze representatiestellingen missen, en ze kunnen rekenkundig duur of formeel onoplosbaar zijn.

Een centrale uitdaging in interpretatie is de Functionele ANOVA-decompositie (of Hoeffding-decompositie), die een voorspeller ontleedt in hoofdeffecten en interacties van hogere orde. Hoewel deze decompositie expliciet en orthogonaal is voor onafhankelijke invoer, blijft het verkrijgen van een hanteerbare representatie voor afhankelijke invoer moeilijk. Bestaande methoden voor afhankelijke situaties vereisen vaak kennis van de invoerdichtheid, zijn beperkt tot specifieke modeltypen (zoals boom-ensembles), of zijn pas recent opgelost voor categorische data. Er is behoefte aan een unificerend, model-onafhankelijk raamwerk dat een expliciete oplossing in gesloten vorm biedt voor continue afhankelijke invoer en efficiënte schatting vanuit data mogelijk maakt.

Methodologie
De auteurs stellen een unificerend raamwerk voor de Generaliseerde Functionele ANOVA-decompositie voor continue, begrensd willekeurige variabelen voor. De methodologie verloopt in drie fasen:

1. Theoretische Formulering (Basis in Gesloten Vorm):
   Het artikel stelt vast dat de generaliseerde functionele ANOVA-decompositie, gedefinieerd als de oplossing voor een geconstrueerd optimalisatieprobleem voor kleinste kwadraten in een Hilbertruimte, een expliciete oplossing in gesloten vorm toestaat voor continue begrensd kenmerken.

   • Aanname: De invoervector $X$ wordt ondersteund op een hyperrechthoek $[-1, 1]^p$ met een dichtheid $f$ die begrensd is weg van nul en oneindig.
   • Basisconstructie: De auteurs construeren een Riesz-basis $\Xi$ voor de ruimte $L^2([−1, 1]^p, \mu_f)$ met behulp van genormaliseerde Legendre-polynomen en een inverse likelihood-weighing-mechanisme. Specifiek worden voor een subset van variabelen $S$ de basisfuncties gedefinieerd als:
     $$\xi^{(m_S)}_S(x) := \frac{1}{\sqrt{2^{p-|S|}}} \cdot \frac{\prod_{j \in S} \tilde{P}_{m_j}(x_j)}{f_S(x_S)}$$
     waarbij $\tilde{P}_m$ genormaliseerde Legendre-polynomen zijn en $f_S$ de marginale dichtheid is van $X_S$.
   • Orthogonaliteit: Deze constructie zorgt voor hiërarchische orthogonaliteit, wat betekent dat voor elke strikte subset $T \subset S$ het component $\nu_S$ orthogonaal is aan elke functie van $X_T$. Dit herstelt de klassieke orthogonale decompositie in het onafhankelijke geval en sluit op natuurlijke wijze aan bij Shapley-waarden via Harsanyi-dividenden.

2. Schattingalgoritme:
   Aangezien de basis in gesloten vorm beschikbaar is, reduceert het schatten van de decompositie tot het schatten van de coëfficiënten van de basisontwikkeling via regressie voor kleinste kwadraten.

   • Truncatie: Om de oneindig-dimensionale aard van het probleem te hanteren, hanteren de auteurs een truncatieset $I^K_d$ die de interactieorde beperkt tot $K$ en de polynoomgraad tot $d$. Dit maakt gebruik van de principes van "sparsiteit van effecten" en "terughoudendheid".
   • Dichtheidsschatting: De marginale dichtheden $f_S$ die nodig zijn voor de basis, worden uit de data geschat met behulp van getruncide getensoriseerde Legendre-ontwikkelingen.
   • Pijplijn: Het algoritme omvat feature-schaling (naar $[-1, 1]$), dichtheidsschatting, constructie van de ontwerpmatrix met behulp van de basisfuncties, en het oplossen van een lineair systeem (met LARS voor modelselectie en SVD voor het oplossen). Het gehele proces is model-onafhankelijk en vereist alleen invoer-uitvoerparen.

3. Experimentele Validatie:
   De methode wordt geëvalueerd op synthetische analytische gevallen en zes real-world datasets (Bike Sharing, California Housing, Census Income, etc.) met behulp van vier modelfamilies: XGBoost, MLP, EBM en NAM. Het wordt vergeleken met state-of-the-art methoden (KernelSHAP, DeepSHAP, TreeSHAP, TreeHFD) en de native decomposities van interpreteerbare modellen.

Belangrijkste Bijdragen

1. Expliciete Oplossing in Gesloten Vorm: Het artikel toont aan dat de generaliseerde functionele ANOVA-decompositie voor continue begrensd kenmerken een expliciete oplossing toestaat, waardoor de onderliggende niet-parametrische optimalisatie wordt gereduceerd tot een regressieprobleem voor kleinste kwadraten.
2. Unificerend Raamwerk: De formulering herstelt op natuurlijke wijze het klassieke onafhankelijke geval, orthogonale polynoom-ontwikkelingen en de connectie met Shapley-waarden. Het biedt een rigoureuze wiskundige onderbouwing voor additieve verklaringen in aanwezigheid van afhankelijke invoer.
3. Efficiënte Model-Onafhankelijke Schatter: De auteurs stellen een eenvoudig, polynoomtijd-algoritme voor om de decompositie te schatten uit een data-steekproef zonder toegang tot de interne structuur van het model. De methode maakt gebruik van sparsiteit om in de praktijk hanteerbaar te blijven.
4. Empirische Unificatie: Experimenten tonen aan dat bestaande verklaringstechnieken (SHAP-varianten) en interpreteerbare modellen (GAMs, EBMs) specifieke componenten van de functionele ANOVA-decompositie nauwkeurig benaderen, wat suggereert dat het voorgestelde raamwerk deze uiteenlopende benaderingen unificeert.

Resultaten

• Nauwkeurigheid: De voorgestelde schatter bereikt een hoge reconstructienauwkeurigheid ($R^2 \geq 0.85$) over alle datasets en modelfamilies.
• Orthogonaliteit: Ondanks het gebruik van plug-in dichtheidsschattingen, wordt de hiërarchische orthogonaliteit tussen componenten trouw behouden (lage MaxCorr-waarden).
• Efficiëntie: De methode is rekenkundig efficiënt en schat decomposities voor datasets met tienduizenden steekproeven in seconden (bijv. ~0,6s voor 48k steekproeven op Census Income).
• Vergelijking: Visuele vergelijkingen (Figuur 1–4) geven aan dat de hoofdeffecten van de voorgestelde methode nauw overeenkomen met theoretische componenten in synthetische settings en met native effecten van EBM/NAM, terwijl het een rigoureuzere decompositie biedt dan heuristische SHAP-varianten.

Betekenis en Claims
Het artikel claimt een unificerend perspectief te bieden op additieve verklaringen. Door XAI-methoden te verankeren in het rigoureuze wiskundige object van de generaliseerde functionele ANOVA, betogen de auteurs dat:

• Additieve verklaringen niet louter heuristische constructies zijn, maar componenten van een goed gedefinieerd wiskundig object met structurele eigenschappen.
• Veel bestaande post-hoc methoden en van nature interpreteerbare modellen kunnen worden herschreven als benaderingen van specifieke componenten van deze decompositie.
• De voorgestelde aanpak een praktische, efficiënte en theoretisch onderbouwde tool biedt voor het ontleden van black-box-modellen, met name in situaties met afhankelijke invoer waar eerdere methoden beperkt of onoplosbaar waren.

De auteurs erkennen beperkingen, waaronder de aanname van begrenste continue invoer en de afhankelijkheid van truncatie voor hoog-dimensionale problemen, en merken op dat het uitbreiden van het raamwerk naar onbegrensde of gemengde datatypes een uitdaging blijft voor toekomstig werk.