Technische Samenvatting: Uitbreiding van Explainable Ensemble Trees (E2Tree) naar Regressiecontexten

Probleemstelling

Ensemble-methoden, met name Random Forests (RF), hebben het toezichtleren revolutionair veranderd door hoge voorspellende nauwkeurigheid te bieden via de aggregatie van zwakke leraars. Deze modellen fungeren echter als "black boxes" en missen transparantie over hoe ze invoerwaarden verwerken om voorspellingen te genereren. Deze ondoorzichtigheid belemmert gebruikersbegrip en vertrouwen, vooral in kritieke domeinen zoals geneeskunde en financiën. Hoewel er bestaande benaderingen voor interpretatie zijn – variërend van van nature interpreteerbare modellen (bijv. beslissingsbomen) tot post-hoc uitleghulpmiddelen (bijv. variabele belangrijkheid, Shapley-waarden) – worstelen ze vaak met het vinden van een balans tussen modelnauwkeurigheid en het vermogen om complexe, niet-lineaire interacties tussen kenmerken te verduidelijken.

De specifieke uitdaging die in dit artikel wordt aangepakt, is de uitbreiding van de Explainable Ensemble Trees (E2Tree)-methodologie. Oorspronkelijk voorgesteld door Aria et al. (2024) voor classificatietaken, biedt E2Tree een grafische, boomachtige representatie van RF-modellen die rekening houdt met zowel de effecten van voorspellers als associaties tussen voorspellers. De auteurs merken op dat hoewel E2Tree met succes classificatie-RF's heeft verklaard, een overeenkomstige methodologie voor regressiecontexten (modellen met continue uitkomsten) ontbrak.

Methodologie

Het artikel stelt een uitbreiding van het E2Tree-kader voor om regressieproblemen aan te pakken. Het hoofddoel is het afleiden van een enkele, interpreteerbare boomachtige structuur die de besluitvormingslogica van een getraind Random Forest-regressiemodel getrouw weergeeft.

1. Constructie van een Dissimilariteitsmatrix

De methodologie begint met het definiëren van een dissimilariteitsmatrix $D$ afgeleid van het RF-model. Laat $H = \{H_1, \dots, H_B\}$ een Random Forest zijn van $B$ zwakke leraars getraind op een steekproef van grootte $n$. Voor twee waarnemingen $u_i$ en $u_j$ wordt de dissimilariteit $d_{ij}$ gedefinieerd als $1 - O_{ij}$, waarbij $O_{ij}$ een gewogen co-voorkomendheidsmaat is.

$O_{ij}$ kwantificeert hoe vaak een paar waarnemingen in dezelfde knoop terechtkomt over de reeks bomen, gewogen door een lokale maat voor goede passing $W(t)_{ij|b}$ voor knoop $t$ in boom $b$:
$$O_{ij} = \frac{\sum_{b=1}^{B} I(u_i \land u_j) \cdot W(t)_{ij|b}}{\max(\sum_{b} u_i W(t)_{i|b}; \sum_{b} u_j W(t)_{j|b})}$$

2. Regressiespecifieke Maat voor Goede Passing

Een belangrijke bijdrage van dit artikel is de aanpassing van de lokale maat voor goede passing $W(t)_{ij|b}$ voor regressie. In de classificatiecontext was deze maat gebaseerd op zuiverheid; in regressie stellen de auteurs het gebruik van de Genormaliseerde Gemiddelde Kwartafstand (NMSE) voor:
$$NMSE(t)_{ij|b} = \frac{MSE(t)_{ij|b}}{MSE_{max} \cdot p(t)}$$
Waarbij:

• $MSE(t)_{ij|b}$ de gemiddelde kwartafstand is in knoop $t$.
• $p(t)$ het aandeel waarnemingen in knoop $t$ is.
• $MSE_{max}$ de theoretisch maximale MSE is, berekend op basis van het bereik van de responsvariabele $Y$ binnen de knoop (volgend op Jacobson, 1969): $MSE_{max} = \frac{(\max(Y|b) - \min(Y|b))^2}{9}$.

De lokale passingmaat wordt vervolgens gedefinieerd als:
$$W(t)_{ij|b} = \begin{cases} 0 & \text{als } 1 - NMSE(t)_{ij|b} \le 0 \\ 1 - NMSE(t)_{ij|b} & \text{anders} \end{cases}$$

3. Boomconstructie en Stopregels

Het algoritme construeert de E2Tree door de data recursief te splitsen op basis van de dissimilariteitsmatrix $D$. Om overfitting te voorkomen en te waarborgen dat de resulterende boom parsimonieus is, introduceren de auteurs specifieke stopcriteria die verder gaan dan de standaard RF-splitsen:

• NMSE-drempel ($\gamma$): Een knoop wordt terminaal als de berekende $NMSE(t)_{ij|b}$ onder een specifieke drempel $\gamma$ valt ( ingesteld op 0,05 in experimenten).
• Distributie-equivalentie: Voor elke potentiële split wordt een Mann-Whitney-test uitgevoerd om te verifiëren of de distributies van voorspelde waarden in de kindknoopen identiek zijn. Als de distributies niet significant verschillend zijn, wordt de split afgewezen en wordt de ouderknoop behandeld als terminaal.

Belangrijkste Bijdragen

1. Methodologische Uitbreiding: De primaire bijdrage is de formele uitbreiding van E2Tree van classificatie naar regressie. Dit impliceert het herdefiniëren van de lokale maat voor goede passing om NMSE te gebruiken in plaats van classificatiezuiverheid.
2. Gecombineerde Representatie: De methode biedt een enkele boomachtige structuur die de globale logica van een Random Forest vastlegt, inclusief complexe interacties tussen voorspellers, terwijl de voorspellende nauwkeurigheid van het oorspronkelijke ensemble behouden blijft.
3. Dubbele Uitlegcapaciteit: De resulterende E2Tree biedt zowel globale uitleg (patronen en regels die door het model worden gevolgd) als lokale uitleg (gedetailleerde logica voor specifieke instanties), waardoor de kloof tussen black-box-prestaties en menselijke interpreteerbaarheid wordt overbrugd.
4. Open-source Implementatie: De auteurs bieden een R-pakket (e2tree) en beschikbaarheid van code, wat reproduceerbaarheid en verdere toepassing van de methode faciliteert.

Experimentele Resultaten

De auteurs hebben de voorgestelde methode gevalideerd met twee datasets uit de UCI Machine Learning-repository: de Iris-dataset (aangepast voor regressie op Petaal Lengte) en de Auto MPG-dataset (voorspelling van brandstofefficiëntie).

• Iris-dataset: De E2Tree reconstrueerde met succes de structuur van de co-voorkomendheidsmatrix van de RF. Een hiërarchische clusteranalyse die de oorspronkelijke RF-matrix ($O_{ij}$) en de door E2Tree geschatte matrix ($\hat{O}_{ij}$) vergeleek, leverde een Fowlkes-Mallows Index (FMI) van ongeveer 90% op, wat wijst op een hoge mate van overeenkomst in de clusteringstructuur.
• Auto MPG-dataset: Ondanks de grotere omvang van de dataset en niet-lineaire relaties visualiseerde de E2Tree de besluitpaden effectief. De vergelijking van warmtekaarten voor $O_{ij}$ en $\hat{O}_{ij}$ resulteerde in een FMI van ongeveer 75%.
• Interpreteerbaarheid: In beide gevallen bood de E2Tree duidelijke "Als-Dan"-paden. Voor de Auto MPG-data visualiseerde de boom negatieve effecten van verplaatsing, gewicht en paardenkracht op MPG, en positieve effecten van bouwjaar en oorsprong, en bood inzichten die niet direct toegankelijk zijn vanuit een standaard getraind RF-model.

Betekenis en Claims

Het artikel beweert dat E2Tree ervoor zorgt dat machine learning-modellen "instrumenten van empowerment" blijven door een begrijpelijk besluitvormingsproces te bieden zonder de nauwkeurigheid van het ensemble te offeren. De auteurs benadrukken dat hun aanpak:

• Het ensembleproces interpreteert via een enkele, coherente boomstructuur.
• De nauwkeurigheidsprestaties van de onderliggende Random Forest behoudt.
• Een krachtig hulpmiddel biedt voor het uitleggen van interacties tussen voorspellers die de uiteindelijke knoopvoorspellingen bepalen.

De auteurs concluderen dat deze uitbreiding zowel interpretatie- als uitlegproblemen aanpakt in zowel classificatie- als regressiecontexten. Zij merken op dat toekomstig werk gericht is op het generaliseren van de aanpak naar andere ensemble-boommethodologieën en het ontwikkelen van verdere metrieken om de fideliteit van de E2Tree-resultaten ten opzichte van de oorspronkelijke ensemble-outputs te beoordelen. Het artikel claimt niet black-box-modellen te vervangen, maar eerder een transparante, post-hoc uitleglayer te bieden die de bruikbaarheid van het model behoudt.