Technische Samenvatting: ECSEL – Verklaarbare Classificatie via Signomiale Vergelijkingsleer

Probleemstelling

Moderne machine learning prioriteert vaak de voorspellende prestatie ten koste van verklaarbaarheid. Diepe neurale netwerken bereiken hoge nauwkeurigheid, maar fungeren als "black boxes", waardoor de redenering achter voorspellingen wordt verduisterd. In hoog-risicodomeinen zoals geneeskunde, financiën en human resources is het begrijpen van het onderliggende beslissingsproces even kritiek als de nauwkeurigheid. Hoewel Symbolische Regressie (SR) van nature interpreteerbare modellen biedt door expliciete wiskundige formules te genereren, vertrouwen conventionele SR-benaderingen (bijvoorbeeld Genetische Programmering) op computationeel dure stochastische heuristieken die worstelen met hoogdimensionale datasets en falen in het benutten van veelvoorkomende structurele patronen in data. Bovendien zijn bestaande SR-methoden vaak ontworpen als algemene hulpmiddelen in plaats van gespecialiseerde classifiers, en kunnen post-hoc verklaringstechnieken (zoals LIME, SHAP) die op black-box-modellen worden toegepast, onbetrouwbaar of misleidend zijn.

Methodologie

Het artikel introduceert ECSEL (Explainable Classification via Signomial Equation Learning), een methode die formele expressies in de vorm van signomiale vergelijkingen leert om te dienen als zowel classifier als verklaring.

Kernformulering

Een signomiale functie wordt gedefinieerd als een eindige som van machts-wettermen met reëelwaardige coëfficiënten en exponenten:
$$z(x) = \sum_{k=1}^{K} \alpha_k \prod_{j=1}^{m} x_j^{\beta_{k,j}}$$
waarbij $x$ de feature-vector is, $\alpha_k$ de coëfficiënten zijn, en $\beta_{k,j}$ de exponenten zijn.

ECSEL-architectuur:

1. Class-specifieke scores: Voor een multi-class probleem met $C$ classes leert ECSEL een specifieke signomiale scorefunctie $z_c(x)$ voor elke class $c$.
2. Probabiliteitstransformatie: Class-probabiliteiten worden afgeleid door een softmax-functie toe te passen op de class-specifieke signomiale scores. In binaire gevallen wordt een sigmoid toegepast.
3. Preprocessing: Omdat reëelwaardige exponenten positieve argumenten vereisen, worden features voorverwerkt via affiene transformaties (bijvoorbeeld schalen naar $[1, 10]$) om te waarborgen dat $x_{ij} > 0$.
4. Trainingsdoel: Het model wordt getraind door cross-entropy-verlies te minimaliseren met een $\ell_1$-regularisatieterm toegepast op de exponenten ($\beta$). Dit stimuleert sparsiteit, drijft irrelevante exponenten naar nul en resulteert in compacte, interpreteerbare vergelijkingen met minder actieve features.
5. Optimalisatie: De auteurs maken gebruik van gradient-based optimalisatie (Adam met gradient clipping) gecombineerd met technieken voor numerieke stabiliteit (logaritmische transformaties). Voor symbolische regressietaken wordt een multi-start gefaseerde optimalisatiestrategie gebruikt (Adam voor structuuroverwinning, gevolgd door L-BFGS-verfijning).

Theoretische Grondslagen

Het artikel stelt vast dat signomiale functies het Universele Benaderingskarakter bezitten op compacte deelverzamelingen van het positieve orthant. Door signomials af te beelden op exponentiële functies van lineaire functies via logaritmische transformatie, bewijzen de auteurs dat signomials elke continue functie tot willekeurige precisie kunnen benaderen. Dit plaatst ze theoretisch naast neurale netwerken als universele benaderaars, maar specifiek toegespitst op multiplicatieve machts-wetrelaties.

Interpreteerbaarheidseigenschappen

ECSEL leidt drie niveaus van verklaring direct af uit zijn gesloten-vormstructuur, waardoor de noodzaak voor op steekproeven gebaseerde post-hoc-methoden wordt vermeden:

1. Globaal Feature-gedrag:
   • Elasticiteit (G1): De log-log-afgeleide van de class-score met betrekking tot een feature levert een gesloten-vorm maatstaf voor proportionele gevoeligheid. Voor single-term modellen ($K=1$) is dit constant en gelijk aan de exponent.
   • Contrfactueel Redeneren (G2): Het effect van het schalen van een feature met een factor $q$ kan exact worden berekend zonder hertraining, met de formule $z_{new} = \sum q^{\beta} z_{old}$.
   • Gradient-gebaseerde Gevoeligheid (G3): Eerste-orde responsen op kleine proportionele veranderingen worden analytisch afgeleid.
2. Decision-level Effecten:
   • Decision Boundary Gevoeligheid (D1): De invloed van features op de marge tussen classes wordt gekarakteriseerd door het verschil in log-gradienten.
   • Probabiliteitsconcurrentie (D2): De gevoeligheid van voorspelde probabiliteiten voor feature-veranderingen wordt exact afgeleid, waarbij wordt aangetoond hoe features concurreren via normalisatie.
3. Lokale Feature-toeschrijving:
   • Log-ruimte Additiviteit (L1): Voor single-term modellen is de log-score exact additief in log-ruimte, analoog aan SHAP-waarden.
   • Gradient-gebaseerde Lokale Toeschrijvingen (L2): Voor multi-term modellen worden lokale toeschrijvingen verkregen via eerste-orde linearisatie rond een baseline, waardoor exacte gesloten-vorm gradienten worden geboden in plaats van geschatte benaderingen.

Belangrijkste Bijdragen

1. Identificatie van Signomiale Structuur: De auteurs identificeren signomiale functies als een veelvoorkomende structuur in symbolische regressie-benchmarks (bijvoorbeeld 45% van de AI Feynman-vergelijkingen) en stellen ECSEL voor om deze structuur direct te benutten.
2. Efficiënte Herstelling: ECSEL herstelt doelvergelijkingen in SR-benchmarks vaker dan state-of-the-art benaderingen (DGSR, NGGP, NeSymRes), terwijl aanzienlijk minder reistijd nodig is.
3. Concurrerende Classificatie: ECSEL bereikt classificatienauwkeurigheid die concurrerend is met gevestigde machine learning-modellen (Logistische Regressie, Random Forest, XGBoost, SVM, MLP) zonder in te leveren op interpreteerbaarheid.
4. Formele Interpreteerbaarheid: De methode voldoet aan analytische eigenschappen die globale feature-gedragsanalyse, decision-boundary-analyse en lokale feature-toeschrijvingen mogelijk maken, allemaal afgeleid uit modelparameters in plaats van steekproeven.
5. Praktische Nut: Via casestudies in e-commerce en fraudeopsporing tonen de auteurs aan dat de door ECSEL geleerde vergelijkingen dataset-bias blootleggen, contrfactueel redeneren ondersteunen en bruikbare inzichten opleveren.

Experimentele Resultaten

Symbolische Regressie Benchmarks

Geevalueerd op de AI Feynman, Livermore, Jin en Korns datasets (in totaal 58 vergelijkingen):

• Herstelpercentage: ECSEL behaalde een globaal gemiddeld herstelpercentage van 95,86%, wat significant beter is dan DGSR (59,10%), NGGP (58,54%) en NeSymRes (56%).
• Berekeningstijd: ECSEL nam gemiddeld 86,4 seconden per vergelijking, vergeleken met 612,9s (DGSR), 468,7s (NGGP) en 126,3s (NeSymRes).
• Numerieke Nauwkeurigheid: Zelfs wanneer exacte symbolische herstelling faalde, leverde ECSEL doorgaans bijna perfecte numerieke benaderingen op ($R^2 \approx 1$).

Classificatie Benchmarks

Geevalueerd op 11 standaard binaire en multi-class datasets (bijvoorbeeld ILPD, COMPAS, LOAN, SKINNONSKIN):

• Prestaties: ECSEL behaalde de hoogste F1-score op 4 van de 11 datasets en eindigde binnen één procentpunt van de beste methode op 9 van de 11 datasets.
• Minority Class Recall: ECSEL toonde superieure prestaties in het hanteren van class-ongelijkheid, met aanzienlijk hogere minority recall op datasets zoals ILPD (42,42% versus 6,06% voor XGBoost) en TRANSFUSION (41,67% versus 38,89%).
• Efficiëntie: Hoewel de trainingstijden hoger waren dan sommige baselines (bijvoorbeeld Logistische Regressie), wordt de kosten verschoven van verklaring naar training; na training worden alle toeschrijvingen in gesloten vorm verkregen tegen verwaarloosbare kosten, in tegenstelling tot black-box-modellen die dure SHAP/LIME-berekeningen vereisen.

Casestudies

1. Online Winkelintentie: ECSEL leerde een 7-feature signomiale die "PageValue per ExitRate" identificeerde als de dominante predictor. Het bereikte een concurrerende minority recall (75,7%) en bood exact contrfactueel redeneren en lokale decomposities, waarbij het LIME overtrof in stabiliteit en berekeningkosten.
2. PaySim Fraudeopsporing: Op een dataset met 6,3 miljoen transacties (0,13% frauderatio) behaalde ECSEL een F1-score van 79,08% met 94,27% precisie. De geleerde vergelijking onthulde een "superlineair vermogensgerichte mechanisme" (exponent 1,42 op het saldo van de oorspronkelijke rekening), wat aangeeft dat fraudeurs onevenredig veel hoogwaardige rekeningen targetten. De prestaties van ECSEL waren concurrerend met Deep Symbolic Classification (DSC), terwijl striktere methodologische geldigheid werd nageleefd (geen temporale datalekken).

Betekenis en Claims

Het artikel beweert dat ECSEL de kloof overbrugt tussen de interpreteerbaarheid van Symbolische Regressie en de praktische eisen van moderne classificatie. Door computationele efficiëntie te combineren met transparante besluitvorming, biedt ECSEL praktici een bruikbaar alternatief voor black-box-modellen in hoog-risicodomeinen. De auteurs benadrukken dat de methode niet slechts black-box-gedrag benadert, maar van nature interpreteerbare modellen biedt waarbij de beslissingslogica expliciet, wiskundig rigoureus en in staat is om contrfactueel redeneren en bias-auditing te ondersteunen. Het werk suggereert dat eenvoudige, goed gekozen formuleringen essentiële datastructuren kunnen vastleggen, waardoor zowel nauwkeurige voorspellingen als menselijk leesbare verklaringen worden geleverd.