Technische Zusammenfassung: ECSEL – Erklärbare Klassifizierung durch Signomialgleichungslernen

Problemstellung

Moderne maschinelles Lernen priorisiert oft die Vorhersageleistung auf Kosten der Erklärbarkeit. Tiefe neuronale Netze erreichen hohe Genauigkeit, fungieren jedoch als „Blackboxen", die die Begründung hinter Vorhersagen verschleiern. In hochriskanten Domänen wie Medizin, Finanzen und Personalwesen ist das Verständnis des zugrunde liegenden Entscheidungsprozesses ebenso kritisch wie die Genauigkeit. Während die Symbolische Regression (SR) inhärent interpretierbare Modelle durch die Generierung expliziter mathematischer Formeln bietet, verlassen sich konventionelle SR-Ansätze (z. B. Genetische Programmierung) auf rechenintensive stochastische Heuristiken, die bei hochdimensionalen Datensätzen an ihre Grenzen stoßen und häufige strukturelle Muster in den Daten nicht ausnutzen. Darüber hinaus sind bestehende SR-Methoden oft als Allzweckwerkzeuge konzipiert und nicht als spezialisierte Klassifikatoren, und nachträgliche Erklärungstechniken (z. B. LIME, SHAP), die auf Blackbox-Modellen angewendet werden, können unzuverlässig oder irreführend sein.

Methodik

Die Arbeit stellt ECSEL (Explainable Classification via Signomial Equation Learning) vor, eine Methode, die formale Ausdrücke in Form von Signomialgleichungen erlernt, um sowohl als Klassifikator als auch als Erklärung zu dienen.

Kernaussage

Eine Signomialfunktion ist definiert als eine endliche Summe von Potenzgesetz-Termen mit reellwertigen Koeffizienten und Exponenten:
$$z(x) = \sum_{k=1}^{K} \alpha_k \prod_{j=1}^{m} x_j^{\beta_{k,j}}$$
wobei $x$ der Merkmalsvektor ist, $\alpha_k$ die Koeffizienten und $\beta_{k,j}$ die Exponenten darstellen.

ECSEL-Architektur:

1. Klassenspezifische Scores: Für ein Mehrklassenproblem mit $C$ Klassen lernt ECSEL eine spezifische Signomial-Score-Funktion $z_c(x)$ für jede Klasse $c$.
2. Wahrscheinlichkeitstransformation: Klassenzugehörigkeitswahrscheinlichkeiten werden durch Anwendung einer Softmax-Funktion auf die klassenspezifischen Signomial-Scores abgeleitet. Im binären Fall wird eine Sigmoid-Funktion angewendet.
3. Vorverarbeitung: Da reellwertige Exponenten positive Argumente erfordern, werden Merkmale durch affine Transformationen (z. B. Skalierung auf $[1, 10]$) vorverarbeitet, um sicherzustellen, dass $x_{ij} > 0$ gilt.
4. Trainingsziel: Das Modell wird durch Minimierung des Kreuzentropieverlusts trainiert, wobei ein $\ell_1$-Regularisierungsterm auf die Exponenten ($\beta$) angewendet wird. Dies fördert Sparsamkeit, treibt irrelevante Exponenten auf Null und führt zu kompakten, interpretierbaren Gleichungen mit weniger aktiven Merkmalen.
5. Optimierung: Die Autoren setzen gradientenbasierte Optimierung (Adam mit Gradienten-Clipping) in Kombination mit Techniken zur numerischen Stabilität (logarithmische Transformationen) ein. Für Aufgaben der symbolischen Regression wird eine Multi-Start-Stufen-Optimierungsstrategie verwendet (Adam zur Strukturerkennung, gefolgt von L-BFGS-Verfeinerung).

Theoretische Grundlagen

Die Arbeit zeigt, dass Signomialfunktionen auf kompakten Teilmengen des positiven Orthanten die Eigenschaft der universellen Approximation besitzen. Durch die Abbildung von Signomials auf Exponentialfunktionen linearer Funktionen mittels logarithmischer Transformation beweisen die Autoren, dass Signomiale jede stetige Funktion mit beliebiger Präzision approximieren können. Dies stellt sie theoretisch auf eine Stufe mit neuronalen Netzen als universelle Approximatoren, die jedoch auf multiplikative Potenzgesetz-Beziehungen zugeschnitten sind.

Eigenschaften der Interpretierbarkeit

ECSEL leitet drei Ebenen der Erklärung direkt aus seiner geschlossenen Form ab und vermeidet damit die Notwendigkeit von stichprobenbasierten nachträglichen Methoden:

1. Globales Merkmalverhalten:
   • Elastizität (G1): Die Log-Log-Ableitung des Klassenscores bezüglich eines Merkmals liefert eine geschlossene Form für die proportionale Sensitivität. Bei Ein-Term-Modellen ($K=1$) ist diese konstant und gleich dem Exponenten.
   • Gegenfaktisches Schließen (G2): Der Effekt einer Skalierung eines Merkmals um einen Faktor $q$ kann ohne Nachtraining exakt berechnet werden, unter Verwendung der Formel $z_{new} = \sum q^{\beta} z_{old}$.
   • Gradientenbasierte Sensitivität (G3): Erste Ordnungsreaktionen auf kleine proportionale Änderungen werden analytisch abgeleitet.
2. Effekte auf Entscheidungsebene:
   • Sensitivität der Entscheidungsgrenze (D1): Der Einfluss von Merkmalen auf den Rand zwischen den Klassen wird durch die Differenz der Log-Gradienten charakterisiert.
   • Wahrscheinlichkeitskonkurrenz (D2): Die Sensitivität der vorhergesagten Wahrscheinlichkeiten gegenüber Merkmalsänderungen wird exakt abgeleitet und zeigt, wie Merkmale über die Normalisierung konkurrieren.
3. Lokale Merkmalsattribution:
   • Additivität im Log-Raum (L1): Für Ein-Term-Modelle ist der Log-Score im Log-Raum exakt additiv, analog zu SHAP-Werten.
   • Gradientenbasierte lokale Attributionen (L2): Für Mehr-Term-Modelle werden lokale Attributionen durch Linearisierung erster Ordnung um eine Basislinie herum erhalten, was exakte geschlossene Gradienten liefert anstatt geschätzter Approximationen.

Hauptbeiträge

1. Identifikation der Signomial-Struktur: Die Autoren identifizieren Signomialfunktionen als eine verbreitete Struktur in Benchmarks der symbolischen Regression (z. B. 45 % der AI-Feynman-Gleichungen) und schlagen ECSEL vor, um diese Struktur direkt auszunutzen.
2. Effiziente Wiederherstellung: ECSEL stellt Zielgleichungen in SR-Benchmarks häufiger wieder her als state-of-the-art-Ansätze (DGSR, NGGP, NeSymRes), benötigt dabei jedoch erheblich weniger Rechenzeit.
3. Wettbewerbsfähige Klassifizierung: ECSEL erreicht eine Klassifizierungsgenauigkeit, die mit etablierten Machine-Learning-Modellen (Logistische Regression, Random Forest, XGBoost, SVM, MLP) konkurrieren kann, ohne die Interpretierbarkeit zu opfern.
4. Formale Interpretierbarkeit: Die Methode erfüllt analytische Eigenschaften, die eine Analyse des globalen Merkmalverhaltens, der Entscheidungsgrenzen und lokaler Merkmalsattributionen ermöglichen, die alle aus Modellparametern und nicht aus Stichproben abgeleitet werden.
5. Praktischer Nutzen: Durch Fallstudien im E-Commerce und bei der Betrugserkennung demonstrieren die Autoren, dass die von ECSEL erlernten Gleichungen Datensatzverzerrungen aufdecken, gegenfaktisches Schließen unterstützen und handlungsrelevante Erkenntnisse liefern.

Experimentelle Ergebnisse

Benchmarks der symbolischen Regression

Evaluiert auf den Datensätzen AI Feynman, Livermore, Jin und Korns (insgesamt 58 Gleichungen):

• Wiederherstellungsrate: ECSEL erreichte eine globale durchschnittliche Wiederherstellungsrate von 95,86 % und übertraf DGSR (59,10 %), NGGP (58,54 %) und NeSymRes (56 %) signifikant.
• Rechenzeit: ECSEL benötigte durchschnittlich 86,4 Sekunden pro Gleichung, verglichen mit 612,9 s (DGSR), 468,7 s (NGGP) und 126,3 s (NeSymRes).
• Numerische Genauigkeit: Selbst wenn die exakte symbolische Wiederherstellung fehlschlug, lieferte ECSEL typischerweise nahezu perfekte numerische Approximationen ($R^2 \approx 1$).

Benchmarks der Klassifizierung

Evaluiert auf 11 Standard-Datensätzen für binäre und Mehrklassenprobleme (z. B. ILPD, COMPAS, LOAN, SKINNONSKIN):

• Leistung: ECSEL erzielte auf 4 von 11 Datensätzen die höchste F1-Score und rangierte auf 9 von 11 Datensätzen innerhalb eines Prozentpunkts der besten Methode.
• Recall der Minderheitenklasse: ECSEL zeigte eine überlegene Leistung beim Umgang mit Klassenungleichgewicht und erreichte einen signifikant höheren Recall für Minderheitenklassen auf Datensätzen wie ILPD (42,42 % vs. 6,06 % für XGBoost) und TRANSFUSION (41,67 % vs. 38,89 %).
• Effizienz: Obwohl die Trainingszeiten höher waren als bei einigen Baselines (z. B. Logistische Regression), verlagern sich die Kosten von der Erklärung auf das Training; nach dem Training werden alle Attributionen in geschlossener Form zu vernachlässigbaren Kosten erhalten, im Gegensatz zu Blackbox-Modellen, die teure SHAP/LIME-Berechnungen erfordern.

Fallstudien

1. Online-Shopping-Absicht: ECSEL lernte eine 7-Merkmale-Signomialgleichung, die „PageValue pro ExitRate" als dominierenden Prädiktor identifizierte. Es erreichte einen wettbewerbsfähigen Recall für Minderheitenklassen (75,7 %) und lieferte exakte gegenfaktische Schlussfolgerungen sowie lokale Zerlegungen, wobei es LIME in Bezug auf Stabilität und Rechenkosten übertraf.
2. PaySim-Betrugserkennung: Auf einem Datensatz mit 6,3 Millionen Transaktionen (0,13 % Betrugsrate) erreichte ECSEL einen F1-Score von 79,08 % bei einer Präzision von 94,27 %. Die erlernte Gleichung enthüllte einen „superlinearen Mechanismus zur Zielgruppenansprache von Vermögen" (Exponent 1,42 auf dem Kontostand des Ursprungskontos), was darauf hindeutet, dass Betrüger unverhältnismäßig stark Konten mit hohem Wert ins Visier nehmen. Die Leistung von ECSEL war mit der der Deep Symbolic Classification (DSC) vergleichbar, hielt sich jedoch an strengere methodische Gültigkeitskriterien (keine zeitliche Datenlecks).

Bedeutung und Behauptungen

Die Arbeit behauptet, dass ECSEL die Lücke zwischen der Interpretierbarkeit der Symbolischen Regression und den praktischen Anforderungen moderner Klassifizierung schließt. Durch die Kombination von Recheneffizienz mit transparenter Entscheidungsfindung bietet ECSEL Praktikern eine handlungsrelevante Alternative zu Blackbox-Modellen in hochriskanten Domänen. Die Autoren betonen, dass die Methode das Verhalten von Blackboxen nicht nur approximiert, sondern inhärent interpretierbare Modelle bereitstellt, bei denen die Entscheidungslogik explizit, mathematisch rigoros und in der Lage ist, gegenfaktisches Schließen und Bias-Audits zu unterstützen. Die Arbeit legt nahe, dass einfache, gut gewählte Formulierungen essentielle Datenstrukturen erfassen können und sowohl genaue Vorhersagen als auch für Menschen lesbare Erklärungen liefern.