📊 statistics

Beyond Additive Decompositions: Interpretability Through Separability

Dieses Paper führt das Tensor Separation Learning (TSL) ein, ein Regressionsmodell, das die Einschränkungen traditioneller additiver Erklärbarkeitsmethoden überwindet, indem es eine Summe von Rang-1-Produkten univariater Funktionen lernt und dadurch starke Merkmalsinteraktionen bewahrt sowie treue, vollständig rekonstruierbare Visualisierungen ohne Informationsverlust ermöglicht.

Ursprüngliche Autoren: Jinyang Liu, Munir Eberhardt Hiabu

Veröffentlicht 2026-06-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jinyang Liu, Munir Eberhardt Hiabu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen zu verstehen, wie eine komplexe Maschine funktioniert. Die meisten modernen maschinellen Lernmodelle (wie tiefe neuronale Netze) sind wie Black Boxes: Man gibt Daten hinein, erhält eine Vorhersage heraus, aber das Innere ist ein wirres Geflecht aus Drähten und Zahnrädern, das niemand leicht lesen kann.

Um dies zu beheben, verwenden Wissenschaftler oft „Glass Box“-Modelle. Die gängigste Art ist wie ein Rezeptbuch, bei dem das Endergebnis einfach eine Liste von Zutaten ist, die zusammengefügt werden (z. B. Zucker + Mehl + Eier = Kuchen). Dies wird als additives Modell bezeichnet. Es ist leicht lesbar, weil man genau sehen kann, wie viel Zucker oder Mehl beigetragen hat.

Doch die reale Welt ist chaotisch. Manchmal werden Zutaten nicht einfach nur addiert; sie interagieren. Zum Beispiel ergeben Mehl und Wasser nur dann Teig, wenn man sie gemeinsam mischt. Wenn man sie nur separat auflistet, übersieht man die Magie des Mischens. Traditionelle „additive“ Erklärungsmodelle scheitern hier oft, weil sie versuchen, diese komplexen Interaktionen in eine einfache „Summe“ zu pressen, was die wahre Geschichte verbergen oder verwirrende, sich gegenseitig aufhebende Effekte erzeugen kann.

Tensor Separation Learning (TSL) ist eine neue Methode, die in dieser Arbeit vorgeschlagen wird, um genau dieses Problem zu lösen. So funktioniert sie, erklärt anhand einfacher Analogien:

1. Das Problem: Die „Auslöschungsfalle“

Stellen Sie sich vor, Sie versuchen zu erklären, warum ein Haus teuer ist.

Der alte Weg (Additiv): Sie sagen: „Die Lage fügt 10.000 $ hinzu, aber die schlechte Aussicht zieht 10.000 $ ab.“ Das Nettoergebnis ist Null. Sie könnten schlussfolgern: „Die Lage spielt keine Rolle!“ Aber das ist falsch. Die Lage spielt eine Rolle; es ist nur so, dass die schlechte Aussicht sie in Ihrer einfachen Mathematik einfach neutralisiert hat.
Die TSL-Lösung: Anstatt blind zu addieren und zu subtrahieren, betrachtet TSL die Multiplikation von Faktoren. Es erkennt, dass der Preis nicht einfach Lage + Aussicht ist, sondern Lage × Aussicht.

2. Die Kernidee: Bauen mit „Positiven Blöcken“

TSL baut sein Modell mithilfe eines speziellen Tricks: Positiver Produkte.
Stellen Sie sich vor, Sie bauen eine Skulptur. Anstatt Blöcke zu verwenden, die positiv (Höhe hinzufügen) oder negativ (Höhe abziehen) sein können, verwendet TSL ausschließlich positive Blöke.

Es baut zwei separate Türme aus diesen positiven Blöcken.
Dann berechnet es die Differenz zwischen diesen beiden Türmen.

Warum macht man das?

Stabilität: Wenn man nur positive Blöcke verwendet, weiß man genau, was jeder Block bewirkt. Ein Block macht den Turm entweder höher oder niedriger, aber er verschwindet nie in einem „negativen“ Leerraum.
Klarheit: Da die Blöcke immer positiv sind, kann man einen einzelnen Block (ein einzelnes Merkmal, wie z. B. „Breitengrad“) betrachten und seine wahre Form sehen, ohne dass er in einem Meer aus anderen Zahlen untergeht.

3. Die „Backbone und Tilt“-Analogie

Das Paper führt eine clevere Art ein, diese positiven Blöcke zu visualisieren, die es Backbone (Rückgrat) und Tilt (Neigung) nennt.

Der Backbone (Die Magnitude): Dies ist vergleichbar mit dem Lautstärkeregler eines Radios. Er sagt Ihnen, wie laut ein Merkmal ist. Wenn der Backbone hoch ist, ist dieses Merkmal sehr aktiv. Wenn er niedrig ist, ist das Merkment leise. Dieser Teil ist immer positiv, sodass er nie verwirrend wird.
Der Tilt (Die Richtung): Dies ist vergleichbar mit der Richtung des Lautstärkereglers. Spielt die Musik vorwärts oder rückwärts? Der Tilt sagt Ihnen, ob ein Merkmal die Vorhersage nach oben oder unten drückt.

Indem TSL die „Lautstärke“ (Backbone) von der „Richtung“ (Tilt) trennt, stellt es sicher, dass selbst wenn das Endergebnis flach aussieht (weil sich Auf und Ab aufgehoben haben), man dennoch sehen kann, dass die „Lautstärke“ tatsächlich sehr hoch war. Man übersieht das Signal nicht, nur weil sich die Richtung umgekehrt hat.

4. Wie es lernt: Der „Etappenweise Baumeister“

TSL versucht nicht, das ganze Haus auf einmal zu bauen. Es baut es Etage für Etage auf, wie ein Bauunternehmer, der Stockwerke nacheinander hinzufügt.

Etappe 1: Es betrachtet die Daten und baut die bestmögliche Struktur aus „positiven Produkten“, um die Haupttrends zu erklären.
Etappe 2: Es schaut sich an, was übrig geblieben ist (die Fehler aus Etappe 1) und baut eine neue Struktur, um genau diese Fehler zu beheben.
Wiederholung: Es fügt so lange neue Etappen hinzu, bis das Haus fertiggestellt ist.

Entscheidend ist, dass TSL nach dem Hinzufügen einer neuen Etappe zurückgeht und alle vorherigen Etappen neu anpasst (refit), um sicherzustellen, dass sie perfekt zusammenarbeiten. Das ist wie ein Bauunternehmer, der, nachdem er ein neues Stockwerk hinzugefügt hat, zurückgeht, um das Fundament zu verstärken und die Wände anzupassen, damit das gesamte Gebäude stabil ist.

5. Warum es besser zum „Sehen“ der Daten geeignet ist

Das Paper behauptt, dass man mit TSL einen einfachen 1D-Graphen (ein Liniendiagramm) für ein einzelnes Merkmal (wie „Breitengrad“) betrachten kann und genau weiß, was das Modell über dieses Merkmal gelernt hat.

Bei anderen Methoden könnte ein Graph flach aussehen, weil die komplexen Interaktionen des Modells sich gegenseitig aufgehoben haben.
In TSL zeigt der Graph dank der „Positiven Blöcke“ und der Trennung von „Backbone/Tilt“ die wahre Form der Beziehung, selbst wenn die endgültige Vorhersage komplexe Interaktionen beinhaltet.

Zusammenfassung

Alte Methoden: Versuchen, komplexe Interaktionen durch das Addieren einfacher Teile zu erklären. Dabei heben sie sich oft gegenseitig auf und verbergen so die Wahrheit.
TSL: Baut das Modell durch die Multiplikation positiver Teile und zieht dann zwei verschiedene „Türme“ aus diesen Teilen ab.
Das Ergebnis: Man erhält ein Modell, das so genau wie die komplexen „Black Boxes“ ist, aber transparent bleibt. Man kann den „Backbone“ betrachten, um zu sehen, wie stark ein Merkmal ist, und den „Tilt“, um zu sehen, in welche Richtung es drückt, ohne dass die Mathematik unübersichtlich wird oder das Signal verbirgt.

Das Paper demonstriert dies an realen Daten (wie der Vorhersage von Hauspreisen in Kalifornien) und zeigt, dass TSL Muster (wie etwa, dass bestimmte Küstenregionen teuer sind) erkennen kann, die andere „interpretierbare“ Modelle übersehen, während es gleichzeitig mit den leistungsfähigsten, nicht erklärbaren Modellen konkurrenzfähig bleibt.

Technisches Resümee: Jenseits additiver Zerlegungen: Interpretierbarkeit durch Separabilität

Problemstellung

Interpretierbares maschinelles Lernen steht vor einem grundlegenden Spannungsfeld zwischen Vorhersagegenauigkeit und struktureller Transparenz. Während „Black-Box“-Modelle (z. B. tiefe neuronale Netze, Gradient-Boosting-Ensembles) den Stand der Technik erreichen, mangelt es ihnen an lesbaren Strukturen. Umgekehrt bieten „Glass-Box“-Modelle wie verallgemeinerte additive Modelle (GAMs) zwar Transparenz, scheitern jedoch oft daran, komplexe Interaktionen zu erfassen oder stützen sich auf falsch spezifizierte parametrische Annahmen.

Aktuelle Interpretationsmethoden, einschließlich Post-hoc-Erklärungen (z. B. SHAP, Integrated Gradients) und Glass-Box-Modelle, beruhen weitgehend auf additiven Zerlegungen. Die Autoren argumentieren, dass additive Repräsentationen in Gegenwart starker Interaktionen kritischen Ausfallmodi unterliegen:

Signal-Auslöschung (Signal Cancellation): Lokale SHAP-Erklärungen können Haupt- und Interaktionseffekte gegenseitig aufheben, was zu einer Null-Attribution für aktive Merkmale führt.
Interaktions-Maskierung (Interaction Masking): Partial Dependence Plots (PDPs) marginalisieren über andere Merkmale und verwerfen dadurch effektiv höherwertige Interaktionsinformationen, wodurch sie lediglich Haupteffekte wiederherstellen.
Extrapolation außerhalb des Supports (Off-Support Extrapolation): Die marginale Mittelung in korrelierten Merkmalsräumen kann zu Artefakten in Regionen mit geringer Datendichte führen.

Das Paper postuliert, dass diese Einschränkungen aus der inhärenten Unfähigkeit additiver Projektionen resultieren, multiplikative oder separable Interaktionsstrukturen ohne Informationsverlust getreu darzustellen.

Methodik: Tensor Separation Learning (TSL)

Die Autoren schlagen Tensor Separation Learning (TSL) vor, ein Regressionsmodell, das darauf ausgelegt ist, eine Summe von Rank-1-Produkten univariater pro-Feature-Funktionen zu lernen. Im Gegensatz zu Standard-Separabilitätsmodellen erzwingt TSL spezifische strukturelle Randbedingungen, um Stabilität und Interpretierbarkeit zu gewährleisten.

Modellformulierung

Der TSL-Schätzer $\hat{m}(x)$ ist definiert als eine Summe von $R$ Stufen, wobei jede Stufe $\ell$ die Differenz zweier positiver separabler Produkte ist:
$\hat{m}(x) = \sum_{\ell=1}^{R} \left( \lambda^{(\ell)}_+ \prod_{j=1}^p \hat{m}^{(\ell)}_{+,j}(x_j) - \lambda^{(\ell)}_- \prod_{j=1}^p \hat{m}^{(\ell)}_{-,j}(x_j) \right)$
Zu den wesentlichen Randbedingungen gehören:

Positivität: Alle Komponentenfunktionen $\hat{m}^{(\ell)}_{\pm,j}(x_j)$ sind so beschränkt, dass sie strikt positiv ( $>0$ ) sind. Dies stellt sicher, dass jede Komponente ihr Produkt eindeutig verstärkt oder abschwächt, wodurch die inhärente Vorzeichenambiguität unbeschränkter Produkte vermieden wird.
Geordnete Differenz: Jede Stufe ist eine Differenz zweier positiver Terme, was es dem Modell ermöglicht, Vorzeichenbeiträge darzustellen und gleichzeitig positive Faktoren beizubehalten.

Parametrisierung: Backbone und Tilt

Um die Interpretierbarkeit zu verbessern, führen die Autoren eine Backbone/Tilt-Reparametrisierung für jedes Merkmalspaar in einer Stufe ein:
$\hat{m}^{(\ell)}_{\pm,j}(x_j) = b^{(\ell)}_j(x_j) e^{\pm d^{(\ell)}_j(x_j)}$

Backbone ( $b$ ): Repräsentiert die gemeinsame Magnitude oder das „Aktivitätsgate“ der Stufe. Es bestimmt, wo die Stufe aktiv ist (Werte nahe Null schalten die Stufe aus).
Tilt ( $d$ ): Repräsentiert das Vorzeichen-Ungleichgewicht zwischen dem positiven und dem negativen Zweig. Es steuert die Richtungscharakteristik des Beitrags.
Diese Dekomposition trennt die Magnitude eines Effekts von seiner gerichteten Signatur, was eine getreue Visualisierung ermöglicht, selbst wenn der Netto-Vorzeichenbeitrag aufgrund von Auslöschung nahe Null liegt.

Fitting-Verfahren

TSL verwendet ein stufenweises gieriges Verfahren (stagewise greedy procedure) mit orthogonaler Refittierung:

Stufenweises Fitting: In jeder Stufe $\ell$ passt das Modell die aktuellen Residuen mittels eines Grid-Tensor-Verfeinerungsansatzes an, der von CART (Classification and Regression Trees) inspiriert ist. Es lernt stückweise konstante univariate Funktionen auf einer adaptiven Partitionierung.
Bagging und Aggregation: Um die Varianz zu reduzieren, werden mehrere Grid-Tensoren parallel auf Bootstrap-Stichproben gefittet. Ein Ähnlichkeitsbasierter Aggregationsmechanismus (Ankerung an ein Referenz-Grid und Filtern von Ausreißern) kombiniert diese zu einem einzelnen Stufen-Prädiktor.
Orthogonales Refitting: Nach dem Fitting einer neuen Stufe werden alle Stufenkoeffizienten $\{\lambda^{(k)}_\pm\}$ gemeinsam mittels Kleinster Quadrate gegen das Ziel $y$ optimiert. Dieses Backfitting stellt sicher, dass die Koeffizienten optimal gegeben den aktuellen Satz an Stufen sind.

Zentrale Beiträge

Tensor Separation Learning (TSL): Ein neuartiger Regressionsalgorithmus, der den bedingten Erwartungswert als Summe von Differenzen positiver Rank-1-separabler Produkte schätzt.
Modell-native Interpretierbarkeit: Die Autoren beweisen, dass für TSL das gefittete Modell exakt aus seinen primären partiellen Abhängigkeitsfunktionen rekonstruiert werden kann (bis auf konstante Faktoren). Im Gegensatz zu Post-hoc-Methoden sind die Visualisierungen von TSL (1D-Partial-Dependence-Kurven) keine Approximationen, sondern getreue Darstellungen der gefitteten Komponenten. Die Backbone/Tilt-Dekomposition ermöglicht es Praktikern, zwischen Magnitude (Aktivität) und Richtung (Vorzeichen-Ungleichgewicht) zu unterscheiden.
Approximationstheorie: Das Paper etabliert eine $O(1/\sqrt{r})$ -Approximationsrate für die TSL-Hypothesenklasse auf Funktionen mit beschränkten gemischten $p$ -ten partiellen Ableitungen (speziell im Sobolev-Raum $W^{(1,1)}_{mix}$ ), unter Verwendung des Frameworks der Orthogonalen Greedy Approximation (OGA).

Experimentelle Ergebnisse

Die Autoren evaluierten TSL auf der OpenML CTR 23 Regressions-Suite (27 Datensätze) gegenüber State-of-the-Art-Baselines:

Baselines: Black-Box-Modelle (XGBoost, LightGBM, Random Forest) und interpretierbare Modelle (Explainable Boosting Machines (EBM), SepALS – ein Separabilitätsmodell ohne die Constraints von TSL).
Performance: TSL erreicht eine wettbewerbsfähige Vorhersageleistung. In der Gruppe der interpretierbaren Modelle belegt TSL auf 17 von 27 Datensätzen einen der Top-3-Plätze und ist das beste interpretierbare Modell auf 5 Datensätzen.
Vergleichende Analyse:
- TSL übertrifft EBM und Baum-Ensembles auf Datensätzen mit starken Low-Rank-Separabilitätsstrukturen (z. B. socmob, California housing).
- Auf California housing erfasst TSL lokalisierte, nicht-monotone räumliche Interaktionen (z. B. Küsten-Prämien), die EBM und XGBoost glätten oder in 1D-Zusammenfassungen nicht isolieren können.
- Synthetische Fallstudie: In einem synthetischen Beispiel, in dem ein starker quadratischer Effekt durch eine dritte Ordnung der Interaktion maskiert wird (was zu einer Null-1D-Partial-Dependence führt), rekonstruiert TSL erfolgreich die zugrunde liegende Magnitude über seine Backbone-Kurven, während Standard-PDPs und ICE-Kurven das Signal ohne komplexe Aggregation nicht offenlegen können.
- Ablation: Das Entfernen der Positivitäts-Constraint und der Ordered-Difference-Struktur (TSL 1-Produkt) verschlechtert die Performance erheblich, was bestätigt, dass diese Constraints entscheidend für die Repräsentationsflexibilität und Stabilität sind.

Bedeutung und Ansprüche

Das Paper behauptet, dass TSL einen distinkten Weg zur Interpretierbarkeit bietet, indem es „über additive Zerlegungen hinausgeht“. Die primäre Bedeutung liegt in:

Getreuer Visualisierung: Durch das Erzwingen von Separabilität und Positivität stellt TSL sicher, dass Partial-Dependence-Plots die exakte Form der gefitteten Faktoren wiederherstellen, wodurch der Informationsverlust und die Maskierung entstehen, die bei additiven Projektionen interaktiver Modelle auftreten.
Umgang mit Interaktionen: TSL bietet einen Mechanismus, um hochdimensionale Interaktionen durch 1D-Zusammenfassungen (Backbone und Tilt) zu visualisieren und zu verstehen, ohne auf opake Black-Box-Erklärungen oder hochdimensionale Plots zurückgreifen zu müssen.
Wettbewerbsfähige Genauigkeit: Es demonstriert, dass ein Glass-Box-Modell mit einer separablen Struktur mit leistungsstarken Baum-Ensemble-Black-Boxes in Regressions-Benchmarks konkurrieren kann, was die Annahme infrage stellt, dass hohe Genauigkeit zwingend den Verzicht auf Interpretierbarkeit erfordert.

Die Autoren bleiben hinsichtlich der Limitationen bescheiden und räumen ein, dass die Approximationsraten von T von Annahmen über die gemischte Glattheit abhängen und dass die separable Repräsentation unter Nicht-Identifizierbarkeit leidet (was die beschriebenen spezifischen Aggregations-/Filterungsverfahren erfordert). Sie merken an, dass bei rein additiven Problemen bestehende Methoden wie EBM möglicherweise stärkere Baselines darstellen.