🤖 machine learning

Extending Explainable Ensemble Trees (E2Tree) to regression contexts

Dieser Beitrag erweitert die ursprünglich für Klassifikationsaufgaben konzipierte Methodik der erklärbaren Ensemble-Bäume (E2Tree) auf Regressionskontexte, indem er Dissimilaritätsmaße nutzt, um sowohl die Beziehungen zwischen Prädiktoren und Zielvariable als auch die Assoziationen zwischen den Prädiktoren grafisch darzustellen und dadurch die Transparenz von Random-Forest-Modellen zu erhöhen.

Ursprüngliche Autoren: Massimo Aria, Agostino Gnasso, Carmela Iorio, Marjolein Fokkema

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Massimo Aria, Agostino Gnasso, Carmela Iorio, Marjolein Fokkema

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein superkluges Team von Detektiven (ein Random Forest), das zusammenarbeitet, um ein Rätsel zu lösen. Jeder Detektiv betrachtet ein kleines Stück Beweismaterial und trifft eine Vermutung. Wenn sie alle abstimmen, ist ihre kombinierte Vermutung unglaublich genau. Da jedoch so viele Detektive im Spiel sind und alle durcheinander reden, ist es unmöglich, exakt nachzuvollziehen, wie sie zu ihrer endgültigen Schlussfolgerung gelangt sind. Das Team ist eine „Blackbox" – Sie erhalten die Antwort, sehen aber nicht die Logik dahinter.

Diese Arbeit stellt ein neues Werkzeug namens E2Tree (Explainable Ensemble Trees) vor, das wie ein Übersetzer funktioniert. Es nimmt die chaotischen, komplexen Entscheidungen des Detektivteams und strukturiert sie zu einem einzigen, klaren, leicht lesbaren Flussdiagramm.

Hier ist die Aufschlüsselung dessen, was die Arbeit leistet, unter Verwendung einfacher Analogien:

1. Das Problem: Die „Blackbox"

In der Welt des maschinellen Lernens sind Werkzeuge wie Random Forests hervorragend darin, Dinge vorherzusagen (z. B. wie viel ein Auto kosten wird oder wie schnell eine Pflanze wächst). Doch sie sind wie ein riesiger, verwickelter Wollknäuel. Sie können am Ende ziehen und ein Ergebnis erhalten, aber Sie können das Muster im Inneren nicht erkennen.

Das Ziel: Die Autoren wollen dieses Wollknäuel entwirren, ohne die Stärke des Knotens zu verlieren. Sie möchten die hohe Genauigkeit des Random Forests bewahren, ihn aber so gestalten, dass er wie ein einfacher Entscheidungsbaum aussieht, den ein Mensch verstehen kann.

2. Die Lösung: E2Tree

Die Autoren haben E2Tree zuvor für „Klassifizierungs"-Aufgaben entwickelt (Dinge in Kategorien einordnen, wie „Katze" vs. „Hund"). In dieser Arbeit bringen sie E2Tree bei, wie es Regressions-Aufgaben bewältigt.

Regressions-Analogie: Anstatt Dinge in Boxen zu sortieren, ist Regression wie die Vorhersage einer spezifischen Zahl, beispielsweise die genaue Geschwindigkeit eines Autos oder der Preis eines Hauses.
Der Zaubertrick: E2Tree betrachtet nicht nur eine Variable nach der anderen. Es betrachtet, wie die Variablen „tanzen". Es verwendet einen speziellen mathematischen Trick namens Dissimilaritätsmatrix.
- Stellen Sie es sich wie einen Sitzplan vor: Stellen Sie sich einen Raum voller Menschen vor. Der Random Forest hat bereits ähnliche Menschen an verschiedenen Tischen gruppiert. E2Tree betrachtet, wie oft zwei bestimmte Personen über alle verschiedenen Gruppen hinweg, die die Detektive gebildet haben, am selben Tisch gelandet sind. Wenn sie oft zusammen saßen, sind sie „ähnlich". Wenn sie selten zusammen saßen, sind sie „unterschiedlich".

3. Wie es funktioniert (Das Rezept)

Die Arbeit beschreibt einen schrittweisen Prozess zum Aufbau dieses neuen, klaren Baums:

Ähnlichkeit messen: Es berechnet, wie oft Paare von Datenpunkten (z. B. zwei spezifische Autos oder zwei spezifische Blumen) innerhalb des Random Forests in derselben „Gruppe" landen.
Den „Fit" prüfen: Es überprüft, ob die Gruppen Sinn ergeben. In der Welt der Zahlenvorhersage (Regression) fragt es: „Sind die Zahlen in dieser Gruppe nahe beieinander?" Wenn die Zahlen völlig verstreut sind, ist die Gruppe nicht sehr nützlich.
Den Baum bauen: Es beginnt, die Daten zu teilen, genau wie ein normaler Baum, verwendet aber diese Ähnlichkeitswerte, um zu entscheiden, wo geschnitten wird.
Stopp-Regeln: Es weiß, wann es aufhören soll zu teilen. Es stoppt, wenn die Gruppen bereits sehr ähnlich sind oder wenn eine weitere Teilung das Ergebnis nicht verändert (wie das Prüfen, ob zwei Gruppen von Menschen die gleiche durchschnittliche Körpergröße haben, bevor man versucht, sie weiter zu trennen).

4. Der Beweis: Zwei Beispiele

Die Autoren testeten ihren neuen „Übersetzer" an zwei realen Datensätzen, um zu beweisen, dass er funktioniert:

Der Blumen-Test (Iris-Datensatz):
- Sie versuchten, die Länge eines Blütenblattes einer Blume basierend auf ihren anderen Messwerten vorherzusagen.
- Ergebnis: Der E2Tree rekonstruierte erfolgreich die komplexe Logik des Random Forests. Er zeigte einen klaren Pfad: „Wenn die Blütenblattbreite klein IST UND die Art X ist, DANN ist die Blütenblattlänge Y."
- Verifizierung: Sie verglichen die „Karte", die vom Random Forest erstellt wurde, mit der „Karte", die von E2Tree erstellt wurde. Sie waren zu 90 % ähnlich, was bewies, dass der Übersetzer die ursprüngliche Bedeutung nicht verloren hat.
Der Auto-Test (Auto-MPG-Datensatz):
- Sie versuchten vorherzusagen, wie viele Meilen pro Gallone (MPG) ein Auto basierend auf seinem Gewicht, der Motorgröße und dem Baujahr erreicht.
- Ergebnis: Der E2Tree erstellte eine visuelle Karte, die genau zeigt, wie Faktoren wie „hohes Gewicht" oder „großer Motor" die Kraftstoffeffizienz senken. Er zeigte die „Wenn-Dann"-Regeln klar auf (z. B. „Wenn das Auto schwer IST UND alt, DANN erreicht es niedrige MPG").
- Verifizierung: Selbst bei komplexeren Daten (mehr Autofeatures) stimmte die E2Tree-Karte etwa 75 % der Zeit mit der Logik des Random Forests überein.

5. Warum das wichtig ist

Die Arbeit behauptet, dass E2Tree ein mächtiges Werkzeug ist, weil:

Es transparent ist: Es verwandelt eine verwirrende „Blackbox" in ein klares Flussdiagramm.
Es genau ist: Es behält die hohe Vorhersagekraft des ursprünglichen Random Forests bei.
Es Zusammenhänge zeigt: Es sagt nicht nur „Gewicht ist wichtig". Es zeigt, wie das Gewicht mit anderen Faktoren (wie der Motorgröße) interagiert, um das Endergebnis zu erzeugen.

Kurz gesagt: Die Autoren haben eine Brücke zwischen dem superklugen, aber verwirrenden „Random Forest" und dem menschlichen Bedürfnis nach klaren, logischen Erklärungen gebaut. Sie bewiesen, dass diese Brücke nicht nur funktioniert, um Dinge in Kategorien einzuordnen, sondern auch, um spezifische Zahlen vorherzusagen.

Technische Zusammenfassung: Erweiterung von Explainable Ensemble Trees (E2Tree) auf Regressionskontexte

Problemstellung

Ensemble-Methoden, insbesondere Random Forests (RF), haben das überwachte Lernen revolutioniert, indem sie durch die Aggregation schwacher Lerner eine hohe Vorhersagegenauigkeit bieten. Diese Modelle funktionieren jedoch als „Black Boxes" und bieten keine Transparenz darüber, wie sie Eingabewerte verarbeiten, um Vorhersagen zu generieren. Diese Intransparenz behindert das Verständnis und das Vertrauen der Nutzer, insbesondere in kritischen Bereichen wie Medizin und Finanzen. Obwohl es bereits Ansätze zur Interpretierbarkeit gibt – von inhärent interpretierbaren Modellen (z. B. Entscheidungsbäume) bis hin zu nachträglichen Erklärungswerkzeugen (z. B. Variablenwichtigkeit, Shapley-Werte) –, haben diese oft Schwierigkeiten, eine Balance zwischen Modellgenauigkeit und der Fähigkeit zu finden, komplexe, nichtlineare Interaktionen zwischen Merkmalen zu erläutern.

Die spezifische Herausforderung, die in diesem Papier adressiert wird, ist die Erweiterung der Methodik der Explainable Ensemble Trees (E2Tree). Ursprünglich von Aria et al. (2024) für Klassifikationsaufgaben vorgeschlagen, bietet E2Tree eine grafische, baumartige Darstellung von RF-Modellen, die sowohl Prädiktoreffekte als auch Inter-Prädiktor-Assoziationen berücksichtigt. Die Autoren stellen fest, dass E2Tree zwar erfolgreich Klassifikations-RFs erklärte, jedoch eine entsprechende Methodik für Regressionskontexte (Modelle mit kontinuierlichen Zielvariablen) fehlte.

Methodik

Das Papier schlägt eine Erweiterung des E2Tree-Rahmens zur Behandlung von Regressionsproblemen vor. Das Kernziel besteht darin, eine einzige, interpretierbare baumartige Struktur abzuleiten, die die Entscheidungslogik eines trainierten Random-Forest-Regressionsmodells getreu widerspiegelt.

1. Konstruktion der Dissimilaritätsmatrix

Die Methodik beginnt mit der Definition einer Dissimilaritätsmatrix $D$ , die vom RF-Modell abgeleitet wird. Sei $H = \{H_1, \dots, H_B\}$ ein Random Forest aus $B$ schwachen Lernern, trainiert auf einer Stichprobe der Größe $n$ . Für zwei beliebige Beobachtungen $u_i$ und $u_j$ wird die Dissimilarität $d_{ij}$ als $1 - O_{ij}$ definiert, wobei $O_{ij}$ ein gewichtetes Ko-Vorkommnismaß ist.

$O_{ij}$ quantifiziert, wie oft ein Paar von Beobachtungen über die Sequenz der Bäume hinweg in denselben Knoten fällt, gewichtet mit einem lokalen Gütemaß $W(t)_{ij|b}$ für Knoten $t$ in Baum $b$ :
$O_{ij} = \frac{\sum_{b=1}^{B} I(u_i \land u_j) \cdot W(t)_{ij|b}}{\max(\sum_{b} u_i W(t)_{i|b}; \sum_{b} u_j W(t)_{j|b})}$

2. Regressionsspezifisches Gütemaß

Ein wesentlicher Beitrag dieses Papiers ist die Anpassung des lokalen Gütemaßes $W(t)_{ij|b}$ für die Regression. Im Klassifikationskontext basierte dieses Maß auf der Reinheit; in der Regression schlagen die Autoren die Verwendung des Normalisierten Mittleren Quadratischen Fehlers (NMSE) vor:
$NMSE(t)_{ij|b} = \frac{MSE(t)_{ij|b}}{MSE_{max} \cdot p(t)}$
Wobei:

$MSE(t)_{ij|b}$ der mittlere quadratische Fehler im Knoten $t$ ist.
$p(t)$ der Anteil der Beobachtungen im Knoten $t$ ist.
$MSE_{max}$ der theoretische maximale MSE ist, berechnet basierend auf der Spanne der Zielvariable $Y$ innerhalb des Knotens (nach Jacobson, 1969): $MSE_{max} = \frac{(\max(Y|b) - \min(Y|b))^2}{9}$ .

Das lokale Anpassungsmaß wird dann definiert als:
$W(t)_{ij|b} = \begin{cases} 0 & \text{falls } 1 - NMSE(t)_{ij|b} \le 0 \\ 1 - NMSE(t)_{ij|b} & \text{sonst} \end{cases}$

3. Baumkonstruktion und Stoppregeln

Der Algorithmus konstruiert den E2Tree durch rekursive Aufteilung der Daten basierend auf der Dissimilaritätsmatrix $D$ . Um Overfitting zu verhindern und sicherzustellen, dass der resultierende Baum sparsam ist, führen die Autoren spezifische Abbruchkriterien ein, die über die Standard-RF-Aufteilungen hinausgehen:

NMSE-Schwelle ( $\gamma$ ): Ein Knoten wird terminal, wenn der berechnete $NMSE(t)_{ij|b}$ unter einen spezifizierten Schwellenwert $\gamma$ fällt (in den Experimenten auf 0,05 gesetzt).
Verteilungsgleichheit: Für jede potenzielle Aufteilung wird ein Mann-Whitney-Test durchgeführt, um zu überprüfen, ob die Verteilungen der vorhergesagten Werte in den Kindknoten identisch sind. Wenn die Verteilungen nicht signifikant unterschiedlich sind, wird die Aufteilung abgelehnt und der Elternknoten als terminal behandelt.

Wesentliche Beiträge

Methodische Erweiterung: Der Hauptbeitrag ist die formale Erweiterung von E2Tree von der Klassifikation auf die Regression. Dies beinhaltet die Neudefinition des lokalen Gütemaßes, um NMSE anstelle der Klassifikationsreinheit zu nutzen.
Einheitliche Darstellung: Die Methode liefert eine einzelne baumartige Struktur, die die globale Logik eines Random Forests erfasst, einschließlich komplexer Interaktionen zwischen Prädiktoren, während die Vorhersagegenauigkeit des ursprünglichen Ensembles erhalten bleibt.
Doppelte Erklärungsfähigkeit: Der resultierende E2Tree bietet sowohl globale Erklärungen (Muster und Regeln, die vom Modell befolgt werden) als auch lokale Erklärungen (detaillierte Logik für spezifische Instanzen) und schließt so die Lücke zwischen Black-Box-Leistung und menschlicher Interpretierbarkeit.
Open-Source-Implementierung: Die Autoren stellen ein R-Paket (e2tree) und Code-Verfügbarkeit bereit, was die Reproduzierbarkeit und weitere Anwendung der Methode erleichtert.

Experimentelle Ergebnisse

Die Autoren validierten die vorgeschlagene Methode mit zwei Datensätzen aus dem UCI Machine Learning Repository: dem Iris-Datensatz (angepasst für Regression auf die Blütenblattlänge) und dem Auto MPG-Datensatz (Vorhersage der Kraftstoffeffizienz).

Iris-Datensatz: Der E2Tree rekonstruierte erfolgreich die Struktur der Ko-Vorkommnis-Matrix des RF. Eine hierarchische Clusteranalyse, die die ursprüngliche RF-Matrix ( $O_{ij}$ ) und die vom E2Tree geschätzte Matrix ( $\hat{O}_{ij}$ ) verglich, ergab einen Fowlkes-Mallows-Index (FMI) von etwa 90 %, was auf ein hohes Maß an Ähnlichkeit in der Clusterstruktur hinweist.
Auto MPG-Datensatz: Trotz der größeren Größe des Datensatzes und nichtlinearer Beziehungen visualisierte der E2Tree die Entscheidungspfade effektiv. Der Vergleich der Heatmaps für $O_{ij}$ und $\hat{O}_{ij}$ ergab einen FMI von etwa 75 %.
Interpretierbarkeit: In beiden Fällen lieferte der E2Tree klare „Wenn-Dann"-Pfade. Für die Auto MPG-Daten visualisierte der Baum negative Effekte von Hubraum, Gewicht und Leistung auf den MPG-Wert sowie positive Effekte des Modelljahres und des Ursprungs und bot so Erkenntnisse, die aus einem standardmäßig angepassten RF-Modell nicht direkt zugänglich sind.

Bedeutung und Behauptungen

Das Papier behauptet, dass E2Tree sicherstellt, dass Machine-Learning-Modelle „Werkzeuge der Ermächtigung" bleiben, indem sie einen verständlichen Entscheidungsprozess bieten, ohne die Genauigkeit des Ensembles zu opfern. Die Autoren betonen, dass ihr Ansatz:

Den Ensemble-Prozess durch eine einzige, kohärente Baumstruktur interpretiert.
Die Genauigkeitsleistung des zugrunde liegenden Random Forests beibehält.
Ein leistungsfähiges Werkzeug zur Erklärung von Interaktionen zwischen Prädiktoren bietet, die die Vorhersagen der finalen Knoten bestimmen.

Die Autoren schließen, dass diese Erweiterung sowohl Interpretierbarkeits- als auch Erklärbarkeitsprobleme in Klassifikations- und Regressionskontexten adressiert. Sie stellen fest, dass zukünftige Arbeiten darauf abzielen, den Ansatz auf andere Ensemble-Baum-Methodologien zu verallgemeinern und weitere Metriken zu entwickeln, um die Fidelity der E2Tree-Ergebnisse gegenüber den ursprünglichen Ensemble-Ausgaben zu bewerten. Das Papier behauptet nicht, Black-Box-Modelle zu ersetzen, sondern vielmehr eine transparente, nachträgliche Erklärungsschicht bereitzustellen, die die Nützlichkeit des Modells bewahrt.