Stellen Sie sich vor, Sie versuchen, einen riesigen, verhedderten Knoten eines Problems zu lösen. In der Welt der Informatik, speziell im Bereich des maschinellen Lernens, bitten wir Computer oft, den „besten“ Weg für Vorhersagen zu finden – etwa um zu erraten, ob ein Kunde ein Produkt kaufen wird oder ob ein Patient eine bestimmte Erkrankung hat. Lange Zeit glaubten Wissenschaftler, dass es meist nur eine einzige, perfekte Antwort gäbe – ein einziges, perfektes „Goldenes Modell“. Aber es gibt eine faszinierende Wendung in dieser Geschichte, den sogenannten Rashomon-Effekt. Benannt nach einem berühmten Film, in dem vier Zeugen verschiedene Versionen desselben Ereignisses erzählen, beschreibt dieser Effekt die Realität, in der viele völlig unterschiedliche Modelle fast exakt gleich gut abschneiden können. Sie sind alle „gut genug“, aber sie nutzen vielleicht unterschiedliche Hinweise oder betrachten die Daten auf völlig andere Weise.

Warum ist das wichtig? Denn wenn man nur nach diesem einen „goldenen“ Modell sucht, übersieht man vielleicht eine ganze Menge ebenso guter Alternativen. Einige dieser Alternativen könnten sicherer, leichter zu verstehen oder fairer sein. Um dies zu untersuchen, suchen Forscher nach einer Rashomon-Menge: einer Sammlung aller Modelle, die nahezu perfekt sind. Die Herausforderung besteht darin, dass das Finden dieser Menge so ist, als würde man versuchen, jedes einzelne Sandkorn an einem Strand zu zählen. Es ist eine riesige, unübersichtliche Aufgabe, besonders wenn die Daten nicht nur einfache „Ja oder Nein“-Antworten sind (wie rot oder blau), sondern kontinuierliche Merkmale enthalten – Zahlen, die alles sein können, wie Temperatur, Größe oder Preis, die an Millionen von verschiedenen Punkten aufgeteilt werden können.

Hier kommt eine neue Studie ins Spiel, die ein cleveres neues Werkzeug namens ArborEnum vorstellt. Betrachten Sie die Forscher als Entdecker, die versuchen, einen dichten, nebligen Wald zu kartieren. Früher mussten sie den Wald in ordentliche, quadratische Gitterzellen zerlegen (ein Prozess, der als Binarisierung bezeichnet wird), um ihn handhabbar zu machen. Aber dabei haben sie oft verborgene Pfade, seltene Bäume oder wichtige Abkürzungen übersehen, die in der wilden, kontinuierlichen Landschaft existierten. Die Autoren dieser Arbeit haben einen neuen Kompass gebaut, der es ihnen ermöglicht, den Wald genau so zu erkunden, wie er ist – mit all seinen glatten, kontinuierlichen Kurven –, ohne ihn vorher in Stücke zu schneiden. Sie fanden heraus, dass sie durch das Ignorieren der Glätte der Daten die alten Methoden riesige Teile der „guten“ Modelle übersehen haben. Ihre neue Methode kann diese Modelle viel schneller auflisten – manchmal hundertfach schneller – als bisherige Verfahren. Noch besser: Sie haben eine „smarte“ Version entwickelt, die mit einer groben Skizze des Waldes beginnt und ihn dann immer feiner zeichnet, wobei er immer detaillierter wird, je länger man ihn laufen lässt, sodass man jederzeit aufhören kann, wenn man genug Informationen hat. Sie haben durch Experimente mit realen Daten bewiesen, dass dieser Ansatz nicht nur Zeit spart, sondern auch wichtige Merkmale und Modellvariationen findet, die die alten, gitterbasierten Methoden völlig übersehen haben.

Die Geschichte vom Wald und dem Gitter

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen. Sie haben einen Stapel Indizien und müssen einen Entscheidungsbaum erstellen – ein Flussdiagramm von Fragen – um herauszufinden, wer es war. Normalerweise würden Sie Fragen stellen wie: „Ist der Verdächtige größer als 1,80 Meter?“ oder „Trägt der Verdächtige einen Hut?“. In den alten Zeiten mussten Informatiker jedes einzelne Indiz in eine einfache „Ja oder Nein“-Frage umwandeln, bevor sie mit dem Aufbau ihres Baumes beginnen konnten. Wenn ein Indiz eine Zahl war, wie „Die Größe des Verdächtigen ist 1,79 m“, mussten sie es in Eimer unterteilen: „Ist er kleiner als 1,70 m?“, „Liegt er zwischen 1,70 m und 1,80 m?“ oder „Ist er größer als 1,80 m?“.

Dieser Prozess des Zerstückelns wird Binarisierung genannt. Es ist, als würde man einen sanft fließenden Fluss nehmen und ihn in eine Reihe von quadratischen, betonartigen Kanälen zwingen. Das Problem ist: Indem man das Wasser in diese starren Boxen presst, übersieht man vielleicht eine winzige, perfekte Strudelbildung oder eine verborgene Strömung, die genau zwischen den Ritzen fließt. In der Welt des maschinellen Lernens bedeutet dies, dass man einen perfekten Weg zur Aufteilung der Daten verpassen könnte, weil Ihr „Gitter“ die Linie nicht exakt dort hatte, wo die Daten sie benötigten.

Der Rashomon-Effekt ist die Idee, dass es nicht nur ein perfektes Flussdiagramm gibt. Es gibt Dutzende, vielleicht Hunderte von verschiedenen Flussdiagrammen, die das Rätsel alle mit der gleichen hohen Genauigkeit lösen. Einige nutzen die Körpergröße, andere das Gewicht, andere wiederum eine Kombination aus beidem. Die Rashomon-Menge ist die Sammlung all dieser gleich guten Flussdiagramme. Das Finden dieser Menge ist extrem nützlich, da es uns hilft zu verstehen, welche Hinweise wirklich wichtig sind und welche nur Glückstreffer waren. Wenn ein Hinweis in fast jedem guten Flussdiagramm auftaucht, ist er wahrscheinlich ein echter Schlüssel zum Rätsel. Wenn er nur in einem einzigen vorkommt, könnte er nur ein Zufall sein.

Das Problem mit den alten Karten

Lange Zeit war der einzige Weg, diese Rashomon-Menge zu finden, die Methode der „Betonkanäle“ (Binarisierung). Forscher teilten die kontinuierlichen Zahlen in einige wenige Eimer auf und versuchten dann, alle guten Bäume zu finden. Dies hatte zwei große Probleme. Erstens war der Suchraum bereits riesig: Schon bei nur 20 binären Merkmalen gab es mehr Bäume als Sandkörner auf der Erde. Zweitens warfen sie durch das Zerstückeln der Daten Informationen weg. Sie könnten einen Split übersehen haben, der bei einem sehr spezifischen Wert stattfand, wie etwa 1,79 m, weil ihre Eimer nur bei 1,70 m und 1,80 m lagen.

Diese „grobe“ Binarisierung ist wie der Versuch, eine Nadel im Heuhaufen zu finden, indem man nur die oberste Schicht des Heus betrachtet. Man findet vielleicht eine Nadel, aber man wird die anderen übersehen, die tiefer vergraben sind oder eine etwas andere Form haben. Die Autoren fanden heraus, dass sie durch das Erzwingen der Daten in diese groben Eimer viele wichtige Bäume, wichtige Merkmale und die wahre Vielfalt der Lösungen (prädiktive Multiplizität) übersehen haben.

Der neue Kompass: ArborEnum

Hier tritt ArborEnum auf den Plan. Die Autoren haben den ersten Algorithmus entwickelt, der den „kontinuierlichen Wald“ erkunden kann, ohne ihn vorher zu zerstückeln. Anstatt die Daten in quadratische Eimer zu pressen, respektiert ArborEnum die natürliche Ordnung der Zahlen. Es behandelt die Daten wie eine glatte Linie und sucht nach den besten Stellen, um sie zu schneiden, wohlwissend, dass es Tausende von möglichen Schnittpunkten gibt.

Um dies zu erreichen, nutzten sie einen cleveren Trick. Stellen Sie sich vor, Sie suchen nach der besten Stelle, um ein Seil zu durchtrennen. Sie müssen nicht jeden einzelnen Millimeter testen. Wenn Sie wissen, dass ein Schnitt bei 10 Zoll schlecht ist und ein Schnitt bei 11 Zoll ebenfalls schlecht ist, können Sie wahrscheinlich davon ausgehen, dass ein Schnitt bei 10,5 Zoll auch nicht großartig sein wird. Die Autoren entwickelten einen Weg, diese „Grenzen“ zu nutzen, um riesige Abschnitte des Seils zu überspringen, die gar nicht erst getestet werden müssen. Sie nennen dies Pruning (Beschneidung). Es ist wie eine Karte, die einem sagt: „Suchen Sie gar nicht erst in diesem ganzen Tal; dort liegt kein Schatz.“

Sie führten auch ein „Proxy“-System ein. Betrachten Sie einen Proxy als eine schnelle, grobe Schätzung. Bevor der Algorithmus die harte Arbeit leistet, jeden einzelnen Möglichkeit zu prüfen, macht er eine schnelle, approximative Schätzung, um zu sehen, ob ein Pfad überhaupt die Untersuchung wert ist. Wenn die Schätzung „auf keinen Fall“ sagt, überspringt er den gesamten Ast. Wenn die Schätzung „vielleicht“ sagt, gräbt er tiefer. Dies ermöglicht es dem Algorithmus, unglaublich schnell zu arbeiten. In ihren Tests war diese Methode im Durchschnitt 270 Mal schneller als bestehende Methoden, und in einigen Fällen war der Unterschied sogar noch dramatischer.

Das „Anytime“-Feature: Eine Skizze, die besser wird

Einer der coolsten Aspekte von ArborEnum ist sein Anytime-Algorithmus. Normalerweise müssen Sie warten, bis der Computer die gesamte Aufgabe abgeschlossen hat, wenn Sie eine perfekte Karte wollen. Aber was ist, wenn Sie jetzt eine Antwort brauchen? Die Anytime-Version von ArborEnum beginnt mit einer sehr groben Skizze des Waldes. Sie schaut sich vielleicht nur einige wenige Schlüsselschnittpunkte an. Sie liefert Ihnen eine Liste guter Bäume basierend auf dieser groben Skizze.

Wenn Sie sie dann länger laufen lassen, fügt sie immer mehr Schnittpunkte zu ihrer Karte hinzu. Sie verfeinert die Skizze und füllt die Lücken. Je mehr Zeit Sie ihr geben, desto detaillierter und genauer wird die Liste der Bäume. Schließlich findet sie – wenn man sie lange genug laufen lässt – die exakte, perfekte Liste aller guten Bäume. Das Beste daran? Man kann sie jederzeit stoppen. Wenn Sie in 5 Minuten eine Antwort benötigen, erhalten Sie eine gute Annäherung. Wenn Sie 5 Stunden Zeit haben, erhalten Sie eine nahezu perfekte Antwort. Die Autoren fanden heraus, dass die Methode selbst mit diesem „groben Start“ fast alle wichtigen Bäume wiederhergestellt hat, und die zusätzliche Zeit, die für die Verfeinerung der Karte benötigt wurde, war minimal – nur etwa 2,7 % mehr Zeit als das Ausführen der nicht-verfeinerten Version auf dem endgültigen Satz von Punkten.

Was sie fanden und was es bedeutet

Die Experimente wurden auf 20 verschiedenen realen Datensätzen durchgeführt, von der Vorhersage von Fahrradvermietungen bis hin zu Kreditkarten-Zahlungsausfällen. Die Ergebnisse waren eindeutig:

1. Grobe Binarisierung übersieht viel: Als sie die alte „zerstückelte“ Methode mit der neuen kontinuierlichen Methode verglichen, übersah die alte Methode viele Bäume und wichtige Merkmale. Es war wie der Blick durch ein beschlagenes Fenster: Man konnte die allgemeine Form erkennen, aber die Details fehlten.
2. Geschwindigkeit ist real: Die neue Methode war um Größenordnungen schneller. Auf einem Datensatz namens „Bike“ war die neue optimale Methode 63 Mal schneller als die einzige andere Methode, die überhaupt fertig werden konnte.
3. Genauigkeit ist hoch: Selbst wenn sie die schnelle, approximative „Proxy“-Methode verwendeten, stellten sie 94,5 % bis 100 % der Bäume wieder her, die die perfekte Methode fand. Das bedeutet, dass man fast alle Vorteile der Rashomon-Menge erhält, ohne ewig warten zu müssen.
4. Der „Anytime“-Ansatz funktioniert: Die Methode, die grob beginnt und sich dann verbessert, erwies sich als sehr effizient. Sie fand wichtige Merkmale sehr früh, was bedeutet, dass man schnell nützliche Erkenntnisse gewinnen kann, ohne auf die vollständige Berechnung warten zu müssen.

Das Paper behauptet nicht, dass es alle Probleme im maschinellen Lernen gelöst hat. Es sagt nicht, dass kontinuierliche Merkmale die einzigen Wege sind oder dass diese Methode für jede Art von Modell funktioniert. Aber es zeigt mit soliden experimentellen Belegen, dass für Entscheidungsbäume die Behandlung kontinuierlicher Daten als kontinuierlich ein Game-Changer ist. Es erlaubt uns, das volle Bild der „Rashomon-Menge“ zu sehen, ohne uns (oder unsere Computer) in deren Komplexität zu verlieren.

Kurz gesagt: ArborEnum ist ein neuer Weg, um die Landschaft der guten Lösungen zu erkunden. Es hindert uns nicht länger daran, die Welt in ein Raster zu pressen, das nicht passt, und lässt uns stattdin den glatten, kontinuierlichen Pfaden folgen, auf denen die wahren Antworten oft verborgen liegen. Ob Sie nun ein Datenwissenschaftler sind, der nach dem besten Modell sucht, oder einfach nur ein neugieriger Mensch, der wissen möchte, wie Computer Entscheidungen treffen – diese Arbeit legt nahe, dass es mehr gute Antworten gibt, als wir dachten, und dass wir nun einen besseren Weg haben, sie zu finden.